ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents

1. Enunciato del Problema

I benchmark attuali per gli agenti di Modelli Linguistici (LM) valutano principalmente risolutori di compiti "one-shot" all'interno di ambienti statici e a sessione singola. Tuttavia, il caso d'uso emergente per gli agenti LM è quello di colleghi persistenti che lavorano a fianco degli umani per più giorni. Questo scenario presenta tre sfide critiche che i benchmark esistenti non riescono ad affrontare:

• Evoluzione Temporale: L'ambiente cambia indipendentemente dall'agente tra un turno e l'altro (ad esempio, arrivano nuove email, le voci del calendario si spostano, i file vengono aggiornati). Gli agenti devono adattarsi a questi cambiamenti di stato esogeni piuttosto che assumere un mondo statico.
• Stato Dinamico: A differenza di log statici o snapshot cacheati, i flussi di lavoro reali coinvolgono servizi con stato in cui i dati letti nel Passo 1 possono differire nel Passo 2 a causa di fattori esterni.
• Evidenza Multimodale: I flussi di lavoro professionali si basano su prove grezze, non trascritte, attraverso modalità diverse (immagini, PDF scansionati, audio, video, fogli di calcolo), non solo testo.

I benchmark esistenti spesso si affidano al "LLM-as-a-judge" per la valutazione, il che introduce soggettività e non determinismo, e raramente simulano il "mondo vivente" in cui l'ambiente muta tra i turni dell'agente.

2. Metodologia: Il Benchmark ClawMark

ClawMark è un benchmark progettato per valutare gli agenti colleghi in un ambiente con stato, dinamico e multimodale.

A. Ambiente e Architettura

• Servizi in Sandbox con Stato: Il benchmark viene eseguito contro cinque servizi isolati e con stato all'interno di un ambiente Docker:
  1. Filesystem
  2. Email (GreenMail SMTP/IMAP)
  3. Calendario (Radicale CalDAV)
  4. Knowledge Base (compatibile con Notion)
  5. Foglio di calcolo (compatibile con Google Sheets)
• Flusso di Lavoro Multi-Turno e Multi-Giornaliero: Ogni compito si estende per 2–6 turni, dove un turno equivale a una giornata lavorativa nel contesto dell'universo simulato.
• Mutazioni Esogene: Tra un turno e l'altro, l'ambiente muta indipendentemente dall'agente tramite due meccanismi:
  • Eventi Rumorosi: Annunciati esplicitamente nel prompt di "risveglio" (ad esempio, "È arrivata una nuova email").
  • Mutazioni Silenziose: Modifiche non annunciate iniettate nei servizi (ad esempio, una riga di un foglio di calcolo viene sovrascritta, un file viene modificato) senza notifica. L'agente deve rilevare queste variazioni aggiornando lo stato.
• Input Multimodali: Le prove vengono fornite come artefatti grezzi (foto, audio, video, PDF) senza pre-trascrizione, richiedendo agli agenti di utilizzare strumenti (ad esempio, whisper, ffmpeg, PyMuPDF) per elaborarli.

B. Protocollo di Valutazione (Nessun LLM-as-Judge)

ClawMark impiega un sistema di valutazione completamente deterministico e basato su regole:

• Verificatori (Checkers): Ogni compito include 6–29 verificatori Python ponderati che ispezionano lo stato post-esecuzione dei servizi in sandbox.
• Metriche:
  • Punteggio Ponderato: Una metrica continua (0–100) che premia il progresso parziale in base al tasso di superamento dei verificatori ponderati.
  • Successo del Compito: Una metrica binaria rigorosa (0–100%) che richiede che tutti i verificatori superino la prova.
• Vincoli di Soglia Rossa (Red-Line): 55 verificatori specifici agiscono come "soglie rosse" (vincoli rigidi). La violazione di questi (ad esempio, approvare una richiesta prima della relazione finale, esfiltrazione di dati) comporta penalità severe o fallimento, indipendentemente da altri progressi.
• Garanzia di Determinismo: I compiti vengono rilasciati solo se due riesecuzioni indipendenti producono verdetto dei verificatori bit-identici, garantendo la riproducibilità senza giudici LLM.

C. Pipeline di Costruzione

Il benchmark è stato costruito utilizzando una pipeline task-first:

1. Autoring del Compito: I progettisti definiscono il flusso di lavoro, la griglia di valutazione e le modifiche di stato richieste.
2. Reperimento delle Prove: 1.072 artefatti multimodali grezzi sono stati reperiti tramite raccolta web, registrazione originale o sintesi mirata con AI per corrispondere alla progettazione del compito.
3. Ciclo di Revisione: Un processo di 3–5 round che coinvolge revisione umana, audit AI (controllo di "hacking dei verificatori" o corrispondenze di stringhe fragili) e revisioni delle traiettorie da parte di modelli di riferimento.
4. Cancello di Rilascio: I compiti vengono rilasciati solo se superano tutti gli audit e dimostrano coerenza deterministica dei verificatori.

3. Contributi Chiave

1. Primo Benchmark "Living-World": Introduce un benchmark che combina timeline multi-giornaliere, mutazioni ambientali esogene ed evidenze multimodali grezze.
2. Protocollo di Valutazione Deterministico: Stabilisce un sistema di valutazione basato su regole con 1.537 verificatori che elimina il bias del "LLM-as-judge" e garantisce la riproducibilità bit-identica.
3. Dataset Completo: Rilascia 100 compiti in 13 scenari professionali (ad esempio, Assistente Clinico, Assicurazioni, EDA, Legale) che coinvolgono 87 ruoli distinti.
4. Infrastruttura Aperta: Rilascia il benchmark, l'harness di valutazione e la pipeline di costruzione per supportare la ricerca riproducibile.

4. Risultati Sperimentali

Gli autori hanno valutato sette sistemi di agenti all'avanguardia (5 proprietari, 2 open-source) utilizzando il framework OpenClaw.

Performance Complessiva

• Punteggio Ponderato: Il miglior esecutore, Claude Sonnet 4.6, ha ottenuto 75.8. Altri modelli di punta includevano Claude Opus 4.6 (74.6) e GPT-5.4 (72.0).
• Successo Rigido del Compito: Il divario tra progresso parziale e completamento totale è enorme. Il miglior tasso di Successo del Compito è stato solo del 20.0% (Claude Opus 4.6). La maggior parte dei modelli ha risolto meno del 15% dei compiti end-to-end.
• Varianza per Scenario: Le prestazioni variavano significativamente per dominio. Ad esempio, i modelli eccellevano in "EDA" (Automazione della Progettazione Elettronica) e "Immobiliare" ma faticavano notevolmente in "Gestione di Progetto" (punteggio medio ~35.1).

Analisi a Livello di Turno (Adattamento)

• Calo al Giorno 2: L'analisi di 73 compiti a tre turni ha rivelato che sei modelli su sette hanno visto un calo delle prestazioni al Giorno 2, il punto in cui si verifica la prima mutazione esogena.
• Recupero: Entro il Giorno 3, la maggior parte dei modelli si è ripresa solo parzialmente, rimanendo al di sotto delle loro linee di base del Giorno 1. Questo evidenzia che l'adattamento a uno stato in cambiamento è un punto critico di fallimento.
• Efficienza: Non vi è stata una relazione monotona tra utilizzo di token/strumenti e punteggio. Interessantemente, i modelli con il punteggio più alto (Sonnet 4.6, Opus 4.6) erano anche i più efficienti nell'uso degli strumenti.

Tassonomia dei Fallimenti

L'analisi di 10.759 valutazioni dei verificatori ha rivelato due modalità di fallimento dominanti:

1. Rilevamento di Cambiamenti Silenziosi (56,5% tasso di fallimento): Gli agenti hanno spesso fallito nel notare cambiamenti non annunciati nell'ambiente.
2. Scrittura nel Backend (53,6% tasso di fallimento): Gli agenti spesso ragionavano correttamente ma fallivano nell'impegnare l'azione finale al servizio corretto (ad esempio, salvare un file o aggiornare una riga).

• Violazioni delle Soglie Rosse: Sebbene rare nel complesso (7,1%), erano concentrate in compiti specifici. In particolare, Qwen 3.6 Plus ha avuto un tasso di fallimento delle soglie rosse significativamente più alto (14,5%) rispetto ai modelli di fascia alta (~3,6%).

5. Significato

ClawMark rappresenta un cambiamento di paradigma nella valutazione degli agenti:

• Da Statico a Dinamico: Si sposta dal "risolvi questo puzzle" al "gestisci questo flusso di lavoro", testando la capacità dell'agente di mantenere il contesto nel tempo e adattarsi al rumore esterno.
• Affidabilità sopra la Fluidità: La metrica rigorosa di Successo del Compito e i vincoli delle soglie rosse sottolineano che, in contesti professionali, conformità e correttezza sono più critiche del progresso parziale o di una conversazione fluida.
• Prontezza per il Mondo Reale: I risultati indicano che, sebbene i modelli all'avanguardia possano gestire ragionamenti complessi, attualmente mancano della robustezza necessaria per ruoli di colleghi persistenti e autonomi, in particolare nel rilevare cambiamenti di stato silenziosi ed eseguire aggiornamenti affidabili nel backend.

Il rilascio di ClawMark fornisce l'infrastruttura necessaria per guidare il progresso verso veri e propri colleghi AI persistenti e affidabili.