💬 NLP

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

RealClawBench introduce un framework di benchmark live derivato da sessioni reali di developer-agent di OpenClaw che utilizza ambienti di esecuzione ricostruiti e scorer deterministici per trasformare 281 compiti reali e impegnativi in valutazioni riproducibili, rivelando significativi divari di prestazioni negli attuali modelli.

Autori originali: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

Pubblicato 2026-06-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover testare quanto sia bravo un nuovo robot chef.

Il Vecchio Modo (Benchmark Convenzionali):
Tradizionalmente, i ricercatori avrebbero scritto un elenco di ricette perfette e da manuale come "Prepara un toast" o "Cuoci una torta al cioccolato". Avrebbero dato queste ricette al robot e avrebbero visto se segue i passaggi. Il problema? La vita reale non è un libro di testo. Nel mondo reale, un cliente potrebbe dire: "Il mio pane è leggermente raffermo, il formaggio è in fondo al frigorifero e ho solo un forno elettrico, non una griglia. Puoi preparare qualcosa di commestibile?". I vecchi test non controllavano se il robot fosse in grado di gestire questi dettagli disordinati della vita reale.

Il Nuovo Modo (REALCLAWBENCH):
Gli autori di questo articolo hanno capito che per testare davvero un "agente sviluppatore" (un robot che aiuta i programmatori), dovevano smettere di scrivere test falsi e iniziare a osservare persone reali che usano i robot nel mondo reale.

Hanno costruito un sistema chiamato REALCLAWBENCH. Ecco come funziona, usando analogie semplici:

1. Catturare Momenti Reali (La Fonte)

Inveve di inventare compiti, il team ha osservato 76.155 sessioni reali in cui veri sviluppatori utilizzavano uno strumento chiamato "OpenClaw" per ricevere aiuto con il proprio codice. Hanno visto persone reali chiedere aiuto con richieste disordinate, complicate e talvolta vaghe.

Analogia: Immagina una telecamera di sicurezza che registra migliaia di veri clienti che ordinano cibo in un ristorante affollato, piuttosto che uno chef che scrive un menù in una cucina silenziosa.

2. La "Pulizia Magica" (La Pipeline)

Non puoi semplicemente prendere la registrazione grezza di un vero cliente e trasformarla in un test. La registrazione potrebbe contenere password private, file aziendali segreti o riferimenti a computer che non esistono più.
L'articolo descrive una pipeline (una linea di produzione passo dopo passo) che pulisce questi momenti reali:

Schermo della Privacy: Eliminano tutti i segreti e le informazioni private, come si farebbe sfocando i volti in un video.
Ricostruzione dell'Ambiente: Se uno sviluppatore ha chiesto al robot di correggere un file sul suo computer specifico, il team costruisce una versione finta e sicura di quell'ambiente informatico in modo che il test possa essere eseguito nuovamente in seguito.
Riscrittura della Richiesta: Trasformano una richiesta vaga e colloquiale ("Ehi, puoi dare un'occhiata a quella cosa di cui parlavamo prima?") in un'istruzione chiara e autonoma ("Per favore, correggi l'errore nel file di login").
Il Giudice Automatico: Invece di un essere umano che valuta il lavoro, scrivono un programma informatico che controlla il risultato. Il file è stato corretto? Sì/No. Non sono ammesse supposizioni.

3. Il Risultato: Un Test "Live"

Il prodotto finale è un benchmark con 281 compiti reali.

Perché è speciale: È "live" e "ancorato". Ciò significa che il test non è un elenco statico di domande che invecchia. Poiché lo hanno costruito da un flusso continuo di dati reali degli utenti, possono aggiornare il test in seguito con nuovi esempi del mondo reale per mantenerlo fresco.
Il "Gap di Realismo": L'articolo sostiene che i test precedenti avevano un "gap" tra ciò che testavano e ciò che accade realmente. REALCLAWBENCH colma questo gap. È come passare dal testare un pilota su una pista perfetta e vuota al testarlo nel traffico dell'ora di punta, con buche e pedoni confusi.

Cosa Hanno Scoperto?

Hanno testato 14 dei modelli IA più intelligenti attualmente disponibili su questo nuovo, disordinato test del mondo reale.

Il Punteggio: Anche il miglior modello IA (Claude Opus 4.7) ha risolto solo circa il 66% dei compiti.
La Conclusione: Questo significa che c'è ancora molto spazio per il miglioramento. I robot attuali, definiti "super-intelligenti", faticano ancora con il tipo di problemi disordinati e reali che gli sviluppatori affrontano ogni giorno.

Riassunto

In breve, l'articolo dice: "Smettetela di testare i robot con scenari falsi e perfetti. Testiamoli con i problemi disordinati e reali che affrontano davvero, ma puliamoli quanto basta per poterli valutare equamente."

Hanno costruito un sistema per fare esattamente questo, e hanno scoperto che anche i migliori robot di oggi sono ancora solo a circa due terzi del percorso per essere veramente affidabili nel mondo reale.

Sintesi Tecnica: REALCLAWBENCH

Definizione del Problema

Gli attuali benchmark per agenti spesso non riescono a riflettere la realtà delle sessioni di sviluppo con agenti in produzione. Sebbene gli esistenti benchmark (ad esempio, SWE-bench, WebArena, AgentBench) abbiano migliorato l'esecutività e la consapevolezza degli strumenti, essi si basano principalmente su compiti redatti, artefatti pubblici o ambienti curati. Ciò crea un "gap di realismo" in cui i benchmark possono essere eseguibili e difficili, ma mancano dello stato locale, dell'intento implicito dell'utente e dei criteri di successo naturalmente occorrenti presenti nei reali flussi di lavoro di produzione.

Le sessioni reali di sviluppatore-agente (specificamente all'interno dell'ecosistema OpenClaw) presentano sfide uniche per il benchmarking:

Dipendenza dal Contesto: I compiti spesso dipendono da ambienti di esecuzione locali e stati specifici del progetto.
Intento Implicito: Le richieste degli utenti contengono frequentemente obiettivi sotto-specificati o ellissi conversazionali.
Difficoltà di Verifica: I criteri di successo sono spesso non deterministici o richiedono un giudizio soggettivo, rendendo difficile la valutazione automatizzata.

Di conseguenza, le valutazioni esistenti potrebbero non misurare accuratamente la capacità di un agente di risolvere compiti tratti dalla reale distribuzione dell'utilizzo distribuito.

Metodologia

Il paper introduce REALCLAWBENCH, un framework di benchmark live costruito direttamente da reali sessioni utente di OpenClaw. La metodologia centrale prevede una pipeline che trasforma i log di deployment grezzi e sensibili in compiti riproducibili, protetti per la privacy e valutabili automaticamente.

1. Ancoraggio alla Distribuzione Sorgente

Il framework utilizza 76.155 sessioni di utilizzo di strumenti distribuite da OpenClaw come distribuzione sorgente. A differenza degli approcci precedenti che campionano da pool curati finali, REALCLAWBENCH ancora il suo campionamento allo stream di utilizzo degli strumenti pulito prima del filtraggio finale della qualità. Ciò assicura che il benchmark preservi la distribuzione empirica delle reali richieste degli utenti, incluse categorie rare e mix specifici di compiti.

2. Pipeline da Sessione a Compito

Ogni istanza rilasciata è costruita attraverso un processo di trasformazione in quattro fasi (illustrato nella Figura 2):

Ricostruzione dell'Ambiente ( $E_0$ ): Lo workspace iniziale viene materializzato a partire dalle evidenze della sessione, inclusi file, dipendenze, contesti di comando e schemi. I compiti che dipendono da servizi privati sono o supportati da fixture o rifiutati.
Riscrittura della Richiesta ( $x$ ): I messaggi originali dell'utente vengono convertiti in istruzioni autonome. Questo processo risolve i riferimenti locali e le ellissi conversazionali rimuovendo al contempo gli identificatori privati. Fondamentalmente, le riscritture preservano la categoria originale del compito senza aggiungere indizi sulla soluzione.
Costruzione del Verificatore ( $V$ ): Un programma deterministico viene costruito per verificare lo workspace finale, lo stdout e i sottoprocessi limitati. I verificatori controllano gli esiti strutturali (ad esempio, esistenza di file, validità dello schema). I compiti che richiedono giudizi soggettivi o estetici sono esclusi per garantire una valutazione automatica e deterministica.
Revisione della Fedeltà: Le istanze bozza subiscono un test di sonda per rilevare bug, ambiguità nel linguaggio o istruzioni "leaky" (con indizi involontari). Solo le istanze che superano i controlli di ricostruibilità e validità del verificatore vengono rilasciate.

3. Meccanismo di Rilascio Live

REALCLAWBENCH supporta rilasci live versionati. La stessa mappa di costruzione ( $T$ ) può essere applicata a finestre temporali non sovrapposte di log futuri. Ciò consente al benchmark di tracciare i cambiamenti temporali nella domanda degli utenti pur mantenendo un protocollo di valutazione controllato.

Contributi Chiave

Identificazione del Gap di Realismo: Il paper definisce formalmente la discrepanza tra i benchmark per agenti eseguibili e la reale distribuzione dell'uso di sviluppatore-agente in produzione, evidenziando la mancanza di stato locale e intento implicito nei dataset attuali.
Pipeline da Sessione a Compito: Una nuova pipeline che converte i log di deployment grezzi e sensibili alla privacy in compiti di benchmark riproducibili utilizzando la ricostruzione dell'ambiente, la riscrittura preservante l'intento e i verificatori deterministici.
Rilascio di un Benchmark Live: Il rilascio di REALCLAWBENCH, un benchmark ancorato alla distribuzione che contiene 281 compiti eseguibili campionati da sessioni reali. Dimostra che il processo di costruzione può essere rieseguito su log futuri per produrre aggiornamenti versionati senza ridisegnare i filtri.

Risultati

Fedeltà Distribuionale

La pipeline di costruzione preserva con successo la forma della reale distribuzione degli utenti.

Divergenza di Jensen-Shannon (JSD): Il rilascio finale di 281 compiti mantiene una JSD massima di 0,0448 rispetto alla distribuzione sorgente (76.155 sessioni) su quattro assi: tipo di compito, turni utente, strumenti definiti e chiamate agli strumenti.
Impatto del Filtraggio: Un filtraggio aggressivo (dalle chiamate grezze al set finale) non ha introdotto derive significative nella distribuzione, con tutti gli spostamenti tra stadi adiacenti che sono rimasti al di sotto di 0,05 bit.

Prestazioni dei Modelli (Leaderboard)

Il benchmark è stato utilizzato per valutare 14 modelli contemporanei (inclusi Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini e altri) sotto un harness OpenClaw condiviso con un timeout di 600 secondi.

Prestazioni Top: Il modello con le migliori prestazioni, Claude Opus 4.7, ha raggiunto un tasso medio di successo sui campioni del 65,8%.
Margine di Miglioramento (Headroom): Il fatto che il miglior modello risolva solo circa il 66% dei compiti rivela un ampio margine di miglioramento per gli agenti attuali su carichi di lavoro reali per sviluppatori.
Efficienza dei Costi: Prestazioni e costi non sono strettamente allineati. Ad esempio, MiMo V2.5 Pro ha offerto un compromesso favorevole a un costo significativamente inferiore ($11,87) rispetto a modelli più costosi come GPT-5.5 ($61,87), che si è classificato più in basso.
Comportamento Long-Tail: I punteggi medi macro (che tengono conto della distribuzione sbilanciata dei tipi di compito) hanno rivelato classifiche diverse rispetto alle semplici medie dei campioni, evidenziando l'importanza di valutare le prestazioni attraverso diverse categorie di compiti reali.

Validazione del Benchmarking Live

La pipeline è stata testata su una finestra temporale successiva ( $W_{live}$ ) senza modificare filtri o regole.

Resa: La pipeline ha prodotto con successo 34 casi finali dalla finestra live, con rapporti di ritenzione comparabili alla finestra base.
Drift: La finestra live è rimasta distribuzionalmente vicina alla finestra base (JSD massima di 0,0411), confermando che il protocollo può tracciare i cambiamenti della domanda pur mantenendo la comparabilità.

Significato e Rivendicazioni

Il paper sostiene che REALCLAWBENCH fornisca un percorso pratico verso benchmark che misurino meglio la capacità degli agenti nell'uso effettivo. Trasformando le reali sessioni di deployment in istanze di valutazione controllate, il framework affronta i limiti dei benchmark redatti.

Le rivendicazioni chiave includono:

Realismo: Il benchmark cattura la distribuzione, la diversità e la difficoltà reale dell'uso degli agenti in produzione, che viene spesso trascurata dai dataset curati.
Riproducibilità: Dimostra che le sessioni reali possono essere convertite in compiti riproducibili e valutabili automaticamente senza perdere la "forma misurata" della distribuzione sorgente.
Valutazione Dinamica: Il framework supporta rilasci live e versionati che riducono l'obsolescenza e la contaminazione dei dati, permettendo al benchmark di evolversi insieme all'utilizzo degli agenti in produzione.

Gli autori sottolineano che il benchmark è specifico per l'ecosistema OpenClaw e la popolazione di utenti orientata allo sviluppo, e che gli scorer programmatici favoriscono esiti verificabili in uno workspace finale, potenzialmente trascurando qualità come la manutenibilità del codice o il progresso parziale. Tuttavia, il framework stabilisce un nuovo standard per ancorare la valutazione degli agenti ai dati di deployment reali.