💬 NLP

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

RealClawBench introduceert een live benchmark-framework afgeleid van echte OpenClaw developer-agent sessies, dat gereconstrueerde executieomgevingen en deterministische scorers gebruikt om 281 uitdagende, real-world taken te transformeren naar reproduceerbare evaluaties, waardoor significante prestatiekloven in huidige modellen worden onthuld.

Oorspronkelijke auteurs: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

Gepubliceerd 2026-06-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te testen hoe goed een nieuwe robotkok is.

De Oude Manier (Conventionele Benchmarks):
Traditioneel schreven onderzoekers een lijst met perfecte, tekstboekachtige recepten zoals "Maak een grilled cheese sandwich" of "Bak een chocoladecake." Ze gaven deze recepten aan de robot en keken of hij de stappen volgde. Het probleem? Het echte leven is geen tekstboek. In de echte wereld kan een klant zeggen: "Mijn brood is een beetje oud geworden, de kaas staat achterin de koelkast en ik heb alleen een broodrooster, geen grill. Kun je iets eetbaars maken?" De oude tests controleerden niet of de robot die rommelige, echte details kon afhandelen.

De Nieuwe Manier (REALCLAWBENCH):
De auteurs van dit artikel realiseerden zich dat om een "developer agent" (een robot die programmeurs helpt) echt te testen, ze moesten stoppen met het verzinnen van nep-tests en in plaats daarvan moesten kijken naar hoe echte mensen de robots in het wild gebruiken.

Ze bouwden een systeem genaamd REALCLAWBENCH. Hier is hoe het werkt, met eenvoudige analogieën:

1. Echte Momenten Vangen (De Bron)

In plaats van taken te verzinnen, heeft het team 76.155 echte sessies bekeken waarin echte ontwikkelaars een tool genaamd "OpenClaw" gebruikten om hulp te krijgen bij hun code. Ze zagen echte mensen om hulp vragen met rommelige, complexe en soms vage verzoeken.

Analogie: Stel je een beveiligingscamera voor die duizenden echte klanten registreert die eten bestellen in een druk restaurant, in plaats van een chef die een menu schrijft in een stille keuken.

2. De "Magische Schoonmaak" (De Pipeline)

Je kunt niet zomaar een ruwe opname van een echte klant nemen en daar een test van maken. De opname kan privé wachtwoorden, geheime bedrijfsbestanden of verwijzingen naar computers bevatten die niet meer bestaan.
Het artikel beschrijft een pipeline (een stapsgewijze fabriekslijn) die deze echte momenten opschoont:

Privacy Scherm: Ze verwijderen alle geheimen en privé-informatie, zoals het vervagen van gezichten in een video.
Omgevingsreconstructie: Als een ontwikkelaar de robot vroeg om een bestand op hun specifieke computer te repareren, bouwt het team een nep, veilige versie van die computermgeving zodat de test later opnieuw gedraaid kan worden.
Het Verzoek Herschrijven: Ze veranderen een vaag, gespreksmatig verzoek ("Hé, kun je even naar dat ding kijken waar ik het eerder over had?") in een duidelijke, op zichzelf staande instructie ("Repareer de bug in het login-bestand").
De Automatische Beoordelaar: In plaats van een mens die het werk beoordeelt, schrijven ze een computerprogramma dat het resultaat controleert. Is het bestand gerepareerd? Ja/Nee. Er mag niet gegokt worden.

3. Het Resultaat: Een "Live" Test

Het eindproduct is een benchmark met 281 echte taken.

Waarom het bijzonder is: Het is "live" en "verankerd". Dit betekent dat de test geen statische lijst met vragen is die veroudert. Omdat ze het hebben gebouwd vanuit een continue stroom van echte gebruikersdata, kunnen ze de test later updaten met nieuwe echte voorbeelden om het fris te houden.
De "Realiteitskloof": Het artikel stelt dat eerdere tests een "kloof" hadden tussen wat ze testten en wat er werkelijk gebeurt. REALCLAWBENCH overbrugt deze kloof. Het is alsoals overstappen van het testen van een bestuurder op een perfect, leeg circuit naar het testen van hen in het werkelijke drukke verkeer met kuilen en verwarde voetgangers.

Wat Hebben Ze Gevonden?

Ze hebben 14 van de slimste AI-modellen die momenteel beschikbaar zijn getest op deze nieuwe, rommelige, echte test.

De Score: Zelfs het beste AI-model (Claude Opus 4.7) loste slechts ongeveer 66% van de taken op.
De Conclusie: Dit betekent dat er nog veel ruimte is voor verbetering. De huidige "superintelligente" robots worstelen nog steeds met de rommelige, echte problemen waar echte ontwikkelaars elke dag mee te maken krijgen.

Samenvatting

Kortom, het artikel zegt: "Stop met het testen van robots met nep, perfecte scenario's. Laten we ze testen met de rommelige, echte problemen waar ze daadwerkelijk voor staan, maar schoon ze net genoeg op zodat we ze eerlijk kunnen beoordelen."

Ze hebben een systeem gebouwd om precies dat te doen, en ze kwamen tot de conclusie dat zelfs de beste robots van vandaag nog maar ongeveer twee derde van de weg zijn naar echt betrouwbaar te zijn in de echte wereld.

Technische Samenvatting: REALCLAWBENCH

Probleemstelling

Huidige agent-benchmarks slagen er vaak niet in om de realiteit van ingezette developer-agent sessies te weerspiegelen. Hoewel bestaande benchmarks (bijv. SWE-bench, WebArena, AgentBench) de uitvoerbaarheid en tool-bewustzijn hebben verbeterd, vertrouwen ze primally op geautoriseerde taken, publieke artefacten of gecureerde omgevingen. Dit creëert een "realismekloof" waarbij benchmarks weliswaar uitvoerbaar en moeilijk kunnen zijn, maar het gebrek aan lokale staat, impliciete gebruikersintentie en natuurlijk voorkomende succes-criteria missen die aanwezig zijn in werkelijke productie-workflows.

Real-world developer-agent sessies (specifiek binnen het OpenClaw-ecosysteem) presenteren unieke uitdagingen voor benchmarking:

Contextafhankelijkheid: Taken leunen vaak op lokale executie-omgevingen en specifieke projectstaten.
Impliciete Intentie: Gebruikersverzoeken bevatten frequent onvolledige doelen of conversationele ellipsen.
Verificatieproblematiek: Succes-criteria zijn vaak niet-deterministisch of vereisen subjectief oordeel, wat automatische scoring bemoeilijkt.

Gevolgelijk meten bestaande evaluaties mogelijk niet accuraat het vermogen van een agent om taken op te lossen die afkomstig zijn uit de werkelijke distributie van het gebruikte proces.

Methodologie

Het paper introduceert REALCLAWBENCH, een live benchmark-framework dat direct is geconstrueerd vanuit echte OpenClaw gebruikerssessies. De kernmethodologie betreft een pipeline die ruwe, privacygevoelige deployment logs transformeert naar reproduceerbare, privacy-gescreende en automatisch gescoorde taken.

1. Bronverdeling Verankering

Het framework gebruikt 76.155 ingezette tool-use sessies van OpenClaw als de bronverdeling. In tegen tegenstelling tot eerdere benaderingen die steekproeven nemen uit definitieve gecureerde pools, verankert REALCLAWBENCH zijn sampling aan de schone tool-use stroom voordat de definitieve kwaliteitsfiltering plaatsvindt. Dit zorgt ervoor dat de benchmark de empirische distributie van echte gebruikersbehoeften behoudt, inclusief zeldzame categorieën en specifieke taakmixen.

2. Sessie-naar-Taak Pipeline

Elke vrijgegeven instantie wordt geconstrueerd via een vierfasen transformatieproces (geïllustreerd in Figuur 2):

Omgevingsreconstructie ( $E_0$ ): De initiële werkruimte wordt gematerialiseerd uit sessie-bewijs, inclusief bestanden, afhankelijkheden, commando-contexten en schema's. Taken die afhankelijk zijn van private services worden ofwel voorzien van fixtures, ofwel afgewezen.
Verzoek Herschrijven ( $x$ ): Originele gebruikersberichten worden omgezet in zelfstandige instructies. Dit proces lost lokale referenties en conversationele ellipsen op, terwijl private identificatoren worden verwijderd. Cruciaal is dat de herschrijvingen de originele taakcategorie behouden zonder oplossingshints toe te voegen.
Verifier Constructie ( $V$ ): Een deterministisch programma wordt gebouwd om de finale werkruimte, stdout en begrensde subprocessen te verifiëren. Verifiers controleren structurele uitkomsten (bijv. bestaan van bestanden, geldigheid van schema's). Taken die een subjectief of esthetisch oordeel vereisen, worden uitgesloten om automatische, deterministische scoring te waarborgen.
Fidelity Review: Concept-instanties ondergaan probing om bugs, ambigue formuleringen of "lekkerige" instructies te detecteren. Alleen instanties die de reconstructieerbaarheid en verifier-geldigheid doorstaan, worden vrijgegeven.

3. Live Release Mechanisme

REALCLAWBENCH ondersteunt geversioneerde live releases. Dezelfde constructiekaart ( $T$ ) kan worden toegepast op niet-overlappende temporele vensters van toekomstige logs. Dit stelt de benchmark in staat om temporele verschuivingen in de gebruikersvraag te volgen terwijl een gecontroleerd evaluatieprotocol behouden blijft.

Belangrijkste Bijdragen

Identificatie van de Realismekloof: Het paper definieert formeel de discrepantie tussen uitvoerbare agent-benchmarks en de werkelijke distributie van de ingezette developer-agent in gebruik, waarbij het gebrek aan lokale staat en impliciete intentie in huidige datasets wordt benadrukt.
Sessie-naar-Taak Pipeline: Een nieuwe pipeline die ruwe, privacy-gevoelige deployment logs omzet in reproduceerbare benchmark-taken middels omgevingsreconstructie, intentie-behoudende herschrijving en deterministische verifiers.
Live Benchmark Release: De release van REALCLAWBENCH, een distributie-verankerde benchmark die 281 uitvoerbare taken bevat die zijn gesampled uit echte sessies. Het demonstreert dat het constructieproces kan worden herhaald op toekomstige logs om versiebeheer-updates te produceren zonder de filters opnieuw te ontwerpen.

Resultaten

Distributionele Getrouwheid

De constructie-pipeline slaagt erin de vorm van de echte gebruikersverdeling te behouden.

Jensen-Shannon Divergentie (JSD): De uiteindelijke release van 281 taken behoudt een maximale JSD van 0.0448 ten opzien van de bronverdeling (76.155 sessies) over vier assen: taaktype, gebruikersbeurten, gedefinieerde tools en tool-calls.
Filtering Impact: Agressieve filtering (van ruwe calls naar de definitieve set) heeft geen significante distributie-drift geïntroduceerd, waarbij alle verschuivingen tussen opeenvolgende fasen onder de 0.05 bits bleven.

Model Prestaties (Leaderboard)

De benchmark werd gebruikt om 14 hedendaagse modellen (waaronder Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini, en anderen) te evalueren onder een gedeelde OpenClaw harness met een timeout van 600 seconden.

Top Prestaties: Het best presterende model, Claude Opus 4.7, behaalde een sample-gemiddelde succesrate van 65.8%.
Headroom: Het feit dat het beste model slechts ~66% van de taken oplost, onthult aanzienlijke headroom voor huidige agents bij realistische developer-workloads.
Kostenefficiëntie: Prestaties en kosten zijn niet nauw met elkaar verbonden. Zo bood MiMo V2.5 Pro een gunstige trade-off tegen een aanzienlijk lagere kosten ($11.87) vergeleken met duurdere modellen zoals GPT-5.5 ($61.87) die lager rankten.
Long-Tail Gedrag: Macro-gemiddelde scores (rekening houdend met de ongebalanceerde distributie van taaktypes) onthulden andere rangschikkingen vergeleken met eenvoudige sample-gemiddelden, wat het belang benadrukt van het evalueren van prestaties over diverse, real-world taakcategorieën.

Validatie van Live Benchmarking

De pipeline werd getest op een later temporeel venster ( $W_{live}$ ) zonder de filters of regels aan te passen.

Opbrengst: De pipeline produceerde succesvol 34 definitieve gevallen uit het live venster, met behoudsratio's die vergelijkbaar zijn met het basisvenster.
Drift: Het live venster bleef distributioneel dicht bij het basisvenster (max JSD van 0.0411), wat bevestigt dat het protocol de vraagverschuivingen kan volgen terwijl de vergelijkbaarheid behouden blijft.

Betekenis en Claims

Het paper claimt dat REALCLAWBENCH een praktisch pad biedt naar benchmarks die de capaciteit van agents in daadwerkelijk gebruik beter meten. Door echte deployed sessies om te zetten in gecontroleerde evaluatie-instanties, adresseert het framework de beperkingen van geautoriseerde benchmarks.

Belangrijke claims zijn onder meer:

Realisme: De benchmark vangt de distributie, diversiteit en real-world moeilijkheidsgraad van ingezet agent-gebruik, wat vaak gemist wordt door gecureerde datasets.
Reproduceerbaarheid: Het demonstreert dat echte sessies kunnen worden omgezet in reproduceerbare, automatisch gescoorde taken zonder de "gemeten vorm" van de bronverdeling te verliezen.
Dynamische Evaluatie: Het framework ondersteunt live, geversioneerde releases die veroudering en data-contaminatie verminderen, waardoor de benchmark kan evolueren samen met het ingezette agent-gebruik.

De auteurs benadrukken dat de benchmark specifiek is voor het OpenClaw-ecosysteem en de developer-georiënteerde gebruikerspopulatie, en dat programmatische scorers de voorkeur geven aan uitkomsten die controleerbaar zijn in een finale werkruimte, wat potentieel kwaliteiten zoals code-onderhoudbaarheid of gedeeltige progressie kan missen. Desalniettemin vestigt het framework een nieuwe standaard voor het funderen van agent-evaluatie in real-world deployment data.