RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions
RealClawBench führt ein Live-Benchmark-Framework ein, das aus rekonstruierten Ausführungsumgebungen und deterministischen Scorern abgeleitet ist und auf echten OpenClaw-Entwickler-Agenten-Sitzungen basiert, um 281 anspruchsvolle, reale Aufgaben in reproduzierbare Evaluierungen zu verwandeln und dadurch signifikante Leistungsunterschiede bei aktuellen Modellen aufzuzeigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten testen, wie gut ein neuer Roboter-Koch ist.
Der alte Weg (Konventionelle Benchmarks):
Traditionell schrieben Forscher eine Liste mit perfekten, Lehrbuch-Rezepten wie „Mache ein Grilled Cheese Sandwich“ oder „Backe einen Schokoladenkuchen“. Sie gaben diese Rezepte dem Roboter und sahen nach, ob er die Schritte befolgt. Das Problem? Das echte Leben ist kein Lehrbuch. In der realen Welt könnte ein Kunde sagen: „Mein Brot ist etwas altbacken, der Käse steht ganz hinten im Kühlschrank und ich habe nur einen Toasterofen, keinen Grill. Kannst du daraus etwas Essbares machen?“ Die alten Tests prüften nicht, ob der Roboter mit diesen unordentlichen, realen Details umgehen kann.
Der neue Weg (REALCLAWBENCH):
Die Autoren dieser Arbeit erkannten, dass man, um einen „Developer Agent“ (einen Roboter, der Programmierern hilft) wirklich zu testen, aufhören muss, künstliche Tests zu schreiben, und stattdessen anfangen muss, echte Menschen dabei zu beobachten, wie sie die Roboter in der Praxis nutzen.
Sie entwickelten ein System namens REALCLAWBENCH. So funktioniert es, unter Verwendung einfacher Analogien:
1. Echte Momente einfangen (Die Quelle)
Anstatt Aufgaben zu erfinden, beobachtete das Team 76.155 reale Sitzungen, in denen tatsächliche Entwickler ein Tool namens „OpenClaw“ nutzten, um Hilfe bei ihrem Code zu erhalten. Sie sahen echte Menschen, die um Hilfe baten – mit unordentlichen, komplizierten und manchmal vagen Anfragen.
- Analogie: Stellen Sie sich vor, eine Sicherheitskamera zeichnet tausende echte Kunden auf, die in einem belebten Restaurant Essen bestellen, anstatt dass ein Koch in einer ruhigen Küche ein Menü schreibt.
2. Die „magische Reinigung“ (Die Pipeline)
Man kann nicht einfach eine rohe Aufnahme eines echten Kunden nehmen und daraus einen Test machen. Die Aufnahme könnte private Passwörter, geheime Unternehmensdateien oder Verweise auf Computer enthalten, die nicht mehr existieren.
Das Papier beschreibt eine Pipeline (eine schrittweise Fließbandstruktur), die diese realen Momente bereinigt:
- Privatsphäre-Filter: Sie entfernen alle Geheimnisse und privaten Informationen, so wie man Gesichter in einem Video unkenntlich macht.
- Umwelt-Rekonstruktion: Wenn ein Entwickler den Roboter bat, eine Datei auf seinem spezifischen Computer zu reparieren, baut das Team eine künstliche, sichere Version dieser Computerumgebung auf, damit der Test später erneut durchgeführt werden kann.
- Umschreiben der Anfrage: Sie verwandeln eine vage, konversationelle Anfrage („Hey, kannst du dir das ansehen, was ich vorhin erwähnt habe?“) in eine klare, eigenständige Anweisung („Bitte behebe den Fehler in der Login-Datei“).
- Der automatische Richter: Anstatt dass ein Mensch die Arbeit bewertet, schreiben sie ein Computerprogramm, das das Ergebnis prüft. Wurde die Datei repariert? Ja/Nein. Es wird nicht geraten.
3. Das Ergebnis: Ein „Live“-Test
Das Endprodukt ist ein Benchmark mit 281 realen Aufgaben.
- Warum es besonders ist: Es ist „live“ und „verankert“. Das bedeutet, dass der Test keine statische Liste von Fragen ist, die veraltet. Da sie ihn aus einem kontinuierlichen Strom echter Benutzerdaten aufgebaut haben, können sie den Test später mit neuen realen Beispielen aktualisieren, um ihn frisch zu halten.
- Die „Realitätslücke“: Das Papier argumentiert, dass bisherige Tests eine „Lücke“ zwischen dem, was sie testeten, und dem, was tatsächlich passiert, aufwiesen. REALCLAWBENCH schließt diese Lücke. Es ist, als würde man den Wechsel vom Testen eines Fahrers auf einer perfekten, leeren Rennstrecke zum Testen im tatsächlichen Berufsverkehr mit Schlaglöchern und verwirrten Fußgängern vollziehen.
Was haben sie herausgefunden?
Sie testeten 14 der derzeit klügsten verfügbaren KI-Modelle auf diesem neuen, unordentlichen, realen Test.
- Das Ergebnis: Selbst das beste KI-Modell (Claude Opus 4.7) löste nur etwa 66 % der Aufgaben.
- Die Erkenntnis: Das bedeutet, dass es noch viel Raum für Verbesserungen gibt. Die aktuellen „superintelligenten“ Roboter kämpfen immer noch mit der Art von unordentlichen, realen Problemen, denen echte Entwickler jeden Tag begegnen.
Zusammenfassung
Kurz gesagt, das Papier sagt: „Hört auf, Roboter mit fiktiven, perfekten Szenarien zu testen. Lasst uns sie mit den unordentlichen, realen Problemen testen, denen sie tatsächlich begegnen, aber sie gerade so weit bereinigen, dass wir sie fair bewerten können.“
Sie haben ein System gebaut, um genau das zu tun, und sie fanden heraus, dass selbst die besten Roboter heute erst etwa zwei Drittel des Weges sind, um im echten Leben wirklich zuverlässig zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.