EvoClawBench: Can Agents Learn Reusable Skills from Their Own Runs?
EvoClawBench ist ein neuer Benchmark, der evaluiert, ob KI-Agenten in der Lage sind, Evidenz aus ihren eigenen Ausführungen effektiv in wiederverwendbare Fähigkeiten umzuwandeln, wobei sich zeigt, dass solches Selbstlernen eher zu hochgradig selektiven und laufzeitabhängigen Ergebnissen führt, anstatt automatische Leistungsverbesserungen zu liefern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Assistenten namens „Agent“. Sie geben ihm eine chaotische Aufgabe, wie das Organisieren einer unordentlichen Garage oder das Reparieren eines kaputten Videospiel-Codes. Der Roboter versucht es, schließt den Versuch ab (der perfekt sein kann, aber auch Fehler enthalten kann), und dann fragen Sie ihn: „Hey, kann der Roboter seine eigene Arbeit betrachten, einen Trick daraus lernen, diesen Trick als ‚Spickzettel‘ aufschreiben und diesen Spickzettel nutzen, um den nächsten Job schneller und besser zu erledigen?“
Das ist die große Frage, die das EvoClawBench-Paper stellt. Es ist, als würde man testen, ob ein Schüler eine Prüfung ablegen, seinen eigenen Lösungsschlüssel bewerten, einen Lernzettel basierend auf seiner Leistung schreiben und dann die nächste Prüfung mit nur diesem Lernzettel bestehen kann.
Das große Experiment: Drei Arten zu spielen
Die Forscher haben 100 verschiedene „Missionen“ (wie Codieren, Bearbeiten von Tabellenkalkulationen oder Analysieren von Sicherheitsprotokollen) erstellt und den Roboter auf drei verschiedene Arten getestet:
- Der „Go-Go-Go“-Modus (Baseline): Der Roboter bekommt die Aufgabe und erledigt sie einfach von Grund auf. Keine Notizen, keine Spickzettel. Nur reine Anstrengung.
- Die „Vorbesprechung“ (Preskill): Bevor der Roboter überhaupt die Aufgabe anfasst, versucht er zu erraten, was die Aufgabe benötigt, und schreibt zuerst einen Spickzettel. Dann nutzt er diesen Zettel, um die Aufgabe zu erledigen.
- Die „Nachbesprechung“ (Postskill): Der Roboter erledigt die Aufgabe zuerst von Grund auf. Dann bewertet das System diesen ersten Versuch und gibt dem Roboter eine Zusammenfassung dessen, was passiert ist (selbst wenn er gescheitert ist oder Fehler gemacht hat). Der Roboter nutzt diese Zusammenfassung, um einen Spickzettel zu schreiben, und versucht dann dieselbe Aufgabe erneut unter Verwendung des neuen Zettels.
Die schockierenden Ergebnisse: Es ist kein Zauberstab
Man könnte denken: „Natürlich! Wenn man aufschreibt, wie man etwas macht, wird man besser darin!“ Aber das Paper deutet darauf an, dass dies viel komplizierter ist. Aus den eigenen Durchläufen zu lernen, ist keine automatische Superkraft. Es ist eher ein Glücksspiel.
Hier ist, was die Zahlen (und die sorgfältigen Messungen des Papers) uns sagen:
Das „Gehirn“ des Roboters zählt mehr als die Notizen:
Die Ergebnisse hingen stark davon ab, welcher Roboter-Modell verwendet wurde.- Ein Roboter (genannt nanobot mit einem Modell namens GPT-5.4) war bereits so gut in der Aufgabe, dass er auch ohne Spickzettel über 96 % erreichte. Das Hinzufügen eines Spickzettels half nicht viel; er blieb bei etwa 96 %.
- Aber ein anderer Roboter (nanobot mit DeepSeek-V4-Pro) war anfangs ganz ordentlich und erreichte 77,77 %. Als er versuchte, einen Spickzettel zu verwenden, den er vor Beginn des ersten Versuchs geschrieben hatte (Preskill), stürzte sein Wert auf 4,80 % ab. Als er versuchte, einen Spickzettel zu verwenden, den er nach Abschluss des ersten Versuchs geschrieben hatte (Postskill), stürzte er auf 0,99 % ab.
- Übersetzung: Manchmal führt das Aufschreiben einer „Anleitung“ den Roboter tatsächlich durcheinander und lässt ihn schlechter arbeiten!
Der „Spickzettel“ kann eine Falle sein:
Das Paper fand heraus, dass diese selbst geschriebenen Fähigkeiten selektiv und kostenempfindlich sind.- Kosten: Das Schreiben des Spickzettels kostet Zeit und Rechenleistung (Tokens). Für einige Roboter war die Zeit, die für das Schreiben der Anleitung aufgewendet wurde, so lang, dass selbst wenn die Anleitung ein klein wenig half, der gesamte Prozess langsamer und teurer war, als die Aufgabe einfach zweimal ohne Notizen zu erledigen.
- Das „Overfitting“-Problem: Das Paper legt nahe, dass, wenn ein Roboter eine Anleitung basierend auf einem spezifischen Versuch schreibt, er zu spezifisch werden könnte. Er schreibt vielleicht auf: „Klicke auf den roten Knopf auf der linken Seite“, wenn der Knopf beim nächsten Mal tatsächlich auf der rechten Seite ist. Die Anleitung wird zu einer schlechten Gewohnheit statt zu einem hilfreichen Tipp.
Mehr Notizen bedeuten nicht bessere Punktzahlen:
Die Forscher zählten, wie viele Spickzettel die Roboter schrieben. Einige Roboter schrieben 20 oder 30 Zettel! Aber mehr Zettel zu haben, garantierte keine bessere Punktzahl. Tatsächlich schnitten einige Roboter, die mehr Zettel schrieben, schlechter ab als diejenigen, die weniger schrieben. Die Qualität der Notiz zählte, nicht die Quantität.
Was das Paper ausschließt
Das Paper ist sehr deutlich darüber, was es nicht beweist:
- Es beweist nicht, dass Agenten automatisch besser in neuen, unterschiedlichen Aufgaben werden, indem sie aus alten lernen. Die Tests wurden bei der gleichen Aufgabe wiederholt. Wir wissen noch nicht, ob die Spickzettel bei völlig neuen Rätseln funktionieren.
- Es deutet nicht darauf hin, dass das Hinzufügen eines Schritts zum „Schreiben von Fähigkeiten“ zu jedem Roboter ein garantierter Gewinn ist. In vielen Fällen war es eine Verschwendung von Zeit und Geld.
Das Fazsteilergebnis
Das Paper legt nahe, dass es tricky ist, einen Agenten zu lehren, aus seinen eigenen Durchläufen zu lernen. Es ist kein magischer Knopf, der Roboter schlauer macht. Manchmal ist der „Spickzettel“, den der Roboter schreibt, tatsächlich eine schlechte Karte, die ihn in einen Graben führt.
Für den Moment scheint der beste Ansatz selektiv zu sein: Lassen Sie den Roboter nur dann einen Spickzettel schreiben, wenn er sicher ist, dass die Anleitung nützlich sein wird und wenn die Kosten für das Schreiben nicht zu hoch sind. Es ist ein Werkzeug, das funktionieren kann, aber es ist kein Gratis-Mittagessen. Der Roboter muss aufpassen, nicht über seine eigenen Fehler nachzugrübeln!
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.