Rethinking the Evaluation of Harness Evolution for Agents
Dieses Paper kritisiert aktuelle Evaluierungsprotokolle für die automatische Harness-Evolution bei LLM-Agenten, indem es zeigt, dass die Harness-Evolution im fairen Vergleich zu einfachem Test-Time-Scaling unter angeglichenen Budgets und auf gehaltenen Aufgaben keine konsistenten Leistungssteigerungen bietet und eine begrenzte Generalisierung aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Assistenten (einen KI-Agenten), der schwierige Computer-Rätsel lösen muss. Um ihm zu helfen, geben Sie ihm ein „Harness“ – ein ausgeklügeltes Set aus Anweisungen, Werkzeugen und Regeln, das ihm sagt, wie er mit dem Computer kommuniziert, welche Knöpfe er drücken muss und wie er seine Arbeit überprüft.
Eine Zeit lang dachten Forscher, der beste Weg, diese Roboter besser zu machen, sei es, einen „Roboter-Mechaniker“ zu bauen, der das Harness automatisch anpasst und aufwertet. Dieser Mechaniker würde beobachten, wie der Roboter scheitert, denken: „Hm, vielleicht, wenn ich diese Regel ändere“, ein neues Harness ausprobieren und dies wiederholen, bis er das perfekte Setup gefunden hat. Sie nannten dies Automatic Harness Evolution.
Doch in dieser neuen Arbeit beschlossen ein Team von Forschern, einen zweiten Blick darauf zu werfen, ob dieser „Robter-Mechaniker“ wirklich etwas Besonderes tut oder ob er uns nur täuscht. Sie richteten ein faires Rennen ein, um zu sehen, ob der Mechaniker wirklich bessere Werkzeuge entwirft oder ob er einfach nur durch viele Versuche Glück hat.
Das große Rennen: Evolution gegen bloßes Anstrengung
Die Forscher richteten einen Wettbewerb auf einem berühmten Rätsel-Set namens Terminal-Bench 2.1 ein, das 89 verschiedene Terminal-Aufgaben enthält. Sie verwendeten drei der klügsten verfügbaren KI-Modelle: Claude Opus 4.6, GPT-5.4 und GPT-5.4 mini.
Sie verglichen vier verschiedene Strategien, die alle über das exakt gleiche Maß an „Denkzeit“ (Rechenbudget) verfügten:
- Parallel Sampling: Stellen Sie sich vor, Sie bitten den Roboter, das Rätsel 5 verschiedene Male gleichzeitig zu lösen, und wählen dann die beste Antwort. Es ist, als würde man einen Würfel 5 Mal werfen und auf eine Sechs hoffen.
- Sequential Refinement: Stellen Sie sich vor, der Roboter versucht es einmal, sieht, wo er Fehler gemacht hat, korrigiert sein Denken und versucht es erneut. Es ist, als würde man einen Essay-Entwurf überarbeiten.
- Harness Evolution: Dies ist der „Roboter-Mechaniker“. Er versucht, das Instruktionshandbuch des Roboters basierend auf vergangenen Fehlern neu zu schreiben, in der Hoffnung, ein besseres Werkzeug für alle zu schaffen.
- Harness Scaling: Dies ist so, als würde der Mechaniker die Anweisungen nur für dieses eine spezifische Rätsel umschreiben, während der Roboter gerade versucht, es zu lösen.
Die schockierenden Ergebnisse
Die Studie fand heraus, dass der „Roboter-Mechaniker“ (Harness Evolution) das Rennen nicht konsistent gewonnen hat. Tatsächlich verlor er oft gegen die einfacheren Methoden.
Wenn es keine „Antwortschlüssel“ (Unit Tests) gab:
Wenn der Roboter selbst raten musste, ob er richtig oder falsch lag, machte der „Roboter-Mechaniker“ die Dinge tatsächlich schlechter.
- Die einfache Methode „5-mal versuchen“ (Parallel Sampling) steigerte die durchschnittliche Punktzahl von 68,2 auf 72,3.
- Der „Roboter-Mechaniker“ (Harness Evolution) erreichte nur 67,4, was tatsächlich niedriger war als die Nutzung der ursprünglichen Anweisungen ohne jegliche Änderungen!
- Die Autoren legen nahe, dass der Mechaniker ohne einen klaren „Antwortschlüssel“, der dem Roboter sagt, was richtig ist, nur verrauschte, verwirrende Änderungen vornahm, die die Leistung des Roboters verschlechterten.
Wenn es „Antwortschlüssel“ (Unit Tests) gab:
Selbst als der Roboter seine Arbeit gegen eine perfekte Lösung überprüfen konnte, glänzte der Mechaniker immer noch nicht.
- Die Methode „5-mal versuchen“ erreichte eine durchschnittliche Punktzahl von 86,0.
- Der „Roboter-Mechaniker“ erreichte nur 75,8.
- Die Autoren bemerkten etwas Seltsames: Die Verbesserungen des Mechanikers zeigten sich nur, wenn es ihm erlaubt war, das Beste aus 5 Versuchen zu wählen (pass@5). Wenn er es beim allerersten Versuch richtig haben musste (pass@1), verbesserte der Mechaniker fast gar nichts. Dies deutet darauf hin, dass der Mechaniker nicht wirklich ein besseres Werkzeug entwarf, sondern dem Roboter lediglich half, mehr Versuche zu unternehmen.
Die „Overfitting“-Falle
Die größte Überraschung kam, als die Forscher testeten, ob der „Roboter-Mechaniker“ eine Lektion lernen konnte, die auch auf neue Rätsel anwendbar war. Sie ließen den Mechaniker an 45 Trainingsaufgaben üben und testeten ihn dann an 34 brandneuen Aufgaben, die er noch nie gesehen hatte.
Das Ergebnis? Der Mechaniker bewegte kaum etwas.
- Bei den neuen Aufgaben stieg die Punktzahl im Durchschnitt nur um 0,6 Punkte.
- Für ein Modell (GPT-5.4) änderte sich die Punktzahl überhaupt nicht (72,1 zu 72,1).
Die Arbeit legt nahe, dass der Mechaniker keine allgemeinen Regeln dafür lernte, ein guter Roboter zu sein. Stattdessen hat er „Abkürzungen auswendig gelernt“ für die spezifischen Rätsel, an denen er geübt hat. Es war wie ein Schüler, der die Antworten auf eine Übungsprüfung auswendig lernt, aber bei der echten Prüfung versagt, weil er das Fach eigentlich nicht gelernt hat.
Also, wie lautet das Urteil?
Die Arbeit argumentiert, dass wir aufhören müssen, „Automatic Harness Evolution“ als magische Lösung zu feiern, nur weil sie auf denselben Rätseln, an denen sie geübt hat, höhere Werte erzielt.
- Was sie ausschließt: Sie schließt die Idee aus, dass diese Evolutionsmethoden derzeit überlegen gegenüber dem einfachen „Härter-Versuchen“ (Scaling up Test-Time Computation) sind.
- Was sie nahelegt: Sie legt nahe, dass die Gewinne, die wir sehen, eher das Ergebnis davon sind, dass der Roboter öfter probiert, als dass das Design des Harness intelligenter geworden ist.
- Das Fazit: Die Autoren schlagen vor, dass für Harness Evolution wirklich nützlich zu sein, wir sie an Rätseln testen müssen, die schwer genug sind, um eine echte Aufwertung der Werkzeuge zu erfordern, und dass wir sie an neuen Rätseln testen müssen, um sicherzustellen, dass sie nicht einfach durch das Auswendiglernen der alten Aufgaben schummelt.
Kurz gesagt: Der „Roboter-Mechaniker“ ist noch eine Arbeit in Arbeit. Im Moment scheint er besser darin zu sein, Anweisungen für ein einzelnes Rätsel anzupassen, als ein universelles Werkzeug zu erfinden, das für alle funktioniert. Die Arbeit legt nahe, dass wir erst faireere Tests benötigen, bevor wir diese Methode zum Gewinner erklären.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.