TTHE: Test-Time Harness Evolution
Dieses Paper führt die Test-Time Harness Evolution (TTHE) ein, ein unüberwachtes Framework, das das ausführbare Kontrollprogramm eines LLM-Agenten während der Evaluierung durch die Evolution einer Population von Kandidaten-Harnesses auf Basis von Ausführungstraces dynamisch optimiert und dadurch eine persistente Anpassung an Testzeit-Verteilungen ermöglicht, ohne Modellgewichte zu aktualisieren oder Ground-Truth-Labels zu benötigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten (einen LLM-Agenten), der Code schreiben, mathematische Probleme lösen oder Ihre Flüge buchen kann. Normalerweise verbringen wir Wochen damit, diese Roboter zu trainieren und dann „frieren“ wir ihre Gehirne ein. Sobald sie eingefroren sind, können wir ihre interne Verdrahtung nicht mehr ändern. Wenn sie einen Fehler machen, können wir ihnen nicht einfach sagen: „Hey, versuch es beim nächsten Mal bitte anders.“
Aber was wäre, wenn die Anweisungen des Roboters – das kleine Programm, das ihm sagt, wie er sein Gehirn benutzt – sich im laufenden Betrieb ändern könnten? Das ist die große Idee hinter einer neuen Methode namens Test-Time Harness Evolution (TTHE).
Die Analogie vom „gefrorenen Gehirn und dem flexiblen Anzug“
Betrachten Sie das Gehirn des Roboters als eine gefrorene Statue. Sie können es nicht schmelzen oder umformen. Aber der Roboter trägt einen hochtechnologischen Anzug (den Harness bzw. das Geschirr). Dieser Anzug hat Taschen für Werkzeuge, eine Checkliste für Schritte und eine Möglichkeit zu prüfen, ob der Roboter einen Fehler gemacht hat.
Die meisten Roboter tragen einen statischen Anzug. Sobald der Roboter die Fabrik verlässt, ist der Anzug fest zugenäht. Wenn der Roboter versucht, eine Tür zu öffnen und scheitert, weiß der Anzug nicht, wie er das Problem für die nächste Tür beheben kann. Er versucht einfach immer wieder denselben kaputten Weg.
TTHE ist wie ein Anzug, der seine eigenen Nähanweisungen umschreiben kann, während der Roboter arbeitet.
So funktioniert es in der Praxis:
- Der Roboter probiert aus: Der Roboter versucht eine Aufgabe (wie das Schreiben einer SQL-Abfrage oder das Beheben eines Bugs). Er hinterlässt dabei eine „Spur aus Brotkrumen“ (einen Execution Trace), die genau zeigt, was er getan hat, welche Werkzeuge er benutzt hat und wo er gestolpert ist.
- Der Anzug liest die Krümel: Ein spezieller Teil des Anzugs (der Proposer) betrachtet diese Krümel. Er benötigt keinen Lehrer oder eine richtige Antwortlösung. Er fragt sich nur: „Hm, der Roboter hat versucht, die Tür zu öffnen, aber der Griff war rostig. Vielleicht sollten wir beim nächsten Mal erst den Griff ölen?“
- Der Anzug schreibt sich selbst um: Der Proposer bearbeitet den Code des Anzugs. Er fügt vielleicht einen neuen Schritt hinzu, um nach Rost zu suchen, oder eine neue Regel, um den Griff doppelt zu prüfen.
- Der Anzug wählt die beste Version aus: Ein anderer Teil des Anzugs (der Judge) betrachtet alle neuen Versionen des Anzugs und wählt diejenste aus, die basierend auf der eigenen Leistung des Roboters am besten zu funktionieren scheint.
- Der Roboter macht weiter: Der Roboter arbeitet mit diesem neuen, verbesserten Anzug für die nächste Aufgabe weiter.
Was diese Methode nicht tut
Es ist wichtig zu wissen, was diese Methode ablehnt:
- Keine Gehirnoperation: Das Paper stellt explizit klar, dass sie nicht das gefrorene Gehirn (die Modellgewichte) des Roboters verändern. Sie trainieren die KI nicht neu. Sie ändern nur den Anzug (den Harness).
- Keine magischen Antwortschlüssel: Sie verwenden während des Lernprozesses des Roboters keine „Gold Labels“ (die korrekten Antworten). Der Roboter muss allein durch das Beobachten seiner eigenen Fehler und Erfolge herausfinden, was funktioniert.
- Keine Vorausplanung: Sie suchen nicht vor Beginn der Arbeit des Roboters nach dem perfekten Anzug. Der Anzug entwickelt sich während der Arbeit.
Die Ergebnisse: Wie gut hat es funktioniert?
Die Forscher haben dies bei einigen wirklich schwierigen Herausforderungen getestet, wie dem Schreiben von Datenbankabfragen, kompetitivem Programmieren und der Behebung von Softwarefehlern. Sie verglichen die „statischen Anzug“-Roboter mit den „evolvierenden Anzug“-Robotern.
Hier sind die Ergebnisse (unter Verwendung der exakten Zahlen aus ihren Tests):
- Text-to-SQL (BIRD): Der Basis-Roboter kam auf 12,0 % richtig. Mit TTHE sprang er auf 50,0 %. Das ist eine riesige Verbesserung!
- Kompetitives Programmieren (LiveCodeBench): Es verbesserte sich von 30,0 % auf 38,3 %.
- Software Engineering (SWE-bench): Es verbesserte sich von 20,0 % auf 35,0 %.
- Data Science (DS-1000): Es verbesserte sich von 38,0 % auf 44,0 %.
Sie haben es sogar bei einer Tool-Use-Aufgabe namens claw-eval ausprobiert, bei der die Punktzahl etwas anders ist (eine Note von 0 bis 1). Die Punktzahl stieg von 48,9 % auf 69,8 %.
Der Haken: Es ist nicht perfekt
Das Paper ist sehr ehrlich darüber, wo diese Methode an ihre Grenzen stößt. Der „Judge“, der den besten Anzug auswählt, ist nicht perfekt. Manchmal wählt der Judge einen Anzug aus, der gut aussieht, aber tatsächlich an versteckten Tests scheitert.
- Die Selektions-Reue (Selection Regret): In einem Test hätte der Judge, wenn er den besten Anzug aus dem Stapel der Kandidaten ausgewählt hätte, eine Genauigkeit von 64,0 % erreicht. Da der Judge jedoch einen Fehler machte und einen etwas schlechteren wählte, erreichten sie nur 50,0 %.
- Die Abdeckungslücke (Coverage Gap): Selbst wenn der Judge perfekt gewesen wäre, gab es einige Aufgaben (etwa 15 von 50 in einem Test), die keiner der Anzüge lösen konnte. Der Roboter verfügte einfach noch nicht über die richtigen Werkzeuge oder Ideen.
Das Fazüssen Wort
Die Autoren legen nahe, dass Test-Time Harness Evolution eine leistungsstarke Methode ist, um KI-Agenten intelligenter zu machen, ohne ihr Gehirn zu berühren. Sie verwandelt die eigenen Arbeitsprotokolle des Roboters in einen Lehrer.
Sie warnen jedoch davor, dass dies noch kein „gelöstes Problem“ ist. Die Methode hängt stark davon ab, dass der „Judge“ in der Lage ist, zwischen einem glücklichen Zufallstreffer und einer echten Lösung zu unterscheiden. Wenn der Judge durch einen kniffligen Test verwirrt wird, lernt der Roboter vielleicht die falsche Lektion. Aber für den Moment zeigt es, dass es ein sehr vielversprechender Weg ist, einer KI einen Anzug zu geben, der sich während der Arbeit selbst reparieren kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.