DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution
DREvo ist eine neuartige Methode zur selbstgesteuerten Evolution von Harness, die die Instabilität bestehender Ansätze adressiert, indem sie historische Erfahrungen dynamisch rekalibriert und handlungsrelevante Suchrichtungen destilliert, wodurch sie unter begrenzten Budgets eine überlegene Leistung und glattere Evolutionsverläufe über Reasoning- und Agentic-Benchmarks hinweg erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, ein Rätsel zu lösen. Sie geben dem Roboter ein Gehirn (ein Large Language Model), aber das Gehirn benötigt einen Körper und einen Satz von Regeln, um die eigentliche Arbeit zu erledigen. Dieses „Körper-und-Regeln“-Setup wird als Harness bezeichnet. Betrachten Sie das Harness als das Betriebssystem des Roboters: Es entscheidet, wie der Roboter Informationen nachschlägt, wie er Werkzeuge wie einen Taschenrechner oder einen Code-Editor benutzt und wie er sich merkt, was er gerade getan hat. Wenn das Harness unordentlich oder verwirrend ist, wird selbst das klügste Gehirn stolpern.
Lange Zeit war der Bau eines guten Harnesss so, als würde man versuchen, ein Rennauto von Hand abzustimmen. Experten mussten raten, was falsch war, ein paar Drähte anpassen, testen und hoffen, dass es klappt. Aber vor kurzem haben Wissenschaftler entdeckt, dass Roboter tatsächlich dabei helfen können, ihre eigenen Körper zu reparieren. Sie konnten eine Änderung ausprobieren, sehen, ob sie funktionierte, das Ergebnis speichern und es erneut versuchen. Dies nennt man Selbstevolution. Die Idee ist: Wenn der Roboter ein Tagebuch über all seine bisherigen Versuche führt, kann er aus seinen Fehlern lernen und mit der Zeit besser werden. Aber hier liegt der Haken: Nur weil der Roboter ein Tagebuch hat, bedeutet das nicht, dass er auch weiß, wie man es liest. Manchmal kann ein Trick, der gestern noch funktionierte, heute eine Katastrophe sein, weil sich die Situation des Roboters geändert hat. Diese Arbeit fragt: Wie stellen wir sicher, dass der Robot die richtigen Lektionen aus seiner Geschichte lernt, ohne durch veraltete Ratschläge verwirrt zu werden?
Das Problem: Das verwirrende Tagebuch des Roboters
Stellen Sie sich vor, Sie trainieren einen Hund darauf, einen Ball zu apportieren. Sie werfen den Ball, der Hund rennt los, und manchmal fängt er ihn, manchmal lässt er ihn fallen. Sie schreiben jeden Versuch in ein Notizbuch. Stellen Sie sich nun vor, der Hund bekommt ein neues Halsband, oder der Wind beginnt anders zu wehen, oder Sie wechseln von einem Tennisball zu einem Quietschespielzeug. Wenn Sie nun einfach in Ihr Notizbuch schauen und sagen: „Letztes Mal hat der Hund den Ball fallen lassen, als er nach links lief, also sollte er immer nach rechts laufen“, könnten Sie falsch liegen. Diese alte Lektion passt vielleicht nicht mehr zur neuen Situation.
Genau das passiert bei KI-Agenten. Forscher fanden heraus, dass Roboter, wenn sie versuchen, ihr eigenes „Harness“ zu verbessern, indem sie auf ihre gesamte Historie von Versuchen zurückblicken, oft in einer Schleife stecken bleiben. Sie versuchen eine Korrektur, sehen das Scheitern, versuchen etwas anderes, sehen wieder ein Scheitern, und kehren dann plötzlich zu einer Methode zurück, die schon vor Wochen gescheitert ist. Ihre Leistung springt auf und ab wie bei einer Achterbahnfahrt, anstatt stetig einen Hügel hinaufzuklettern. Die Forscher erkannten, dass die Roboter unter zwei Hauptproblemen litten:
- Das „Ist das noch wahr?“-Problem: Der Roboter prüfte nicht, ob seine alten Lektionen noch gültig waren. Er behandelte jeden vergangenen Erfolg oder Misserfolg so, als würde er genau jetzt passieren, obwohl sich der Code des Roboters bereits geändert hatte.
- Das „Was mache ich als Nächstes?“-Problem: Selbst wenn der Roboter eine Lektion erinnerte, wusste er nicht genau, welchen Teil seines Körpers er reparieren sollte oder wie er es tun sollte. Es war, als würde man ihm sagen: „Du hast den Ball fallen lassen“, ohne zu sagen: „Du musst deinen Griff festigen“.
Die Lösung: DREvo (Der kluge Bibliothekar)
Um dies zu beheben, entwickelten die Autoren eine neue Methode namens DREvo. Sie können sich DREvo als einen superorganisierten Bibliothekar vorstellen, der das Tagebuch des Roboters verwaltet. Anstatt dem Roboter einfach nur einen Stapel Papier in die Hand zu drücken, organisiert DREvo die Informationen, prüft, ob sie noch relevant sind, und gibt dem Roboter eine klare, spezifische Anweisung für das weitere Vorgehen.
DREvo macht dies in drei unterhaltsamen Schritten:
1. Der „Etikettierer“ (Funktionsbasierte Evidenz-Verankerung)
Auf die alte Art war das Tagebuch des Roboters ein riesiger, unordentlicher Klumpen Text. DREvo schneidet diesen Klumpen in winzige, beschriftete Stücke. Es betrachtet jede Änderung, die der Roboter vorgenommen hat, und ordnet sie einer spezifischen „Funktion“ zu (wie einem bestimmten Werkzeug oder einer Speicherregel). Es ist, als würde man ein unordentliches Rezeptbuch nehmen und jede Änderung der Zutaten exakt der dazugehörigen Schritt beschriften. Auf diese Weise weiß der Roboter beim Lernen genau, auf welchen Teil seines Körpers sich eine vergangene Lektion bezieht.
2. Der „Frische-Checker“ (Zustandsabhängige Evidenz-Rekalibrierung)
Dies ist der wichtigste Teil. Bevor der Roboter eine alte Lektion nutzt, stellt DREvo zwei Fragen: „Ist diese Lektion noch zuverlässig?“ und „Passt diese Lation zum aktuellen Körper des Roboters?“
- Zuverlässigkeit: Hat diese Lektion in der Vergangenheit jedes Mal funktioniert, wenn sie angewendet wurde, oder war es nur ein Glückstreffer?
- Frische: Ist der Code des Roboters noch ähnlich wie zu dem Zeitpunkt, als diese Lektion gelernt wurde? Wenn der Roboter seinen „Griff“ (seine Codestruktur) geändert hat, passt eine alte Lektion über das Greifen vielleicht nicht mehr.
DREvo vergibt einen „Score“ für jede Lektion. Wenn eine Lektion alt ist oder der Roboter sich zu stark verändert hat, sinkt der Score und der Roboter ignoriert sie. Wenn die Lektion frisch und zuverlässig ist, bleibt der Score hoch.
3. Die „Trainerpfeife“ (Rollengebundene Suchabsicht-Destillation)
Schließlich gibt DREvo dem Roboter nicht nur eine Liste von Fakten, sondern einen Schlachtplan. Basierend auf den hoch bewerteten Lektionen weist DREvo dem Roboter eine spezifische „Rolle“ für den nächsten Versuch zu:
- Exploit (Ausnutzen): „Dieser Trick hat früher super funktioniert! Mach ihn wieder!“
- Avoid (Vermeiden): „Dieser Trick hat letztes Mal zu einem Absturz geführt! Tu es nicht!“
- Retest (Neu testen): „Wir sind uns bei diesem Punkt unsicher. Lass uns vorsichtig versuchen, ob es jetzt funktioniert.“
- Explore (Erforschen): „Wir haben keine guten Hinweise. Lass uns etwas völlig Neues ausprobieren.“
Dies verwandelt das vage Gefühl des Roboters „Ich muss besser werden“ in einen klaren, handlungsfähigen Befehl wie: „Repariere das Speicher-Tool unter Verwendung der ‚Exploit‘-Strategie.“
Was sie herausfanden
Die Forscher testeten DREvo bei fünf verschiedenen Herausforderungen, die von der Lösung von Chemie-Rätseln über die Diagnose medizinischer Symptome bis hin zur Behebung von Computercode und der Navigation in einem virtuellen Terminal reichten. Sie verglichen es mit anderen Robotern, die versuchten, sich selbst zu entwickeln, sowie mit Robotern mit von Menschen entworfenen Harnesses.
Die Ergebnisse waren sehr vielversprechend. Unter einem begrenzten Budget an Versuchen (das heißt, sie ließen den Roboter nicht ewig üben) fand DREvo in jeder Kategorie die besten Harnesses.
- Bei Aufgaben der medizinischen Diagnose erreichte DREvo eine Genauigkeit von 89,2 % und schlug damit die zweitbeste Methode um 2,4 Prozentpunkte.
- Bei juristischen Schlussfolgerungen erreichte es 49,0 % und war damit 4,0 Prozentpunkte besser als der Nächstbeste.
- Bei der Vorhersage von chemischen Reaktionen erzielte es 25,0 %, was 9,0 Prozentpunkte über dem Runner-up lag.
- Bei agentischen Aufgaben (wie dem Fixen von Code oder der Nutzung eines Computerterminals) verbesserte DREvo die Leistung bei Denkaufgaben im Durchschnitt um 16,2 % und bei Agenten-Aufgaben um 13,8 % im Vergleich zu den anderen Methoden.
Besonders wichtig war, dass die Forscher bemerkten, dass der Fortschritt von DREvo glatt verlief. Während die Scores anderer Roboter wild auf und ab sprangen (Regress und Erholung), stieg die Genauigkeit von DREvo stetig an. Es gelang dem System zudem, seinen „Denkraum“ (Kontext) klein zu halten, etwa bei 2,9K Tokens, während andere Methoden über 5,3K Tokens benötigten und dennoch schlechter abschnitten.
Das Fazit
Die Arbeit legt nahe, dass es nicht ausreicht, einem Roboter einfach nur eine Historie seiner Vergangenheit zu geben. Um wirklich zu lernen, benötigt der Roboter ein System, das prüfen kann, ob alte Lektionen noch anwendbar sind und diese Lektionen in klare, spezifische Anweisungen übersetzen kann. DREvo fungt als dieses System, das eine unordentliche Historie von Versuch und Irrtum in einen glatten, zuverlässigen Pfad zur Verbesserung verwandelt. Es zeigt, dass wir durch einen klugen Umgang mit unseren vergangenen Erfahrungen helfen können, KI-Agenten sogar dann schneller und zuverlässiger evolvieren zu lassen, wenn wir nicht unbegrenzt viel Zeit für ihr Training haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.