Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories
Harness-R1 führt eine neuartige Methode ein, die Online-Reinforcement-Learning nutzt, um einen dedizierten „Harness-Engineer“ zu trainen, der automatisch ausführbare Runtime-Patches aus den Fehler-Trajektorien des Agenten generiert und dadurch die Erfolgsraten bei Aufgaben über mehrere Benchmarks hinweg signifikant verbessert, ohne dass Aktualisierungen an den Modellgewichten des Zielagenten erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen brillanten, superintelligenten Roboter-Assistenten. Sie geben ihm eine Aufgabe, wie zum Beispiel „Finde das perfekte rote Hemd unter 20 $“, und er fängt an zu arbeiten. Aber manchmal wird der Roboter verwirrt. Vielleicht drückt er die falsche Taste, vergisst, wonach er gesucht hat, oder gerät in eine Endlosschleife, in der er versucht, immer wieder denselben Artikel zu kaufen. In der Welt der künstlichen Intelligenz wird dieser Roboter ein „Agent“ genannt, und die chaotische Spur seiner Gedanken, Handlungen und Fehler wird als „Trajektorie“ bezeichnet.
Normal in der Regel, wenn ein Roboter einen Fehler macht, ist der einzige Weg, ihn zu beheben, zur Zeichenbrett zurückzukehren und sein gesamtes Gehirn neu zu trainieren. Das kostet viel Zeit und Energie. Aber es gibt einen anderen Weg: Anstatt das Gehirn des Roboters zu ändern, könnten Sie das „Geschirr“ ändern, das er trägt. Betrachten Sie das Geschirr als seine Sicherheitsausrüstung, seine Checkliste und seinen Kommunikationsleitfaden in einem. Es ist der Code, der dem Roboter sagt, wie er mit der Welt kommuniziert, wie er seine Arbeit überprüft und wie er sich erholt, wenn er stolpert. Die große Frage, die sich Forscher stellen, lautet: Können wir einem Roboter beibringen, sein eigenes Geschirr basierend auf seinen vergangenen Fehlern zu reparieren, ohne jedes Mal sein gesamtes Gehirn neu trainieren zu müssen?
Genau das untersucht das Paper „Harness-R1“. Die Forscher haben ein System gebaut, bei dem eine spezielle „Ingenieur“-KI lernt, das Geschirr des Roboters umzuschreiben, indem sie dessen vergangene Fehler studiert. So funktioniert es: Zuerst lassen sie einen Standard-Roboter (das „Ziel“) versuchen, Aufgaben zu lösen und scheitern. Dann schaut sich die Ingenieur-KI diese Misserfolgsgeschichten an und schreibt eine neue Anleitung – einen Patch –, um das Geschirr zu reparieren. Entscheidend ist, dass sie nicht nur raten, ob der Patch gut ist; sie setzen den Patch tatsächlich am Roboter an und lassen ihn die Aufgaben erneut versuchen. Wenn der Roboter häufiger Erfolg hat, erhält der Ingenieur eine Belohnung und lernt, bessere Patches zu schreiben. Wenn der Patch die Dinge verschlimmert, lernt der Ingenieur, dies nicht noch einmal zu tun.
Die Ergebnisse sind ziemlich cool. Als sie dies bei drei verschiedenen anspruchsvollen Spielen testeten (Online-Shopping, Navigieren in einem textbasierten Haus und Verwalten einer Datenbank), war der Standard-Roboter nur etwa 44,3 % der Zeit erfolgreich. Nachdem der Harness-R1-Ingenieur gelernt hatte, sein Geschirr zu reparieren, sprang die Erfolgsquote auf 53,6 %. Das ist eine Verbesserung um 9,3 Prozentpunkte allein durch das Anpassen des Geschirrs, nicht des Gehirns. Noch besser: Sie testeten dies an einem Roboter, der bereits darauf trainiert worden war, klüger zu sein, und der Ingenieur konnte seine Leistung dennoch um weitere 5,0 Punkte steigern.
Das Paper zeigt auch, dass dies kein Zufall für einen spezifischen Roboter ist. Der Ingenieur, den sie trainiert hatten, konnte sich einen brandneuen, anderen Roboter ansehen, den er zuvor noch nie gesehen hatte, dessen Fehler studierte und eine maßgeschneiderte Korrektur schreiben, die auch diesem neuen Roboter half, erfolgreich zu sein. Dies deutet darauf an, dass das Lernen, das „Geschirr“ zu editieren, eine Fähigkeit ist, die einer KI beigebracht werden kann, wodurch sie mit den Robotern, denen sie hilft, ko-evolvieren kann, was sie im Laufe der Zeit intelligenter und zuverlässiger macht, ohne jemals ihre Kerngehirne neu trainieren zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.