Better, Faster, Stronger: Programmatic Skill Learning Best Reduces Agent Cost

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man sich auf einem riesigen, unordentlichen Spielplatz bewegt. Zuerst ist der Roboter wie ein neugieriger Kleinkind: Er versucht vorwärts zu laufen, stößt gegen eine Wand, wird verwirrt, versucht es erneut und lernt vielleicht ein kleines bisschen dazu. So arbeiten moderne KI-„Agenten“ oft. Es sind leistungsstarke Sprachmodelle, die Anweisungen verstehen und mit Computern kommunizieren können, aber wenn sie vor einer neuen, komplexen Aufgabe stehen, müssen sie oft jeden einzelnen Schritt von Grund auf neu „durchdenken“. Sie versuchen vielleicht eine Tür zu öffnen, scheitern, versuchen es auf einem anderen Weg, scheitern erneut und laufen in einer Schleife, bis sie es richtig hinbekommen. Das funktioniert zwar, ist aber langsam und teuer. Jedes Mal, wenn der Roboter „nachdenkt“, kostet das Geld und Zeit, genau so, als würde man für jede einzelne Minute bezahlen, die ein Mensch mit dem Lösen eines Puzzles verbringt.

Die große Frage, die sich Forscher stellen: Wie können wir diese Roboter lehren, besser zu werden, ohne dass sie dasselbe immer wieder neu lernen müssen? Die Antwort beinhaltet meistens „Fähigkeiten“ (Skills). Denken Sie an eine Fähigkeit wie eine Abkürzung oder ein fertiges Rezept. Anstatt jedes Mal das Rezept für einen Kuchen von Grund auf neu zu erfinden, folgt man einfach einem Rezept, das man bereits aufgeschrieben hat. Eine Zeit lang versuchten Wissenschaftler, diese Rezepte in einfachem Englisch zu schreiben. Aber die Autoren dieser Arbeit fragten sich: Was wäre, wenn wir die Rezepte in Code schreiben würden? Code ist wie eine superpräzise Bedienungsanleitung, die ein Computer sofort und ohne Verwirrung oder Zeitverschwendung befolgen kann. Die große Idee war: Wenn wir die chaotischen Trial-and-Error-Erfahrungen des Roboters in sauberen, wiederverwendbaren Code verwandeln können, wird der Roboter schneller, günstiger und viel intelligenter.

Genau das wollten das Team hinter dem „SpeedRunner“-Projekt testen. Sie wollten sehen, ob ein KI-Agent lernen kann, seine eigenen codebasierten Fähigkeiten zu schreiben, während er arbeitet, anstatt nur gesagt zu bekommen, was er tun soll. Sie bauten ein System, in dem der KI-Agent ein Spiel spielt, Fehler macht und dann ein zweiter, spezieller „Coding-Agent“ die Historie des Roboters analysiert. Dieser Coding-Agent fungiert wie ein Detektiv und ein Programmierer in einem. Er scannt die vergangenen Versuche des Roboters, findet Muster, bei denen der Roboter immer wieder scheiterte oder dieselbe lange Sequenz von Schritten wiederholte, und schreibt dann ein neues Stück Code, um es zu beheben. Es ist, als würde man ein Video von jemandem beobachten, der versucht, seine Schuhe zu binden, feststellt, dass er die Schnürsenkel immer wieder verklemmt, und dann eine winzige, perfekte Anleitung schreibt, wie man sie richtig bindet, damit sie nie wieder stecken bleiben.

Die Forscher testeten diese Idee in drei sehr unterschiedlichen virtuellen Welten: einem wissenschaftlichen Labor, in dem man Chemikalien mischen muss, einer Gitterwelt, in der man Anweisungen befolgen muss, um Objekte aufzuheben, und einem Survival-Spiel, in dem man Ressourcen sammeln und gegen Zombies kämpfen muss. In all diesen Umgebungen lernte der „SpeedRunner“-Agent, seine eigenen Code-Fähigkeiten während des Betriebs zu schreiben. Die Ergebnisse waren beeindruckend. Während andere Methoden entweder in Schleifen stecken blieben oder immer teurer wurden, je mehr sie lernten, wurde SpeedRunner tatsächlich billiger und schneller, je mehr es lernte. Es verwandelte lange, komplizierte Aktionssequenzen in kurze, wiederverwendbare Code-Funktionen. Anstatt zum Beispiel viel Geld dafür auszugeben, darüber nachzudenken, wie man einen Baum findet, lernte der Roboter einen einfachen Code-Befehl namens „find_tree“, den er einfach sofort nutzen konnte.

Das Paper legt nahe, dass dieser Ansatz ein Wendepunkt für die Kosten ist. In einem der Tests verbrauchte der SpeedRunner-Agent etwa ein Achtel des Geldes (im Sinne von Rechenleistung), das die Standardmethode zur Lösung desselben Problems benötigt hätte. Er wurde jedoch nicht nur billiger, sondern auch besser in den Aufgaben. Der entscheidende Punkt war, dass der Coding-Agent nicht nur memorierte, was passiert war, sondern analysierte, warum Dinge scheiterten. Wenn der Roboter ständig daran scheiterte, eine Ressource zu finden, weil er sie nicht sehen konnte, schrieb der Coding-Agent eine neue Funktion, um „das Gebiet abzusuchen“, bevor er aufgab. Dies machte den Agenten robust, was bedeutet, dass er in der Lage war, mit zufälligen Änderungen in der Umgebung, wie etwa plötzlich auftauchenden Zombies, umzugehen, ohne in Panik zu geraten.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Allheilmittel für jede Situation ist. Sie fanden heraus, dass es den Roboter etwas zu starr machen kann, wenn man ihn zwingt, Code zu verwenden, falls er bereits sehr gut in einer Aufgabe ist – wie ein Roboter, der ein Rezept so strikt befolgt, dass er sich nicht anpassen kann, wenn der Ofen kaputtgeht. Aber für die meisten komplexen, langfristigen Aufgaben scheint es der beste Weg zu sein, chaotische Erfahrungen in sauberen Code zu verwandeln, um KI-Agenten sowohl intelligenter als auch erschwinglicher zu machen. Die Studie zeigt, dass wir, indem wir Agenten erlauben, ihre eigenen „automatisierten Abkürzungen“ während des Spielens zu schreiben, Systeme bauen können, die effizient lernen, ohne jedes Mal neu trainiert werden zu müssen, wenn sie vor einer neuen Herausforderung stehen.