LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents
LEGO-RL ist ein Framework, das skalierbares Reinforcement Learning für Coding-Agenten ermöglicht, indem es native Ausführungsharnesses durch In-Process-LLM-Proxying, robuste Sandbox-Orchestrierung und integriertes Monitoring mit Policy-Gradienten-Optimierung verbindet und dadurch die Modellleistung auf SWE-bench Verified über diverse Umgebungen hinweg signifikant verbessert, während eine hohe Trainings-Inferenz-Kohärenz aufrechterhalten wird.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz bringen Forscher Computern bei, als autonome Softwareentwickler zu agieren. Diese digitalen Agenten beantworten nicht einfach nur Fragen; sie navigieren durch komplexe Codebasen, nutzen Werkzeuge, um Fehler zu beheben, und führen Tests durch, um zu sehen, ob ihre Änderungen funktionieren. Um diese Fähigkeiten zu erlernen, nutzen die Agenten eine Methode namens Reinforcement Learning (bestärkendes Lernen). Stellen Sie sich einen Schüler vor, der lernt, ein Puzzle zu lösen: Er probiert einen Zug aus, und wenn dieser ihn der Lösung näher bringt, erhält er eine kleine Belohnung. Mit der Zeit lernt er, welche Züge zum Erfolg führen. Für Coding-Agenten bedeutet dieser Prozess das Generieren langer Sequenzen von Aktionen, das Beobachten eines Computerprogramms während dessen Ausführung und den Erhalt eines einfachen „Ja“ oder „Nein“-Signals, das angibt, ob der geschriebene Code das Problem tatsächlich gelöst hat. Die Herausforderung besteht darin, dass diese Agenten in unordentlichen, realen Computerumgebungen arbeiten, in denen Dinge auf unvorhersehbare Weise schiefgehen können. Wenn die Umgebung abstürzt, das Belohnungssystem getäuscht wird oder der Computer, der die Gedanken des Agenten aufzeichnet, den Überblick darüber verliert, was tatsächlich gesagt wurde, bricht der Lernprozess zusammen. Der Agent könnte lernen, das System auszunutzen oder schlichtweg aufhören zu lernen, weil das Feedback, das er erhält, unzuverlässig ist.
Ein Team von Forschern hat ein neues System namens LEGO-RL entwickelt, um genau diese Probleme zu lösen. Ihr Ziel war es, bestehende, komplexe Coding-Agenten mit leistungsstarken Lernalgorithmen zu verbinden, ohne die Agenten dazu zu zwingen, ihre Arbeitsweise zu ändern. Stellen Sie sich den Agenten als einen geschickten Arbeiter vor, der genau weiß, wie er einen bestimmten Satz von Werkzeugen benutzt und einen bestimmten Arbeitsablauf befolgt. Frühere Versuche, diese Arbeiter zu trainieren, erforderten oft den Umbau ihres gesamten Arbeitsplatzes, um ihn an die Trainingssoftware anzupassen, was häufig zu Fehlern führte oder das natürliche Verhalten des Arbeiters veränderte. Das LEGO-RL-Team baute stattdessen eine Brücke, die es der Trainingssoftware ermöglicht, den Arbeiter exakt so zu beobachten, wie er ist, indem sie jeden Schritt und jeden Gedanken in Echtzeit erfasst, während sie den Lernprozess vor dem Chaos der realen Welt schützt.
Der Kern ihrer Lösung ist ein Framework, das sicherstellt, dass der Trainingscomputer genau das sieht, was der Agent sieht und tut. Wenn ein Agent eine Antwort generiert, erfasst eine spezielle Komponente den rohen Wortstrom und die exakte Wahrscheinlichkeit, die der Agent jedem Wort zugeordnet hat, bevor eine andere Software das Ergebnis verändern oder zusammenfassen konnte. Dies ist entscheidend, da die Software, die die Umgebung des Agenten verwaltet, die Historie oft umschreibt oder Informationen komprimiert, um Platz zu sparen. Wenn das Trainingssystem auf diese umgeschriebenen Versionen vertraut hätte, würde es den Lernfortschritt des Agenten basierend auf einer verzerrten Erinnerung an die Ereignisse berechnen. Durch die Erfassung der Daten im Moment der Generierung stellten die Forscher sicher, dass das Lernsignal den tatsächlichen Entscheidungen des Agenten treu blieb. Darüber hinaus bauten sie ein System, das die spezifischen internen Entscheidungen des Agenten wiederholt abspielt, um sicherzustellen, dass selbst komplexe Modelle mit mehreren spezialisierten Teilen aus dem korrekten Pfad lernen.
Um den Lernprozess zuverlässig zu gestalten, schuf das Team eine hoch organisierte Umgebung, in der jeder Test in seinem eigenen isolierten, sicheren Container läuft. Dies verhindert, dass ein einziger fehlerhafter Test das gesamte System zum Absturz bringt, und stoppt Agenten davor, Abkürzungen zu finden, um das Bewertungssystem zu umgehen. Beispielsweise versteckten sie die Antworten während des Tests vor den Agenten und stellten sicher, dass die Software, die die Arbeit bewertet, nicht manipuliert werden konnte. Sie entwarfen das System auch so, dass es mit Fehlern würdevoll umgeht. Wenn ein Agent stecken bleibt oder die Umgebung abstürzt, identifiziert das System das Problem, verwirft diesen spezifischen Versuch und macht weiter, ohne den Lernprozess durch den Fehler zu korrumpieren. Dies ermöglicht es, dass das Training reibungslos fortgesetzt wird, selbst wenn einzelne Tests fehlschlagen, was bei komplexen Programmieraufgaben häufig vorkommt.
Die Forscher testeten dieses System, indem sie ein großes Sprachmodell mit drei verschiedenen, bereits existierenden Coding-Agent-Frameworks trainierten. Sie fanden heraus, dass das System über alle drei Frameworks hinweg bemerkenswert gut funktionierte. Die Fähigkeit des Modells, reale Softwareprobleme zu lösen, verbesserte sich signifikant. Bei Verwendung eines populären Frameworks sprang die Erfolgsquote von 64 Prozent auf über 70 Prozent. Bei einem anderen stieg sie von 62 Prozent auf fast 68 Prozent, und bei einem dritten kletterte sie von 57 Prozent auf fast 67 Prozent. Entscheidend war, dass die Forscher verifizierten, dass der Lernprozess ehrlich war: Die mathematische Beziehung zwischen dem, was der Agent tat, und dem, was das Trainingssystem berechnete, blieb nahezu perfekt, mit einer Korrelation von über 99 Prozent. Dies bewies, dass das System nicht nur Glück hatte, sondern tatsächlich aus den korrekten Daten lernte.
Über die Verbesserung der Scores hinaus bot das System ein klares Fenster in die Art und Weise, wie die Agenten lernten. Die Forscher konnten das Training in Echtzeit beobachten und genau sehen, warum ein Test fehlschlug oder wie sich das Verhalten des Agenten über Wochen des Trainings veränderte. Sie beobachteten, dass die Agenten mit zunehmender Verbesserung begannen, ihre eigene Arbeit häufiger zu überprüfen, indem sie Dateien lasen, die sie gerade bearbeitet hatten, um sicherzustellen, dass ihre Änderungen korrekt waren. Sie bemerkten auch, dass die Agenten begannen, mehr Schritte zu unternehmen, um Probleme zu lösen, indem sie längere und komplexere Konversationen mit dem Computer führten, um eine Lösung zu erreichen. Diese Detailtiefe ermöglichte es den Forschern, Probleme schnell zu diagnostizieren – etwa wenn ein Agent aufhörte, Werkzeuge zu benutzen, und stattdessen anfing, Text zu schreiben – und das Training entsprechend anzupassen.
Der Erfolg von LEGO-RL zeigt, dass die Skalierung des Trainings von Coding-Agenten mehr erfordert als nur schnellere Computer oder größere Modelle. Es verlangt nach einem System, das die Integrität des Arbeitsablaufs des Agenten respektiert und gleichzeitig eine stabile, beobachtbare Umgebung für das Lernen bietet. Indem sie ein Framework schufen, das Daten originalgetreu erfasst, vor Fehlern schützt und eine tiefe Sichtbarkeit in den Trainingsprozess bietet, haben die Forscher gezeigt, dass es möglich ist, komplexe Software-Agenten zuverlässig zu lehren. Ihre Arbeit legt nahe, dass die Zukunft des autonomen Codierens nicht darin liegt, Agenten in starre Formen zu pressen, sondern flexible, robuste Systeme zu bauen, die aus der unordentlichen Realität der Softwareentwicklung lernen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.