SAGE: A Self-Adaptive Agentic Framework for Execution-Guided Code Generation and Self-Repair
Dieses Paper stellt SAGE vor, ein selbstadaptives Multi-Agenten-Framework, das die Zuverlässigkeit der Generierung ausführbarer Multi-Datei-Projekte signifikant verbessert, indem es einen geschlossenen MAPE-K-Regelkreis verwendet, um Code iterativ auszuführen, Laufzeitfehler zu analysieren und Selbstreparatur durchzuführen, wodurch eine statistisch signifikante Steigerung der Erfolgsraten im Vergleich zur Einmal-Generierung erzielt wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, aber etwas zerstreuten Roboter beizubringen, eine komplexe LEGO-Burg zu bauen. Sie geben dem Roboter eine einfache Anweisung: „Baue eine Burg mit einem Burggraben und einer Zugbrücke.“ Der Roboter, der mit Millionen von Bildern von Burgen trainiert wurde, könnte sofort eine Struktur zusammenstecken, die perfekt aussieht. Aber wenn Sie versuchen, die Zugbrücke zu ziehen, könnte sie abbrechen, weil der Roboter ein Teil verwendet hat, das vor Jahren aus dem Sortiment genommen wurde, oder weil er vergessen hat, das Fundament am Boden zu verankern. In der Welt der Informatik ist dies die Herausforderung von „Large Language Models“ (LLMs). Dies sind KI-Systeme, die unglaublich gut darin sind, kleine Code-Stücke zu schreiben, wie etwa eine einzelne Funktion, aber sie haben oft Schwierigkeiten, wenn man sie bittet, ein ganzes, funktionierendes Softwareprojekt von Grund auf neu zu erstellen. Sie vergessen vielleicht, notwendige Werkzeuge zu installieren, verwenden veraltete Anweisungen oder erstellen ein Programm, das auf dem Papier korrekt aussieht, aber in dem Moment abstürzt, in dem man versucht, es auszuführen.
Lange Zeit bestand die Lösung darin, den Roboter einfach noch einmal probieren zu lassen, in der Hoffnung, dass er es beim ersten Mal richtig macht. Aber dieses Paper stellt einen klügeren Ansatz vor: Anstatt nur zu raten, lass den Roboter die Burg tatsächlich bauen, versuche die Zugbrücke zu öffnen, und wenn sie bricht, repariere sie sofort. Dies ist der Kern der Idee der „executionsgesteuerten Selbstreparatur“ (execution-guided self-repair). Es ist wie das Vorhandensein eines Qualitätskontrolleurs, der nicht nur die Baupläne betrachtet, sondern tatsächlich versucht, das Produkt zu benutzen. Wenn das Produkt fehlschlägt, sagt der Kontrolleur dem Erbauer genau, was schiefgelaufen ist, und der Erbauer repariert es. Dieser Zyklus aus Bauen, Testen und Reparieren setzt sich fort, bis das Projekt perfekt funktioniert. Die große Frage, die Forscher gestellt haben, lautet: Macht dieser „Versuchen, Scheitern, Fixen“-Zyklus die KI tatsächlich viel besser im Bau komplexer Software, oder lässt er den Roboter nur im Kreis drehen und verwirrt werden?
Der Forscher hinter dieser Studie, Harshil Lodhiya, entwickelte ein neues System namens SAGE (Self-Adaptive Agentic Framework for Execution-Guided Code Generation and Self-Repair), um diese Frage zu beantworten. Stellen Sie sich SAGE als eine winzige, automatisierte Baustelle mit vier verschiedenen Rollen vor, die in einer Schleife arbeiten. Zuerst zerlegt ein Planner Ihr großes Ziel in eine detaillierte Checkliste. Zweitens baut ein Coder die Dateien basierend auf dieser Liste. Drittens fungiert ein Validator als strenger Inspektor: Er richtet eine saubere, isolierte Werkstatt ein, installiert die notwendigen Werkzeuge und versucht, das Programm auszuführen. Wenn das Programm abstürzt oder nicht das tut, was es tun sollte, gibt der Validator nicht einfach auf; er sendet die Fehlermeldung an ein viertes Mitglied, den Feedback Agent. Dieser Agent agiert wie ein Detektiv, liest den Fehlerbericht und sagt dem Coder genau, welche Datei er ändern muss und wie er sie reparieren kann. Der Coder nimmt dann die Reparatur vor, und das gesamte Team versucht es erneut. Dieser Zyklus wiederholt sich, bis das Projekt erfolgreich läuft oder die Versuche aufgebraucht sind.
Das Team testete SAGE an einem speziellen Satz von 15 kniffligen Aufgaben, die sie speziell entworfen haben, um KIs hereinzulegen, wie etwa die Verwendung alter Bibliotheksbefehle, die nicht mehr existieren, oder das Fehlen einer erforderlichen Ausgabedatei. Sie verglichen SAGEs „Fix-it“-Schleife mit einer Standard-KI, die einfach versucht, das Projekt einmalig zu bauen und auf das Beste hofft. Die Ergebnisse waren eindeutig: Die Selbstreparatur-Schleife machte einen riesigen Unterschied. Bei der Verwendung eines starken KI-Modells (gpt-4.1-mini) war der Standardansatz („One-Shot“) in etwa 69,3 % der Fälle erfolgreich. Aber als sie die SAGE-Reparatur-Schleife hinzufügten, sprang die Erfolgsquote auf 92,0 %. Das ist eine Verbesserung um 22,7 Prozentpunkte, was der Forscher als signifikanten und bedeutsamen Gewinn bezeichnet. Im Wesentlichen rettete die Schleife Aufgaben, die die KI sonst völlig verfehlt hätte, wie zum Beispiel das Reparieren von Code, der versuchte, ein Alias für die Häufigkeit „month“ zu verwenden, das aus einer populären Datenbibliothek entfernt worden war.
Das Paper testete jedoch auch eine aggressivere Version der Idee. Sie fragten sich: Was, wenn die KI nicht nur Abstürze behebt, sondern auch prüft, ob das Programm perfekt vollständig ist, selbst wenn es nicht abstürzt? Wenn zum Beispiel ein Programm dazu gedacht war, eine Berichtsdatei zu generieren, aber ohne Fehler fertig wurde, nur eben ohne die Datei – würde die KI das erkennen? Sie bauten ein „korrektheitsbewusstes“ (correctness-aware) System, um dies zu tun. Überraschenderweise half diese zusätzliche Strenge nicht viel. Die Erfolgsquote stieg nur um winzige 2,7 Punkte (auf 94,7 %), und der Forscher fand, dass dieser Unterschied statistisch nicht signifikant war. Tatsächlich führte das zusätzliche Prüfen manchmal dazu, dass die KI Dinge „über-reparierte“, wodurch Programme, die bereits funktionierten, kaputtgingen. Die Lektion hier ist, dass es zwar hilfreich ist, der KI genau zu sagen, wie Erfolg aussieht, aber das ständige Erzwingen von Re-Checks und Re-Fixes die Sache tatsächlich verschlechtern kann.
Kurz gesagt zeigt das Paper, dass die Gabe einer „Versuchen, Scheitern, Fixen“-Schleife ein leistungsstarker Weg ist, um funktionierende Software zu bauen, indem sie eine Erfolgsquote von etwa 69,3 % auf 92,0 % hebt. Es beweist, dass es der Schlüssel ist, das Potenzial für komplexe Projekte freizusetzen, indem man die KI ihre eigenen Fehler in einer echten, isolierten Umgebung sehen lässt. Aber es warnt uns auch davor, dass Perfektionismus nach hinten losgehen kann; manchmal ist es besser, die KI die großen Fehler beheben zu lassen und den Rest in Ruhe zu lassen. Der Forscher hat seinen Code und sein Test-Suite für jeden offen zugänglich gemacht, in der Hoffnung, andere beim Bau von Software zu helfen, die sich selbst heilen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.