Kozuchi Agent: A Language-Agnostic Open-Weight Agent for Software Repair
Kozuchi Agent ist ein sprachunabhängiges Open-Weight-Software-Reparatursystem, das eine persistente, CI-gesteuerte Pipeline nutzt, um ohne Fine-Tuning Spitzenleistungen auf den Benchmarks SWE-bench Verified und Multi-SWE-bench zu erzielen, was zeigt, dass seine verbleibenden Einschränkungen primär aus semantischen Korrektheits- und Selektionsfehlern resultieren und nicht aus Formatierungsfragen oder dem Zugriff auf proprietäre Modelle.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der weiten, komplexen Welt des Software-Engineerings ist Code das Fundament, auf dem das moderne Leben aufgebaut ist, und doch ist er anfällig für Fehler. Wenn ein Programm Fehlfunktionen aufweist, erstellt es einen Bericht, der den Fehler beschreibt, und ein menschlicher Entwickler muss dann das Problem diagnostizieren, die Schwachstelle innerhalb von tausenden Zeilen Text lokalisieren und eine Korrektur schreiben, die das Problem behebt, ohne etwas anderes zu beschädigen. Dieser Prozess ist langsam, schwierig und teuer. Vor kurzem ist eine neue Generation künstlicher Intelligenz entstanden, die diese Berichte lesen und versuchen kann, die Korrekturen selbst zu schreiben. Diese Systeme, oft als Agenten bezeichnet, agieren wie digitale Lehrlinge, die in der Lage sind, durch das Dateisystem eines Computers zu navigieren, Tests auszuführen und Code zu bearbeiten. Es war jedoch eine große Hürde, diese Agenten zu lehren, über längere Zeiträume hinweg zuverlässig zu arbeiten. Sie verlieren sich oft in den Details, vergessen das, was sie in früheren Schritten gelernt haben, oder machen Fehler beim Versuch, die Werkzeuge zu nutzen, die zur Behebung des Codes benötigt werden. Die Herausforderung für Forscher bestand darin, ein System zu bauen, das diese digitalen Arbeiter fokussiert, organisiert und rechenschaftspflichtig hält, damit sie komplexe Probleme ohne ständige menschliche Aufsicht lösen können.
Ein Team von Forschern von Fujitsu Research hat diese Herausforderung bewältigt, indem es ein System namens Kozuchi Agent entwickelt hat. Ihre Arbeit konzentriert sich auf eine spezifische Art der künstlichen Intelligenz, die keine spezielle Schulung an neuen Daten erfordert, sondern stattdan auf ein sorgfältig entworfenes Framework setzt, das ihr Verhalten leitet. Die Forscher bauten eine digitale Umgebung, in der der Agent in klar definierten, distinkten Phasen operiert. Anstatt den Agenten frei durch ein Problem wandern zu lassen, zwingt das System ihn dazu, eine Sequenz von Schritten zu durchlaufen: zuerst die Reproduktion des Fehlers, um dessen Existenz zu bestätigen, dann die Lokalisierung der genauen Ursache des Problems und schließlich das Schreiben und Testen der Korrektur. In jeder Phase muss der Agent ein spezifisches Ergebnis liefern, bevor er zum nächsten Schritt übergeht, und das System führt ein dauerhaftes Protokoll über alles, was der Agent tut. Diese Struktur verhindert, dass der Agent verwirrt wird oder dieselben Fehler wiederholt, und verwandelt eine chaotische Suche in einen disziplinierten, prüfbaren Prozess.
Das Team testete dieses System an einer großen Sammlung realer Softwareprobleme, wobei es sich gezielt auf einen Satz von fünfhundert Problemen der Programmiersprache Python konzentrierte. Sie verwendeten ein leistungsstarkes Open-Source-KI-Modell, das weder für diese spezifische Aufgabe modifiziert noch nachjustiert wurde. Um sicherzustellen, dass die Ergebnisse robust waren, ließen sie den Agenten jedes Problem acht separat durchlaufen und generierten so acht verschiedene potenzielle Lösungen. Das System verglich diese Lösungen anschließend mithilfe einer klugen Auswahlmethode miteinander. Anstatt sich auf einen verborgenen Lösungsschlüssel zu verlassen, um die beste Korrektur auszuwählen, nutzte das System die Tests, die durch jeden der acht Durchläufe generiert wurden, um die anderen zu bewerten. Wenn eine Korrektur die Tests bestand, die durch einen anderen Versuch erstellt wurden, galt sie als starker Kandidat. Dieser Ansatz ermöglichte es dem System, die zuverlässigste Lösung zu identifizieren, ohne die korrekte Antwort im Voraus kennen zu müssen.
Die Ergebnisse waren signifikant. Der Kozuchi Agent löste erfolgreich dreihundertvierundsiebzig von den fünfhundert Python-Problemen, was einer Erfolgsquote von fast siebzig Prozent entspricht. Diese Leistung platzierte das System unter den Top-Performern des Feldes; es belegte den zwölften Platz im Vergleich zu allen Einreichungen, rangierte jedoch an erster Stelle unter den Systemen, die offene, öffentlich zugängliche Modelle verwenden. Die Forscher testeten dasselbe System auch auf einem anderen Satz von Problemen, die in der Programmiersprache Java geschrieben wurden. Trotz der Unterschiede zwischen den beiden Sprachen arbeitete das System mit ähnlicher Konsistenz und löste achtundvierzig von einhundertachtundzwanzig Java-Problemen. Dies demonstrierte, dass das Framework nicht an eine einzige Sprache gebunden war, sondern breit auf verschiedene Arten von Software angewendet werden konnte.
Eine zentrale Erkenntnis der Studie war, dass die auftretenden Fehler nicht darauf zurückzuführen waren, dass der Agent unsauberen oder fehlerhaften Code schrieb. Tatsächlich wurden fast alle vom Agenten produzierten Patches sauber auf die Software angewendet. Die Probleme lagen in der Logik der Korrektur selbst; der Agent schrieb oft eine Korrektur, die korrekt aussah, aber das zugrunde liegende Problem tatsächlich nicht löste. Diese Unterscheidung ist entscheidend, da sie nahelegt, dass die Hauptbarriere für Verbesserungen nicht das Format des Codes oder die Fähigkeit zur Nutzung von Werkzeugen ist, sondern vielmehr das tiefe Verständnis der Bedeutung des Problems. Die Fors 아닌 fanden auch heraus, dass das System in seinen Operationen hocheffizient war. Durch die Automatisierung des Workflows und die Möglichkeit, verschiedene Teile des Prozesses wiederzuverwenden, reduzierten sie den menschlichen Aufwand für die Durchführung dieser Tests von fünf separaten manuellen Schritten auf eine einzige automatisierte Aktion.
Die Studie schloss explizit die Idee aus, dass der Erfolg des Systems lediglich auf Raten oder der Verwendung eines massiven, proprietären Modells beruhte, das nur wenigen Unternehmen zugänglich ist. Der Agent verwendete ein Modell mit siebenundzwanzig Milliarden Parametern, was groß, aber weit kleiner als die leistungsfähigsten verfügbaren Modelle ist, und es erzielte seine Ergebnisse ohne spezielles Fine-Tuning. Die Forscher zeigten auch, dass das System nicht auf Glück basierte; die Leistung war konsistent über verschiedene Durchläufe und verschiedene Arten von Software-Repositories hinweg. Während das System nicht perfekt ist und weiterhin mit den schwierigsten semantischen Problemen kämpft, stellt es einen bedeutenden Fortschritt dar, um künstliche Intelligenz zu einem zuverlässigen Partner im Software-Engineering zu machen. Durch die Kombination eines strukturierten Workflows mit einem intelligenten Auswahlprozess hat der Kozuchi Agent gezeigt, dass offene, zugängliche Technologie in der Lage ist, mit den fortschrittlichsten Systemen bei der Lösung realer Coding-Herausforderungen zu konkurrieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.