Project Prometheus: Bridging the Intent Gap in Agentic Program Repair via Reverse-Engineered Executable Specifications
Die Arbeit stellt \textsc{Prometheus} vor, ein Framework, das durch die Umkehrung von Laufzeitfehlern in ausführbare Gherkin-Spezifikationen und eine Validierungsschleife die Lücke zwischen generierten Patches und der Entwicklerabsicht schließt und so die Reparaturrate bei komplexen Fehlern signifikant steigert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Missverständnis: Warum KI-Programmierer oft „Berserker" sind
Stellen Sie sich vor, Sie haben einen sehr talentierten, aber etwas chaotischen Handwerker (die KI), den Sie bitten, ein undichtes Dach zu reparieren.
Der alte Weg (Blind Repair): Sie rufen ihn an und sagen: „Hey, es regnet im Wohnzimmer! Mach das weg!"
- Das Ergebnis: Der Handwerker ist verwirrt. Er weiß nicht genau, warum es regnet oder wo genau das Loch ist. Also fängt er an, wild herumzuprobieren. Vielleicht baut er eine neue Wand auf, vielleicht streicht er die Decke neu an, oder er ersetzt das ganze Dach durch eine Glasdachkonstruktion, obwohl nur ein kleiner Nagel fehlt. Er hat das Problem „gelöst" (es regnet nicht mehr), aber er hat das Haus dabei fast zerstört. In der Forschung nennen wir das den „Intent Gap" (die Lücke zwischen Absicht und Ergebnis) oder das „Berserker-Verhalten": Die KI wird aggressiv und ändert zu viel, weil sie die genaue Absicht nicht versteht.
Der neue Weg (Project Prometheus): Bevor der Handwerker auch nur einen Hammer schwingt, schreiben Sie ihm einen exakten Bauplan.
- Der Plan sagt: „Es gibt ein Loch genau an dieser Stelle. Das Dach muss wasserdicht sein, aber die Farbe der Ziegel darf sich nicht ändern. Bitte löse nur dieses eine Problem."
- Das Ergebnis: Der Handwerker wird zum Chirurgen. Er macht nur einen winzigen, präzisen Schnitt, repariert das Loch und lässt den Rest des Hauses unberührt.
Was ist Prometheus?
Prometheus ist ein neues System, das genau diesen „Bauplan" für Software erstellt, bevor die KI den Code repariert. Es funktioniert in drei Schritten, wie ein kleines Team von Spezialisten:
1. Der Architekt (Der Denker)
Statt die KI einfach zu bitten, den Code zu reparieren, fragt Prometheus zuerst: „Was sollte dieser Code eigentlich tun?"
Der „Architekt" (eine starke KI) analysiert den Fehlerbericht und schreibt einen Bauplan in einer speziellen Sprache (Gherkin).
- Analogie: Statt zu sagen „Reparier das Auto", sagt der Architekt: „Das Auto muss bei 100 km/h stabil bleiben, aber die Bremsen dürfen nicht quietschen."
- Dieser Plan ist so präzise, dass er wie ein Vertrag wirkt: „Wenn ich das mache (WENN), dann muss das passieren (DANN)."
2. Der Ingenieur (Der Prüfer)
Bevor der Plan an den Handwerker geht, prüft der „Ingenieur", ob der Plan überhaupt Sinn ergibt.
- Er nimmt den Plan und testet ihn am kaputten Code: Muss der Test hier fehlschlagen? (Ja, sonst ist der Plan falsch).
- Dann testet er den Plan am perfekten Code (den wir zum Vergleich haben): Muss der Test hier bestehen? (Ja, sonst ist der Plan zu streng).
- Analogie: Der Ingenieur stellt sicher, dass der Bauplan nicht sagt: „Bauen Sie ein Haus ohne Wände", bevor er ihn dem Handwerker gibt. Nur wenn der Plan perfekt ist, geht er weiter.
3. Der Reparateur (Der Handwerker)
Jetzt bekommt der eigentliche Code-Reparateur (der „Fixer") den geprüften Plan.
- Weil er einen klaren Auftrag hat, weiß er genau, was er tun muss. Er muss nicht raten. Er führt eine „chirurgische Reparatur" durch.
- Ergebnis: Statt das ganze Haus umzubauen, repariert er nur das undichte Dach.
Warum ist das so wichtig?
Die Forscher haben dieses System an 680 echten Softwarefehlern getestet. Die Ergebnisse waren erstaunlich:
- Fast perfekte Trefferquote: Prometheus hat 94 % aller Fehler korrekt repariert.
- Rettung von „unmöglichen" Fällen: Es gab 160 Fehler, die normale KI-Systeme (die nur raten) nicht lösen konnten. Prometheus hat 74 % davon trotzdem repariert, nur weil es einen klaren Plan hatte.
- Kein „Berserker-Verhalten": Die KI machte keine wilden, unnötigen Änderungen mehr. Sie wurde präzise.
Die große Erkenntnis
Das Papier sagt uns etwas sehr Wichtiges über die Zukunft der KI:
Es geht nicht darum, noch größere und „dumme" KI-Modelle zu bauen, die mehr Code auswendig lernen. Es geht darum, die Fragen besser zu stellen.
Wenn Sie einer KI eine vage Frage stellen („Reparier das!"), wird sie raten und oft scheitern. Wenn Sie ihr eine präzise, überprüfte Antwort auf die Frage „Was ist das Problem?" geben, wird sie zum genialen Ingenieur.
Zusammenfassend:
Prometheus ist wie ein Übersetzer, der die vagen Gedanken des Menschen in einen exakten, maschinenlesbaren Bauplan verwandelt. Dadurch wird die KI vom wilden Berserker zum präzisen Chirurgen, der Software sicher und sauber repariert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.