🤖 AI

BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models

BoostAPR ist ein dreistufiges Framework, das die automatisierte Programmkorrektur verbessert, indem es überwachtes Fine-Tuning mit ausführungsverifiziertem Reasoning und dualen Belohnungsmodellen kombiniert, um eine feinkörnige, zeilenweise Kreditvergabe während des Reinforcement Learning zu ermöglichen, und damit state-of-the-art-Leistung sowie starke sprachübergreifende Generalisierung über mehrere Benchmarks hinweg erzielt.

Ursprüngliche Autoren: Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen, aber etwas ungeschickten Lehrling beizubringen, wie man eine defekte Maschine repariert. Die Maschine ist ein Stück Computercode, und der „Defekt" ist ein Fehler, der dazu führt, dass er einen Test nicht besteht.

Lange Zeit haben wir versucht, diesen Lehrlingen (KI-Modellen) beizubringen, indem wir ihnen Beispiele für defekte Maschinen und deren Reparaturen zeigten. Doch es gibt ein Problem: Wenn der Lehrling einen Reparaturversuch unternimmt, funktioniert die Maschine entweder perfekt oder sie explodiert. Sie sagt dem Lehrling nicht, welche spezifische Schraube sie angezogen oder welches Kabel sie durchtrennt haben, was den Unterschied ausmachte. Sie erhalten lediglich eine binäre Rückmeldung: „Gute Arbeit" oder „Schlechte Arbeit". Dies macht das Lernen langsam und frustrierend.

Die Arbeit stellt ein neues System namens BOOSTAPR vor, um dieses Problem zu lösen. Stellen Sie es sich als ein dreistufiges Trainingslager vor, das diesen ungeschickten Lehrling in einen Meistermechaniker verwandeln soll.

Schritt 1: Die „Denken-dann-Handeln"-Hausaufgabe (Supervised Fine-Tuning)

Zunächst zeigt das System dem Lehrling nicht nur die endgültige Reparatur. Es zeigt ihm stattdessen das Notizbuch eines Meistermechanikers.

Die Analogie: Stellen Sie sich vor, ein Meistermechaniker gibt Ihnen nicht einfach den reparierten Motor; er schreibt zuerst seinen Denkprozess auf: „Ich habe bemerkt, dass das Geräusch von links kam, also habe ich den Riemen überprüft, festgestellt, dass er locker war, und ihn festgezogen."
Die Behauptung der Arbeit: Die KI wird auf „ausführungsüberprüften Demonstrationen" trainiert. Das bedeutet, sie lernt nur aus Beispielen, bei denen der Meistermechaniker das Problem tatsächlich behoben und seine Überlegungen niedergeschrieben hat. Die KI lernt nicht nur was zu ändern ist, sondern wie man über das Problem nachdenkt.

Schritt 2: Einstellung zweier verschiedener Trainer (Dual Reward Models)

Sobald der Lehrling mit dem Üben beginnt, benötigt er Feedback. In der Vergangenheit sagte der Trainer einfach: „Dieser Patch hat funktioniert!" oder „Dieser Patch ist gescheitert!" Die Arbeit besagt, dass dies zu vage ist. Daher stellen sie zwei spezialisierte Trainer ein:

Der „Großbild"-Trainer ( $R_{seq}$ ): Dieser Trainer betrachtet den gesamten Reparaturjob. Läuft die Maschine? Ja oder Nein? Er vergibt eine Punktzahl für den gesamten Patch.
Der „Mikroskop"-Trainer ( $R_{line}$ ): Dies ist die neue, geheime Zutat. Dieser Trainer betrachtet die Reparatur zeilenweise.
- Die Analogie: Stellen Sie sich vor, der Lehrling hat den Motor repariert, aber gleichzeitig das Auto in eine seltsame Farbe gestrichen und den Radiosender geändert. Der „Großbild"-Trainer sagt: „Es läuft, also ist es eine gute Arbeit." Doch der „Mikroskop"-Trainer sagt: „Warten Sie, das Anstreichen und der Radiowechsel haben nicht dazu beigetragen, den Motor zu reparieren. Nur das Festziehen des Riemens hat es getan. Lassen Sie uns den Erfolg dem Riemen zuschreiben, nicht dem Anstrich."
- Die Behauptung der Arbeit: Dieser Trainer lernt, genau zu identifizieren, welche Codezeilen (die „Bearbeitungsbereiche") den Fehler tatsächlich behoben haben und welche nur Rauschen waren. Er nimmt die „Großbild"-Punktzahl und verteilt das Verdienst auf die spezifischen Zeilen, die wichtig waren.

Schritt 3: Die Probelauf mit intelligentem Feedback (PPO-Optimierung)

Schließlich geht der Lehrling in eine Simulation, um Fehler in Echtzeit zu reparieren.

Die Analogie: Jedes Mal, wenn der Lehrling einen Zug macht, sprechen die beiden Trainer miteinander. Der „Mikroskop"-Trainer sagt dem „Großbild"-Trainer: „Vergib nicht nur Punkte für den gesamten Job; gib dem Lehrling zusätzliche Punkte für das Festziehen dieser spezifischen Schraube und null Punkte für das zufällige Tippen, das er dazwischen gemacht hat."
Die Behauptung der Arbeit: Die KI verwendet eine Methode namens PPO (eine Art Bestärkungslernen), um ihr Gehirn zu aktualisieren. Da der „Mikroskop"-Trainer so detailliertes Feedback gibt, lernt die KI viel schneller und genauer als wenn sie nur ein generisches „Gut/Schlecht"-Signal erhalten würde.

Die Ergebnisse: Wie gut hat es funktioniert?

Die Autoren haben dieses neue Trainingslager an vier verschiedenen „Garagen" (Benchmarks) getestet, die Tausende von defekten Code-Beispielen enthalten:

SWE-bench (Realwelt-GitHub-Fehler): Die KI hat 40,7 % der Fehler behoben. Dies ist ein enormer Sprung von 22,9 % im Vergleich zumselben KI-Modell ohne dieses spezielle Training.
Defects4J (Java-Fehler): Obwohl die KI hauptsächlich auf Python trainiert wurde, hat sie erfolgreich 24,8 % der Java-Fehler behoben. Dies zeigt, dass der „Mikroskop"-Trainer dem Lehrling geholfen hat, allgemeine Reparaturfähigkeiten zu erlernen und nicht nur Python-spezifische Tricks.
HumanEval-Java & QuixBugs: Es wurden sehr hohe Punktzahlen (84,5 % und 95,0 %) bei diesen spezifischen Programmieraufgaben erreicht.

Warum dies wichtig ist (laut der Arbeit)

Die Arbeit argumentiert, dass der größte Durchbruch nicht nur darin besteht, dass die KI intelligenter geworden ist, sondern wie sie intelligenter geworden ist. Indem sie von „Hat es funktioniert?" (Sequenz-Ebene) zu „Welche spezifischen Zeilen haben es zum Funktionieren gebracht?" (Zeilen-Ebene) übergegangen sind, haben sie eine große Lernengpass gelöst.

Der „Mikroskop"-Trainer ( $R_{line}$ ) hat nicht allein die schwere Arbeit erledigt; der „Großbild"-Trainer ( $R_{seq}$ ) hat den Großteil der Arbeit geleistet. Der Mikroskop-Trainer hat jedoch den zusätzlichen Schub geliefert, der notwendig war, um auf neue, schwierige Probleme zu generalisieren, und hat den Trainingsprozess stabiler und effizienter gemacht.

Kurz gesagt: BOOSTAPR lehrt die KI, Code zu reparieren, indem es ihr Expertendenkprozesse zeigt, einen Trainer einstellt, um den gesamten Job zu bewerten, und einen zweiten Trainer einstellt, um jede einzelne gedrehte Schraube zu bewerten, wodurch sichergestellt wird, dass die KI genau lernt, was sie beim nächsten Mal tun soll.

Technische Zusammenfassung: BOOSTAPR

Problemstellung

Die automatisierte Programmreparatur (APR) mit Large Language Models (LLMs) stößt auf drei fundamentale Einschränkungen, die ein effektives Reinforcement Learning (RL) behindern:

Sparsames Ausführungsfeedback: Im Gegensatz zur Textgenerierung bietet die Programmreparatur nur binäre Signale (Bestanden/Nicht bestanden). Ein Patch, der einen einzelnen kritischen Test nicht besteht, erhält dasselbe negative Signal wie ein syntaktisch fehlerhafter Versuch, was keine Anleitung für partielle Korrektheit liefert.
Grobe Belohnungen auf Sequenzebene: Standard-RL vergibt Belohnungen für die gesamte generierte Sequenz. Wenn ein mehrzeiliger Patch erfolgreich ist oder scheitert, erhält das Modell keine Informationen darüber, welche spezifischen Änderungen vorteilhaft oder schädlich waren. Dies erzeugt ein schwerwiegendes Kreditverteilungsproblem, das zu hochvarianzen Gradientenschätzungen und ineffizientem Lernen führt.
Verteilungsverschiebung: Modelle, die auf kuratierten Datensätzen trainiert wurden, haben oft Schwierigkeiten, sich auf die vielfältigen Fehlermuster in realen Repositories zu verallgemeinern.

Bestehende Ansätze verlassen sich häufig auf spärliche Belohnungen auf Sequenzebene oder Belohnungen auf Token-Ebene, die entweder zu grob oder zu feinkörnig (ohne semantische Bedeutung) für Codeänderungen sind.

Methodik: BOOSTAPR-Rahmenwerk

Die Autoren schlagen BOOSTAPR vor, ein dreistufiges Trainingsrahmenwerk, das lernbasierte Verifikation durch Ausführung mit einer feinkörnigen Kreditverteilung kombiniert. Das Rahmenwerk basiert auf dem Qwen2.5-Coder-32B-Rückgrat und wird ausschließlich auf SWE-Gym trainiert.

Stufe I: Übertragung von ausführungsverifiziertem Schlussfolgern

Die Policy wird durch Supervised Fine-Tuning (SFT) auf hochwertigen Demonstrationen initialisiert. Im Gegensatz zum Standard-SFT setzt diese Stufe zwei strenge Kriterien durch:

Schlussfolgerungsspuren: Demonstrationen müssen explizite diagnostische Schlussfolgerungen (Fehlerdiagnose, Identifizierung der Grundursache, Begründung der Reparatur) neben dem Patch enthalten.
Ausführungsverifikation: Nur Patches, die alle Tests in der SWE-Gym-Umgebung bestehen, werden beibehalten. Dies stellt sicher, dass das Modell aus verifizierten Lösungen lernt und plausible, aber falsche Ausgaben filtert.

Stufe II: Duales Belohnungslernen

Zwei Belohnungsmodelle werden offline unter Verwendung von Ausführungsergebnissen der SFT-Policy trainiert:

Assessor auf Sequenzebene ( $R_{seq}$ ): Ein Modell, das die Gesamtqualität eines Patches vorhersagt. Entscheidend ist, dass es auf nur-Patch-Eingaben (unifizierte Diffs ohne Fehlerkontext) trainiert wird, um das Erlernen zufälliger Korrelationen mit Problembeschreibungen zu verhindern. Es verwendet ein hybrides Ziel, das Regression (für kalibrierte absolute Scores) und paarweise Präferenz (für korrekte relative Rangfolgen) kombiniert.
Kreditallokator auf Zeilenebene ( $R_{line}$ ): Eine neuartige Komponente, die Kredit spezifischen Edit-Zeilen-Spannen zuweist, anstatt der gesamten Sequenz oder einzelnen Tokens.
- Mechanismus: Sie zerlegt unifizierte Diffs in zusammenhängende Edit-Zeilen-Spannen.
- Supervision: Sie verwendet ausführungsbasierte Stack-Trace-Supervision. Für fehlschlagende Patches identifiziert das Modell Spannen auf dem Fehlerpfad (via Traceback-Analyse) und weist ihnen negativen Kredit zu, während erfolgreiche Patches alle Edit-Spannen als positiv behandeln.
- Ziel: Zu lernen, welche Änderungen am meisten zum Erfolg oder Misserfolg beitragen, um die Umverteilung von Belohnungen auf Sequenzebene auf informative Bereiche zu ermöglichen.

Stufe III: Online-PPO mit dualen Belohnungen

Die letzte Stufe optimiert die Policy mittels Proximal Policy Optimization (PPO).

Formung von Token-Level-Belohnungen: Der Score auf Sequenzebene von $R_{seq}$ wird unter Verwendung der von $R_{line}$ gelernten Gewichte über Tokens umverteilt. Tokens innerhalb von hochbewerteten Edit-Spannen erhalten höhere Belohnungen, während nicht-informative Tokens (Header, Kontext) ein Gewicht von Null erhalten.
Format-Strafe: Ein deterministischer Strafwert wird am letzten Token angewendet, wenn die Ausgabe kein gültiger unified Diff ist.
Optimierung: Die Policy wird aktualisiert, um die erwartete Belohnung zu maximieren, die aus dieser strukturierten Kreditverteilung abgeleitet wird, was die Gradientenvarianz im Vergleich zu einheitlichen Belohnungen auf Sequenzebene reduziert.

Hauptbeiträge

Duale Belohnungsarchitektur: Ein Mechanismus, der die Qualitätsbewertung auf Sequenzebene mit der Kreditverteilung für Edit-Zeilen-Spannen auf Zeilenebene kombiniert und eine praktische Lösung für die feinkörnige Belohnungsverteilung bei Code-Editieraufgaben bietet.
Dreistufige Trainingspipeline: Ein integrierter Ansatz, der ausführungsverifiziertes SFT, offlinees Belohnungslernen mit einem hybriden Regressions-Präferenz-Ziel und online Policy-Optimierung kombiniert.
Kontrollierte Vergleiche: Strenge Evaluierung unter einem festen Rückgrat (32B) und Trainingsdaten (SWE-Gym), die zeigen, dass duale Belohnungen GRPO, Rejection-Sampling-RL und PPO mit reinen Belohnungen auf Sequenzebene übertreffen.
Ablations-Erkenntnisse: Belege dafür, dass PPO mit Belohnungen auf Sequenzebene zwar die primären Genauigkeitsgewinne vorantreibt, der Allokator auf Zeilenebene ( $R_{line}$ ) jedoch komplementäre Verbesserungen bei der Verallgemeinerung auf Out-of-Distribution-Szenarien, der Trainingseffizienz und der Gradientenqualität liefert.

Experimentelle Ergebnisse

BOOSTAPR wurde an vier Benchmarks evaluiert, die Reparaturen auf Repository-Ebene und Funktionsebene in Python und Java abdecken:

SWE-bench Verified (Python): Erzielte eine **40,7 %**ige Bestehensquote, eine Verbesserung von +22,9 Prozentpunkten (pp) gegenüber dem Basismodell. Dies ist vergleichbar mit SWE-RL (41,0 %), verwendet jedoch ein kleineres 32B-Rückgrat.
Defects4J v2.0 (Java): Erzielte eine **24,8 %**ige Bestehensquote, mehr als eine Verdopplung der Leistung des Basismodells (11,3 %) trotz null Java-Trainingsdaten, was eine starke sprachübergreifende Verallgemeinerung demonstriert. Die Komponente $R_{line}$ trug hier im Vergleich zu SWE-bench zu einem größeren relativen Gewinn bei (+5,6 pp).
HumanEval-Java: Erzielte 84,5 %, eine Verbesserung von +20,5 pp.
QuixBugs: Erzielte 95,0 %.

Kontrollierte RL-Baselines: Auf SWE-bench Verified übertraf BOOSTAPR GRPO (+4,6 pp) und Rejection-Sampling-RL (+3,2 pp). Die Komponente $R_{line}$ lieferte einen stabilen Gewinn von +2,4 pp auf SWE-bench und einen signifikanten Gewinn von +5,6 pp auf Defects4J.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BOOSTAPR das Kreditverteilungsproblem in RL für Codegenerierung durch Operation auf einer intermediären Granularität (Edit-Zeilen-Spannen) adressiert. Diese Granularität wird als „praktischer Kompromiss" beschrieben, der feiner als die Zuweisung auf Hunk-Ebene, aber stabiler als die Token-Level-Parsing ist, insbesondere für fehlerhafte oder sprachübergreifende Patches.

Die Autoren betonen, dass:

Ausführungsbasiertes Lernen der primäre Treiber der Leistung ist, wobei PPO mit Belohnungen auf Sequenzebene den Großteil der Gewinne ausmacht.
Kreditverteilung auf Zeilenebene kein Ersatz für Ausführungsbelohnungen ist, sondern ein komplementärer Mechanismus, der die Optimierungsstabilität und die Verallgemeinerung auf Out-of-Distribution-Szenarien verbessert (z. B. Java-Aufgaben, wenn auf Python trainiert wurde).
Der Ansatz sich zu KI-Systemen entwickelt, die Entwickler unterstützen können, indem sie direkt aus Ausführungsfeedback lernen, anstatt sich ausschließlich auf oberflächliches Mustererkennen oder kuratierte Datensätze zu verlassen.

Die Arbeit räumt Einschränkungen ein und stellt fest, dass die $R_{line}$ -Supervision teilweise heuristisch ist und Edit-Zeilen-Spannen eine angenäherte semantische Einheit darstellen. Sie schlägt vor, dass zukünftige Arbeiten dies mit stärkerer Fehlerlokalisierung und RL-Pipelines größeren Maßstabs kombinieren könnten.