Technische Samenvatting: BOOSTAPR

Probleemstelling

Geautomatiseerde Programmareparatie (APR) met Large Language Models (LLM's) staat voor drie fundamentele beperkingen die effectieve versterkende leer (RL) belemmeren:

1. Schaars Uitvoeringsfeedback: In tegenstelling tot tekstgeneratie biedt programmareparatie slechts binaire signalen (slagen/mislukken). Een patch die één kritieke test faalt, ontvangt hetzelfde negatieve signaal als een syntactisch misvormde poging, waardoor er geen richting wordt geboden voor gedeeltelijke correctheid.
2. Grove Beloningen op Sequenceniveau: Standaard RL kent beloningen toe aan de volledige gegenereerde sequentie. Wanneer een patch met meerdere regels slaagt of faalt, ontvangt het model geen informatie over welke specifieke bewerkingen voordelig of schadelijk waren. Dit creëert een ernstig credit-toewijzingsprobleem, wat leidt tot gradiëntschattingen met hoge variantie en inefficiënt leren.
3. Distributieverandering: Modellen die zijn getraind op samengestelde datasets, hebben vaak moeite om te generaliseren naar de diverse bugpatronen die in real-world repositories worden aangetroffen.

Bestaande benaderingen vertrouwen vaak op schaarse beloningen op sequenceniveau of op token-niveau beloningen die ofwel te grof ofwel te fijnkorrelig zijn (zonder semantische betekenis) voor code-aanpassingen.

Methodologie: BOOSTAPR Framework

De auteurs stellen BOOSTAPR voor, een trainingsframework in drie fasen dat uitvoeringsverifieerd leren combineert met fijne credit-toewijzing. Het framework is gebaseerd op de Qwen2.5-Coder-32B-ruggengraat en uitsluitend getraind op SWE-Gym.

Fase I: Uitvoeringsverifieerde Redeneringsoverdracht

Het beleid wordt geïnitieerd via Supervised Fine-Tuning (SFT) op hoogwaardige demonstraties. In tegenstelling tot standaard SFT, legt deze fase twee strikte criteria op:

• Redeneersporen: Demonstraties moeten expliciete diagnostische redenering (bugdiagnose, identificatie van de oorzaak, rechtvaardiging van de oplossing) bevatten naast de patch.
• Uitvoeringsverificatie: Alleen patches die alle tests in de SWE-Gym-omgeving doorstaan, worden behouden. Dit zorgt ervoor dat het model leert van geverifieerde oplossingen, waardoor plausibele maar onjuiste outputs worden gefilterd.

Fase II: Dual Reward Learning

Twee beloningsmodellen worden offline getraind met behulp van uitvoeringsresultaten van het SFT-beleid:

1. Assessor op Sequenceniveau ($R_{seq}$): Een model dat de algehele kwaliteit van een patch voorspelt. Cruciaal is dat het is getraind op alleen patch-input (unified diffs zonder bugcontext) om het leren van spurious correlaties met probleembeschrijvingen te voorkomen. Het gebruikt een hybride doelstelling die regressie combineert (voor gekalibreerde absolute scores) en pairwise preferentie (voor correcte relatieve rangschikking).
2. Credittoewijzer op Lijnniveau ($R_{line}$): Een nieuw onderdeel dat credit toekent aan specifieke bewerking-lijnsegmenten in plaats van aan de hele sequentie of individuele tokens.
   • Mechanisme: Het parsen van unified diffs in aaneengesloten bewerking-lijnsegmenten.
   • Supervisie: Het maakt gebruik van uitvoeringsgebaseerde stack-trace supervisie. Voor mislukte patches identificeert het model segmenten op het faalpad (via traceback-analyse) en kent het hen negatieve credit toe, terwijl succesvolle patches alle bewerkingssegmenten als positief behandelen.
   • Doel: Leren welke bewerkingen het meest bijdragen aan succes of falen, waardoor de herverdeling van beloningen op sequenceniveau naar informatieve gebieden mogelijk wordt.

Fase III: Online PPO met Dual Rewards

De laatste fase optimaliseert het beleid met Proximal Policy Optimization (PPO).

• Token-niveau Beloningsvorming: De score op sequenceniveau van $R_{seq}$ wordt over tokens herverdeeld met behulp van de gewichten die door $R_{line}$ zijn geleerd. Tokens binnen hoogscorende bewerkingssegmenten ontvangen hogere beloningen, terwijl niet-informatieve tokens (koppen, context) een gewicht van nul ontvangen.
• Format Penalty: Een deterministische penalty wordt toegepast op het laatste token als de output geen geldige unified diff is.
• Optimalisatie: Het beleid wordt bijgewerkt om de verwachte beloning te maximaliseren die voortkomt uit deze gestructureerde credittoewijzing, waardoor de gradiëntvariantie wordt verminderd in vergelijking met uniforme beloningen op sequenceniveau.

Belangrijkste Bijdragen

1. Dual Reward Architectuur: Een mechanisme dat kwaliteitsbeoordeling op sequenceniveau combineert met credittoewijzing op lijnsegmentniveau, wat een praktische oplossing biedt voor fijne beloningsverdeling in codebewerkingsopdrachten.
2. Trainingspijplijn in drie fasen: Een geïntegreerde aanpak die uitvoeringsverifieerde SFT, offline beloningsleren met een hybride regressie-preferentie doelstelling en online beleidsoptimalisatie combineert.
3. Gestuurde Vergelijkingen: Rigoureuze evaluatie onder een vaste ruggengraat (32B) en trainingsdata (SWE-Gym), waaruit blijkt dat dual rewards GRPO, rejection-sampling RL en PPO met alleen beloningen op sequenceniveau overtreffen.
4. Ablatie-inzichten: Bewijs dat hoewel PPO met beloningen op sequenceniveau de primaire winst in nauwkeurigheid drijft, de toewijzer op lijnniveau ($R_{line}$) complementaire verbeteringen biedt in generalisatie buiten de verdeling, trainings-efficiëntie en gradiëntkwaliteit.

Experimentele Resultaten

BOOSTAPR werd geëvalueerd op vier benchmarks die reparatie op repository-niveau en op functieniveau bestrijken voor Python en Java:

• SWE-bench Verified (Python): Behaalde een 40,7% slagingspercentage, een verbetering van +22,9 procentpunten (pp) ten opzichte van het basismodel. Dit is vergelijkbaar met SWE-RL (41,0%) maar gebruikt een kleinere 32B-ruggengraat.
• Defects4J v2.0 (Java): Behaalde een 24,8% slagingspercentage, meer dan het dubbele van de prestaties van het basismodel (11,3%) ondanks nul Java-trainingsdata, wat sterke cross-taal generalisatie aantoont. Het $R_{line}$-onderdeel leverde hier een grotere relatieve winst op (+5,6pp) in vergelijking met SWE-bench.
• HumanEval-Java: Behaalde 84,5%, een verbetering van +20,5pp.
• QuixBugs: Behaalde 95,0%.

Gestuurde RL-baselines: Op SWE-bench Verified overtrof BOOSTAPR GRPO (+4,6pp) en Rejection-Sampling RL (+3,2pp). Het $R_{line}$-onderdeel leverde een stabiele winst van +2,4pp op SWE-bench en een significante winst van +5,6pp op Defects4J.

Betekenis en Claims

Het artikel beweert dat BOOSTAPR het credit-toewijzingsprobleem in RL voor codegeneratie aanpakt door te opereren op een intermediaire korrelgrootte (bewerking-lijnsegmenten). Deze korrelgrootte wordt beschreven als een "praktisch compromis" dat fijner is dan toewijzing op hunk-niveau maar stabieler dan token-niveau parsing, vooral voor misvormde of cross-taal patches.

De auteurs benadrukken dat:

• Uitvoeringsgebaseerd leren de primaire drijvende kracht is voor prestaties, waarbij PPO met beloningen op sequenceniveau verantwoordelijk is voor het merendeel van de winst.
• Credittoewijzing op lijnniveau geen vervanging is voor uitvoeringsbeloningen, maar een complementair mechanisme dat de optimalisatiestabiliteit verbetert en generalisatie naar scenario's buiten de verdeling (bijv. Java-taken wanneer getraind op Python) mogelijk maakt.
• De aanpak zich richt op AI-systemen die ontwikkelaars kunnen assisteren door direct te leren van uitvoeringsfeedback in plaats van uitsluitend te vertrouwen op oppervlakkige patroonherkenning of samengestelde datasets.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de supervisie van $R_{line}$ deels heuristisch is en dat bewerking-lijnsegmenten een benaderende semantische eenheid zijn. Het suggereert dat toekomstig werk dit kan combineren met sterkere foutlokalizatie en RL-pijplijnen op grotere schaal.