Technische Samenvatting: ReCode: Versterking van Codegeneratie met Beloningen voor Redeneerprocessen

Probleemstelling

Versterkt Leren (RL) is uitgegroeid tot een transformerend paradigma voor het verbeteren van Large Language Models (LLM's) in codegeneratie. Bestaande benaderingen vertrouwen echter voornamelijk op uitkomstgerichte supervisie, zoals doorlooppercentages van testgevallen, die beperkte richtlijnen bieden over hoe een correct programma tot stand moet worden gebracht. Hoewel rigoureus redeneren vaak een belangrijke drijvende kracht is voor correcte code, negeren huidige RL-methoden het optimaliseren van de kwaliteit van het redeneerproces zelf vaak.

Het vertalen van het idee om redeneerprocessen te optimaliseren naar een praktisch trainingsframework staat voor twee hoofduitdagingen:

1. Schaarste aan fijnmazige voorkeursdata: Het trainen van betrouwbare beloningsmodellen voor het beoordelen van redeneerkwaliteit wordt gehinderd door het gebrek aan hoogwaardige, fijnmazige voorkeursdata. Menselijke annotatie is niet schaalbaar en subjectief, terwijl het gebruik van LLM's als rechter vaak lijdt onder slechte kalibratie bij het toekennen van scalare scores aan genuanceerde redeneerkwaliteiten.
2. Reward Hacking (Beloning manipuleren): Het naïef integreren van neurale beloningen voor redeneerprocessen in RL brengt aanzienlijke risico's met zich mee. In tegenstelling tot strikte, verifieerbare unit-test-uitkomsten zijn neurale beloningen minder beperkt. Een beleid kan leren de beloning te "hacken" door de score van het redeneerproces op te blazen zonder de functionele correctheid van de gegenereerde code daadwerkelijk te verbeteren.

Methodologie: ReCode Framework

De auteurs stellen ReCode (Reasoning-Reinforced Code Generation) voor, een nieuw RL-trainingsframework dat is ontworpen om codegeneratie te aligneren met hoogwaardige redeneerprocessen. ReCode bestaat uit twee kernelementen:

1. Contrastief Redeneerproces-Beloningleren (CRPL)

Om de uitdaging van dataschaarste aan te pakken, introduceert CRPL een methode om automatisch contrastieve voorkeursdata te synthetiseren zonder afhankelijk te zijn van menselijke annotatie of directe scalare scoring.

• Proces: Het framework codificeert redeneerkwaliteit in drie kritieke dimensies: Feitelijke Juistheid, Logische Strenge en Logische Coherentie.
• Data-synthese: Met behulp van een krachtige LLM (Qwen2.5-Coder-32B-Instruct) genereert CRPL Geoptimaliseerde ($t^+$) en Gedegradeerde ($t^-$) varianten van een basisredeneerproces ($t$) door gerichte transformaties toe te passen langs deze dimensies (bijvoorbeeld redundanties verwijderen voor optimalisatie, of feitelijke fouten introduceren voor degradatie).
• Voorkeursordening: Dit proces creëert een meerlagige voorkeursordening, waarbij drie soorten paren worden gevormd: sterke contrasten ($t^+ \succ t^-$), fijnmazige optimalisatie ($t^+ \succ t$) en fijnmazige degradatie ($t \succ t^-$).
• Training: Een beloningsmodel wordt getraind op deze voorkeursparen met behulp van een Bradley-Terry-doelstelling om te discrimineren tussen redeneerkwaliteiten, in plaats van absolute scores te voorspellen.

2. Consistentie-Gated GRPO (CG-GRPO)

Om het risico van reward hacking aan te pakken, integreert ReCode het beloningsmodel voor redeneerprocessen in de RL-lus via een gating-mechanisme dat is gebaseerd op Group Relative Policy Optimization (GRPO).

• Harde Gate: De beloning voor het redeneerproces ($R_{proc}$) wordt alleen geactiveerd als de gegenereerde code alle unit-tests doorloopt (functionele correctheid).
• Beloningsstructuur: De totale beloning $R_i$ voor een steekproef wordt geformuleerd als:
  $$R_i = R_{fmt} + R_{out} + \mathbb{I}(R_{out} = 1) \cdot R_{proc}$$
  Waar $R_{fmt}$ een formatbeloning is, $R_{out}$ de binaire uitkomstbeloning, en $\mathbb{I}(\cdot)$ de indicatorfunctie.
• Effect: Dit zorgt ervoor dat het beleid de functionele correctheid niet kan compromitteren om de neurale redeneerscore te maximaliseren. Het biedt ook informatieve gradiënten tussen correcte oplossingen, waardoor het model wordt aangemoedigd hoogwaardige redeneerprocessen te prefereren, zelfs wanneer de code al functioneel correct is.

Constructie van Benchmark: LCB-RB

Om het discriminerend vermogen van beloningsmodellen voor redeneerprocessen te evalueren, stellen de auteurs LiveCodeBench-RewardBench (LCB-RB) voor.

• Constructie: Afgeleid van LiveCodeBench, bestaat deze benchmark uit 219 handmatig geverifieerde voorkeursparen van superieure en inferieure redeneerprocessen.
• Filtering: Een tweestaps filtratiepijplijn (Automatische Dubbele Consistentiecontrole met GPT-4o gevolgd door Menselijke Beslissing) zorgt voor strikte alignering tussen redenering en implementatie, en filtert gevallen uit waarbij de code tests doorloopt ondanks gebrekkige redenering of faalt door kleine implementatieproblemen ondanks sounde redenering.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op HumanEval(+), MBPP(+), LiveCodeBench en BigCodeBench met Qwen2.5-Coder-7B-Instruct als beleidsmodel.

• Prestaties Codegeneratie: Een met ReCode getraind 7B-model behaalde een relatieve verbetering van 16,1% ten opzichte van het basismodel (50,4% $\to$ 58,5% gemiddeld doorlooppercentage), en bereikte prestaties vergelijkbaar met GPT-4-Turbo. Het presteerde 6,7% beter dan de uitkomst-only GRPO-baseline.
• Effectiviteit Beloningsmodel: Het met CRPL getrainde beloningsmodel behaalde sterke discriminerende prestaties op LCB-RB, en overtrof state-of-the-art baselines (inclusief GPT-4-Turbo en gespecialiseerde beloningsmodellen). Opmerkelijk is dat het met CRPL getrainde 7B-model op LCB-RB vergelijkbaar presteerde met GPT-4-Turbo.
• Generalisatie:
  • Wiskundedomein: Het uitbreiden van CG-GRPO naar het wiskundedomein (met Qwen2.5-Math-7B) leverde consistente winsten op, met een relatieve verbetering van 7,4% ten opzichte van de RL-baseline zonder redeneerbeloningen op AIME 2024.
  • Cross-Model: De geleerde beloning voor redeneerprocessen werd effectief overgedragen naar het Qwen3-4B-Instruct-model.
• Efficiëntie: ReCode behaalde hogere Pass@1-percentages terwijl het gemiddeld 23,4% minder tokens genereerde in vergelijking met uitkomst-only RL, wat wijst op beknopter en gerichter redeneren.
• Ablatiestudies:
  • Reward Hacking: Alternatieve formuleringen zonder consistentiegate (bijvoorbeeld directe optelling van beloningen) leidden tot beloningsverzadiging en prestatiedegradatie, wat de noodzaak van het gating-mechanisme bevestigt.
  • Data-synthese: Training op voorkeursdata van een enkele generator presteerde beter dan data van meerdere generators, wat suggereert dat consistente stijlartefacten in het syntheseproces schonere supervisiesignalen bieden.

Betekenis en Claims

De paper claimt dat ReCode succesvol aantoont dat kwaliteit van het redeneerproces kan worden benut als een extra trainingsignaal om codegeneratie te verbeteren, verder dan alleen de uiteindelijke uitkomsten. De betekenis hiervan ligt in:

1. Overbruggen van de Kloof: Het biedt een schaalbare oplossing voor het trainen van beloningsmodellen voor redeneerprocessen door contrastieve data te synthetiseren, waardoor de behoefte aan dure menselijke annotatie wordt omzeild.
2. Veiligheid in RL: Het Consistentie-Gated-mechanisme biedt een robuuste methode om neurale procesbeloningen in RL te integreren zonder te bezwijken voor reward hacking, waardoor wordt gegarandeerd dat verbeteringen in redeneren vertalen naar functionele correctheid.
3. Generaliseerbaarheid: Het framework is niet beperkt tot code; het generaliseert naar wiskundige redeneertaken, wat wijst op bredere toepasbaarheid voor het verbeteren van LLM-redeneercapaciteiten.
4. Nieuwe Evaluatiestandaard: De introductie van LCB-RB adresseert een gat in bestaande benchmarks door zich specifiek te richten op de discriminatie van intermediaire redeneerprocessen in plaats van alleen de correctheid van de uiteindelijke oplossing.

De auteurs concluderen dat ReCode een stap voorwaarts is in het aligneren van LLM's met rigoureus redeneren, en dat het bestaande supervisiemethoden die gericht zijn op implementatie aanvult.