Technische Samenvatting: Van Redeneren naar Code: GRPO-Optimalisatie voor Ondervertegenwoordigde Talen

Probleemstelling

Het genereren van accurate en uitvoerbare code in ondervertegenwoordigde programmeertalen (bijvoorbeeld Prolog, Lisp) blijft een aanzienlijke uitdaging voor Large Language Models (LLM's). Hoewel modellen uitblinken in talen met veel bronnen, zoals Python, falen ze consequent in logisch programmeren vanwege het gebrek aan openbare trainingsdata. Deze schaarste aan data leidt tot specifieke faalmodi: hallucinatie van niet-bestaande predicaten, het opleggen van imperatieve besturingsflow op declaratieve paradigma's, en een verkeerde behandeling van unificatie en backtracking. Standaard Supervised Fine-Tuning (SFT) is ontoereikend omdat het afhankelijk is van schaarse, door mensen geschreven voorbeelden en niet direct optimaliseert voor uitvoeringscorrectheid.

Methodologie

Het artikel stelt een Reinforcement Learning met Verifieerbare Beloningen (RLVR) framework voor dat gebruikmaakt van uitvoeringsgestuurde feedback om kleine LLM's (Qwen2.5-Coder-familie, 0,5B tot 7B parameters) te trainen zonder te vertrouwen op uitgebreide, door mensen samengestelde datasets.

Kernframework

• Algoritme: De auteurs maken gebruik van Group Relative Policy Optimization (GRPO), een policy-gradient algoritme dat de noodzaak van een apart waarde-functienetwerk elimineert (in tegenstelling tot PPO). GRPO schat het voordeel van een output ten opzichte van een groep van gelijke outputs die zijn bemonsterd vanuit dezelfde prompt, waardoor de rekenkosten worden verlaagd.
• Trainingslus: Het systeem integreert een Prolog-interpreter (via PySwip) direct in de trainingslus. De LLM genereert code als reactie op prompts in natuurlijke taal (specifiek uit de GSM8K-dataset), en de interpreter voert de code uit om een ground-truth correctheidssignaal te leveren.
• Beloningssysteem: Een multi-objectieve beloningsfunctie aggregeert vier signalen:
  1. Formaatbeloningen: Boetes en bonussen voor het naleven van een strikt XML-sjabloon (<reasoning>, <code>, <query>), zodat de code extracteerbaar is. Een specifieke boete wordt toegepast als de query onjuist genest is binnen het codeblok.
  2. Correctheidsbeloningen: Gebaseerd op uitvoeringsresultaten:
     • +1,0: Exacte overeenkomst met de ground truth.
     • -1,0: Logische fout (voert uit maar geeft een verkeerd resultaat).
     • -0,5: Syntaxisfout (faalt bij compileren/uitvoeren).
     • -0,1: Time-out of geen output.

Belangrijke Technische Interventies

De auteurs identificeerden een faalmodus genaamd "reasoning contraction" (redeneringscontractie), waarbij standaard GRPO-training met een Kullback–Leibler (KL)-divergentieboete ervoor zorgde dat het 7B-model instortte in korte, gememoriseerde outputpatronen, wat op termijn de nauwkeurigheid verslechterde. Om dit aan te pakken, introduceerden ze twee kritieke modificaties:

1. Verwijdering van KL-Divergentie: Het elimineren van de KL-boete stelde het beleid in staat verder af te wijken van de supervised baseline, waardoor het model het onderscheidende logische programmeerparadigma kon internaliseren.
2. Lengte-bewuste Beloning: Een specifiek beloningsmechanisme werd toegevoegd om redeneringsketens binnen een gewenst token-lengtebereik te stimuleren, waardoor het model wordt voorkomen dat het zijn redeneerproces verkort.

Belangrijkste Bijdragen

1. Nieuwe State-of-the-Art voor Prolog: Aangetoond dat RLVR met uitvoeringsgebaseerde feedback extreme dataschaarste kan compenseren, waarmee een nieuwe benchmark wordt gevestigd voor Prolog-codegeneratie op GSM8K met een model van 7B parameters.
2. Systematische Ablatie van GRPO-dynamiek: "Reasoning contraction" geïdentificeerd als een specifieke faalmodus van KL-geregulariseerde RL in logisch programmeren, en de omstandigheden gekarakteriseerd waaronder het versoepelen van deze beperking voordelig is.
3. Generalisatie Buiten Aritmetiek: Aangetoond dat verbeteringen overdragen naar 20 diverse Prolog-taken (Rosetta Code) en de GSM-Symbolic-benchmark, waarbij de zero-shot-nauwkeurigheid meer dan verdubbelde.
4. Cross-taal Validiteit: De aanpak gevalideerd op Lisp, wat aantoont dat interpreter-gestuurde RL effectief is over verschillende families van ondervertegenwoordigde talen.

Resultaten

Experimenten werden uitgevoerd op de GSM8K-dataset, met evaluaties op Rosetta Code en GSM-Symbolic (P1 en P2 varianten).

• GSM8K-prestaties:
  • De geoptimaliseerde Qwen2.5-Coder-7B (Zero-shot, geen KL, lengtebeperking) behaalde een pass@4 van 0,882.
  • In One-shot-instellingen bereikte dezelfde configuratie 0,893, waarmee het PROPER (Mistral-7B, 0,72), Llama 3.3 70B (0,839) en Qwen2.5-Coder-32B (0,873) overtrof.
  • Zonder de verwijdering van KL leed het 7B-model aan prestatiedrift, met een daling van een baseline van 0,814 naar 0,672.
• GSM-Symbolic:
  • Op de uitdagende P2-dataset (die diepere symbolische manipulatie vereist), steeg de zero-shot pass@4 voor het 7B-model van een baseline van 0,298 naar 0,673.
• Lisp-prestaties:
  • De aanpak verbeterde de zero-shot pass@4 op Lisp van 0,572 naar 0,876. Echter, het verwijderen van de KL-beperking leverde bescheidener winsten op voor Lisp in vergelijking met Prolog, wat suggereert dat "ongeregulariseerde" training het meest kritiek is voor sterk gespecialiseerde, low-resource talen.
• Rosetta Code:
  • Het 7B-model verdubbelde zijn zero-shot baseline bijna, met een pass@4 van 0,46.

Betekenis en Claims

Het artikel betoogt dat voor formele talen met deterministische semantiek de interpreter zelf kan dienen als het primaire trainingsignaal, waarmee de schaarse menselijke data wordt vervangen waarop huidige benaderingen afhankelijk zijn. Door het symbolsysteem niet alleen als een hulpmiddel te behandelen, maar als een "leraar" die het neurale netwerk superviseert via uitvoeringssporen, bieden de auteurs een rigoureuze, geautomatiseerde supervisor.

Het werk claimt een robuuste, aanpasbare weg te bieden voor het verbeteren van codegeneratie in ondervertegenwoordigde talen. Het suggereert dat het overbruggen van de kloof tussen neurale intuïtie en symbolische strengheid geen enorme schaal of enorme datasets vereist, maar eerder een verschuiving in het leerdoel naar het maximaliseren van uitvoeringscorrectheid via reinforcement learning. De auteurs concluderen dat deze methodologie modellen in staat stelt de syntaxis en logica van doeltalen te respecteren, en dichter bij de "Heilige Graal" van programmeren komt, waarbij een gebruiker een probleem stelt en de computer dit oplost via verifieerbare, logische code.