Technische Samenvatting: Verbeterde Redenering door LLM's door Optimalisatie van Beloningsfuncties met Zoekgestuurde Versterkende Leer

Probleemstelling

Wiskundige redenering dient als een kritieke benchmark voor Large Language Models (LLM's), waarbij niet alleen vloeiende tekstgeneratie vereist is, maar ook consistentie in tussenstappen, het meenemen van hoeveelheden en nauwkeurige eindantwoorden. Hoewel Versterkende Leer (RL) is opgekomen als een standaard post-trainingmechanisme om LLM's af te stemmen op gewenst gedrag, is de effectiviteit ervan sterk afhankelijk van het ontwerp van de beloningsfunctie. Huidige benaderingen vertrouwen vaak op handmatige, door experts gedefinieerde beloningspecificaties, wat vatbaar is voor fouten, aanzienlijke trial-and-error vereist en onbedoeld "reward hacking" of breekbaar gedrag kan veroorzaken. Bovendien behandelt de bestaande literatuur de beloningsfunctie grotendeels als vaste infrastructuur (bijvoorbeeld handgemaakte regels of getrainde beloningsmodellen) in plaats van als een object dat zelf geoptimaliseerd kan worden. Dit artikel adresseert de vraag of de beloningspecificatie die tijdens RL post-training wordt gebruikt, systematisch kan worden doorzocht en verbeterd, met name in een setting waarbij het basismodel vastgehouden wordt en de beloningsfunctie de primaire ontwerptemperatuur is.

Methodologie

De auteurs stellen een zoekgestuurd raamwerk voor dat de specificatie van de beloningsfunctie behandelt als een iteratief optimalisatieprobleem. De pijplijn werkt over vijf rondes, waarbij kandidaat-beloningsfuncties worden gegenereerd en geëvalueerd met behulp van een vast basismodel en een frontier LLM als generator.

Kerncomponenten

1. Basismodel en Trainingssetting:

   • Model: Meta's Llama-3.2-3B-Instruct, fijngefineerd met Low-Rank Adaptation (LoRA) met een rang van 32.
   • Algoritme: Group Relative Policy Optimization (GRPO), dat het aparte critic-netwerk in PPO vervangt door groepsrelatieve normalisatie van gesamplede outputs, wat de geheugenoverhead vermindert en de wiskundige redenering verbetert.
   • Dataset: GSM8K (7.473 trainingsvoorbeelden, 1.319 testvoorbeelden).
   • Outputformaat: Gestructureerde output met <thinking> en <solution> tags om redenering te scheiden van het eindantwoord.

2. Vaste Basisbeloningen:
   Drie beschermde basisbeloningen zijn in elke trainingsrun opgenomen en kunnen niet worden overschreven door gegenereerde kandidaten:

   • match_format_exactly: Beloont de juiste koppeling van <thinking> en <solution> tags.
   • match_format_approximately: Biedt gefaseerde signalen voor aanwezigheid/afwezigheid van tags.
   • check_answer: Evalueert het geëxtraheerde numerieke antwoord tegen de grondwaarheid met gestaffelde scoring (exacte overeenkomst, normalisatie, ratio-controles).

3. Zoekgestuurde Generatielus:

   • Generator: Een frontier LLM (Kimi K2) genereert 10 kandidaat-beloningsfuncties per ronde (50 totaal over 5 rondes).
   • Prompting: De generator ontvangt 20 willekeurige GSM8K-voorbeelden, een handtekeningspecificatie en een gerangschikte samenvatting van de prestaties van vorige rondes om de generatie te sturen en semantische duplicatie te voorkomen.
   • Validatie: Kandidaten ondergaan een validatie in een vierstaps sandbox (AST-importcontrole, vergrendelde uitvoering, beperkte namespace en probe-call) om veiligheid en uitvoerbaarheid te waarborgen.
   • Screening: Geldige kandidaten worden getraind voor 500 GRPO-stappen op de GSM8K-trainingsverdeling naast de drie basisbeloningen.
   • Rangschikking: Modellen worden geëvalueerd op de GSM8K-testset met de F1-score (harmonisch gemiddelde van precisie en recall) als primaire rangschikkingsmetriek. De gerangschikte samenvatting wordt teruggevoerd naar de volgende generatieronde.

4. Ensembleconstructie:
   Na de zoektocht worden de best presterende beloningen gecombineerd in ensembles. Zeven configuraties werden getest, variërend in grootte (3 tot 10 ontdekte beloningen) en selectiestrategie (hoogst gerangschikt versus diversiteitsgebaseerd over rondes). De ensemble-beloning is de elementsgewijze som van de drie basisbeloningen en de geselecteerde ontdekte beloningen.

Belangrijkste Bijdragen

1. Formulering van Beloningzoektocht: Het artikel formuleert de beloningspecificatie voor LLM-redenering als een iteratieve genereer–valideer–train–rangschik-lus over uitvoerbare Python-code, waarbij de beloning zelf wordt behandeld als een zoekobject.
2. GRPO-integratie: Het raamwerk past deze zoeklus specifiek toe onder GRPO, een computerefficiënte en redeneringsrelevante policy-optimizer, en demonstreert dat beloningsontdekking haalbaar is binnen de beperkingen van parameter-efficiënt fijnfinen.
3. Ensemble-analyse: De studie onderzoekt of het combineren van meerdere ontdekte beloningen sterkere signalen oplevert dan individuele beloningen, en komt tot de bevinding dat ensembles van 5 of meer beloningen individuele beloningen of alleen-basisconfiguraties significant overtreffen.
4. Empirische Strengh: Het artikel biedt een uitgebreide analyse, inclusief bootstrap-vertrouwensintervallen, paarwijze McNemar-tests met Bonferroni-correctie, en specifieke audits op reward hacking (bijvoorbeeld lijnopvulling) en formatconformiteit.

Resultaten

• Zoektraject: Over vijf rondes steeg het gemiddelde F1-score van gegenereerde beloningen van 0,596 (Ronde 1) naar 0,632 (Ronde 5). De beste individuele beloning (thinking_steps_count) behaalde een F1 van 0,787.
• Ensemble-prestaties: De beste ensemble-configuratie (ens_diverse_rounds, combinerend 3 basisbeloningen + 5 diverse ontdekte beloningen) behaalde een F1 van 0,795 en een nauwkeurigheid van 0,660 (95% CI [0,635, 0,686]).
• Statistische Significantie: Paarwijze McNemar-tests met Bonferroni-correctie ($\alpha \approx 0,0024$) toonden aan dat alle ensembles met 5 of meer ontdekte beloningen statistisch niet van elkaar te onderscheiden waren, maar significant beter waren dan de alleen-basis-baseline (F1 = 0,609) en kleinere ensembles.
• Controle-experimenten:
  • Willekeurige Baseline: Een willekeurig getrokken 5-beloning ensemble stortte in tot een F1 van 0,047, wat aantoont dat de winst wordt gedreven door de gerangschikte feedbacklus, en niet louter door het additieve signaal van het hebben van meer beloningen.
  • Zaad-robustheid: Het hertrainen van het beste ensemble met drie verschillende zaden leverde F1-scores op van $0,785 \pm 0,013$, wat bevestigt dat de kwalitatieve ordening van resultaten robuust is voor trainingsvariatie.
• Audit op Reward Hacking: Analyse van de beste structurele beloning (thinking_steps_count) toonde aan dat correcte antwoorden van nature meer redeneringsregels en een hogere rekenkundige dichtheid bevatten dan onjuiste antwoorden, wat suggereert dat het model de beloning niet uitbuitte via lege lijnopvulling.
• Baseline-vergelijking: Het GRPO-getrainde Llama-3.2-3B-model presteerde beter dan vijf kant-en-klare modellen in het 2B–4B parameterbereik (inclusief Qwen- en Phi-varianten) op zowel strikte nauwkeurigheid als F1.

Betekenis en Aanspraken

Het artikel beweert dat de beloningspecificatie in RL post-training kan worden behandeld als een betrouwbaar doorzoekbaar object, waardoor een proces dat doorgaans afhankelijk is van menselijke intuïtie wordt geautomatiseerd.

• Toegankelijkheid: De volledige pijplijn draait op één consumentenklassen GPU (NVIDIA RTX 5090) in ongeveer 40 uur, waardoor geautomatiseerde beloningsontdekking toegankelijk wordt voor academische en kleine industriële budgetten.
• Auditbaarheid: In tegenstelling tot black-box beloningsmodellen zijn de ontdekte beloningen leesbare Python-code die praktici kunnen auditeren, wijzigen en combineren.
• Generaliseerbaarheid: Hoewel geëvalueerd op GSM8K, veronderstellen de auteurs dat het "recept" overdraagbaar is naar andere redeneringsdomeinen (bijvoorbeeld codegeneratie, wetenschappelijk probleemoplossen) en een praktisch alternatief biedt voor dure training van beloningsmodellen.
• Bescheidenheid: De auteurs stellen expliciet dat de bijdrage methodologisch is en geen claim op een nieuwe state-of-the-art op GSM8K zelf. Het primaire bewijs is intern aan de pijplijn: de iteratieve verbetering van beloningen, het instorten van willekeurige controles en de robuustheid van de ensemble-ordening over zaden. Het artikel claimt niet dat de ontdekte beloningen universeel optimaal zijn, maar wel dat het zoekproces effectief hoogpresterende structurele signalen identificeert voor een vast basismodel.