Technisch overzicht: Off-the-Shelf LLM's als proces-scorers

Probleemstelling

Huidige strategieën voor het verbeteren van wiskundig redeneren in large language models (LLM's) staan voor een afweging tussen kosten en effectiviteit. Het gebruik van een massaal groot model voor elke inferentie-query is computationeel duur. Een veelvoorkomend alternatief is het samplen van meerdere oplossingen vanuit een kleiner, goedkoper model en het achteraf selecteren van de beste oplossing (post-hoc, na voltooiing van de generatie) met methoden zoals Majority Voting of Best-of-N. Echter, het artikel betoogt dat post-hoc selectie fundamenteel beperkt is: als het kleine model vroeg in de generatie afwijkt naar een onjuist redeneerpad, kan geen enkele scorer de trajectorie corrigeren zodra de fout is gepropageerd.

Converseel adresseert Process Reward Model (PRM) gestuurde zoektocht dit timingprobleem door kandidaat-redeneerstappen tijdens de generatie te scoren. Hoewel effectief, vereisen PRM's een beloningsmodel dat getraind is op stap-niveau labels (bijv. Qwen2.5-Math-PRM-72B), wat een aanzienlijke trainingsoverhead en een kostbare bron vereist.

Het kernprobleem dat dit artikel aanpakt is: Kunnen we de voordelen van sturing tijdens de generatie bereiken (het model bijsturen voordat fouten propageren) zonder een toegewijd beloningsmodel te trainen?

Methodologie: Chunk-Level Guided Generation

De auteurs stellen Chunk-Level Guided Generation voor, een training-vrij framework dat een off-the-shelf groot taalmodel (LLM) uitsluitend als scorer gebruikt, niet als generator.

Het Framework

1. Generatie: Een klein model ($\pi_s$) genereert de oplossing. Bij elke stap, in plaats van een enkele token of een variabele lengte redeneerstap te genereren, samplet het kleine model $k$ kandidaat-continuaties (chunks) van een vaste lengte $L$.
2. Scoring: Een groter, vooraf getraind LLM ($\pi_l$) scoort deze $k$ kandidaten. Cruciaal is dat het grote model geen tekst genereert; het berekent enkel de waarschijnlijkheden (log-probabilities) voor de door het kleine model aangeboden kandidaat-chunks.
3. Selectie: De hoogst scorende chunk wordt toegevoegd aan de context, en het proces herhaalt zich tot een end-of-sequence token wordt bereikt.

Scoring Regels

Het paper introduceert twee selectieregels gebaseerd op de waarschijnlijkheden van het grote model:

• Likelihood-Guided Selection (LGS): Selecteert de chunk met de hoogste lengte-genormaliseerde log-waarschijnlijkheid onder het grote model:
  $$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$$
• Contrastive-Guided Selection (CGS): Selecteert de chunk waar de voorkeur van het grote model het meest divergeert van die van het kleine model. Er wordt de log-waarschijnlijkheid van het kleine model afgetrokken van die van het grote model:
  $$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$$
  Deze regel bevoordeelt continuaties die het grote model plausibel vindt, maar het kleine model niet, waardoor de "extra" kennis van het grote model effectief wordt benut.

Cruciale Ontwerpkeuze: Fixed-Length Chunks

Een cruciale bijdrage van de methodologie is het gebruik van fixed-length chunks in plaats van natuurlijk begrensde redeneerstappen. De auteurs laten zien dat de log-waarschijnlijkheden van grote modellen een systematische lengtebias vertonen: zelfs na lengte-normalisatie heeft het grote model de neiging om hogere waarschijnlijkheden toe te kennen aan langere redeneerstappen. Door de lengte $L$ voor alle kandidaten bij een beslissingspunt vast te leggen, worden de scores direct vergelijkbaar, wat deze verwarrende factor wegneemt.

Belangrijkste Bijdragen

1. Training-Vrije Proces-Scoring: Het paper demonstreert dat een off-the-shelf groot LLM, dat uitsluitend wordt gebruikt als likelihood-scorer, een effectieve vervanging is voor een getrainde PRM om generatie-tijd zoektocht te sturen.
2. Resolutie van Lengtebias: De auteurs identificeren en lossen een systematische lengtebias in de likelihoods van grote modellen op, waarbij zij aantonen dat fixed-length chunks noodzakelijk zijn voor betrouwbare scoring, terwijl variable-length stap-scoring onbetrouwbaar is.
3. Contrastive Selection: De introductie van CGS, die gebruikmaakt van het verschil in voorkeuren tussen het grote en het kleine model, levert consistente winst op ten opzichte van eenvoudige likelihood-maximalisatie.
4. Efficiëntie: De methode produceert aanzienlijk kortere redeneertrajecten dan PRM-gestuurde zoektocht, terwijl het vergelijkbare of superieure nauwkeurigheid bereikt.

Experimentele Resultaten

Het framework werd geëvalueerd op vijf wiskundige redeneer-benchmarks: GSM8K, MATH, Minerva Math, AMC23, en AIME24. De experimenten maakten gebruik van drie modelparen:

• Qwen2.5-1.5B gestuurd door Qwen2.5-32B
• Llama-3.2-1B gestuurd door Llama-3.1-70B
• Qwen2.5-7B gestuurd door Qwen2.5-72B

Prestaties vs. Baselines

• vs. Post-Hoc Selectie: Chunk-Level Guided Generation (specifiek CGS) presteert aanzienlijk beter dan post-hoc methoden zoals Majority Voting, Self-Certainty, en Best-of-N. Bijvoorbeeld, op GSM8K met het Llama-paar ($k=32$), behaalde CGS een nauwkeurigheid van 83,9% vergeleken met 56,0% voor Majority Voting (een winst van 27,9 procentpunt).
• vs. PRM Gestuurde Zoektocht: Onder gelijke guidance-budgetten (vergelijking van het aantal interventies), evenaart of overtreft CGS de PRM-gestuurde zoektocht met Qwen2.5-Math-PRM-72B op de meeste benchmarks zonder enige beloningsmodel-training.
  • Op Minerva Math (Qwen-paar, $k=32$), behaalde CGS 39,0% vs. 32,4% voor PRM.
  • Op GSM8K (Llama-paar, $k=32$), behaalde CGS 83,9% vs. 77,3% voor PRM.
• Scaling: Wanneer de generator werd geschaald naar Qwen2.5-7B (gestuurd door 72B), bereikte CGS 81,8% op MATH en 63,6% op Minerva Math, waarmee het Majority Voting met 4–6 procentpunt versloeg en binnen 1,5 procentpunt kwam van het gemiddelde van de PRM-72B gestuurde zoektocht.

Redeneertraject Lengte

In tegenstelling tot de aanname dat betere prestaties langere redeneringen vereisen, vindt het paper dat CGS aanzienlijk kortere redeneertrajecten produceert dan PRM-gestuurde zoektocht. Op GSM8K bevatten PRM-responses tot wel 80% meer tokens dan CCS-responses. Dit suggereert dat de likelihood-sturing van het grote model het kleine model stuurt naar meer beknopte, directe redeneerpaden.

Betekenis en Claims

Het paper beweert dat Chunk-Level Guided Generation een praktisch, training-vrij alternatief biedt voor PRM-gestuurde zoektocht. De betekenis ligt in:

1. Toegankelijkheid: Het neemt de barrière weg van het trainen van een stap-niveau beloningsmodel, waardoor gebruikers bestaande, off-the-shelf grote modellen kunnen gebruiken om kleinere modellen te verbeteren.
2. Timing: Het slaagt erin om tijdens de generatie in te grijpen om foutenpropagatie te voorkomen, een capaciteit die voorheen gespecialiseerde training vereiste.
3. Efficiëntie: Het bereikt een hoge nauwkeurigheid met kortere redeneertrajecten, wat de inferentie-kosten vermindert vergeleken met PRM-methoden.

De auteurs blijven bescheiden over de generalisatie en merken op dat de experimenten momenteel beperkt zijn tot wiskundig redeneren en modellen binnen dezelfde familie (bijv. Qwen-naar-Qwen, Llama-naar-Llama). Zij beweren niet dat de methode zonder verder onderzoek generaliseert naar coderen of commonsense redeneren.