Technische Samenvatting: Zelfconsistentie via Marginal Sharpening

Probleemstelling

Moderne taalmodellen lossen complexe taken steeds vaker op door tussentijdse redeneringssporen (bijvoorbeeld afleidingen, code-schetsen, bewijsschema's) te genereren voordat ze een definitief antwoord geven. Hoewel standaard inferentiemethoden zoals Chain-of-Thought-prompting dit gedrag opwekken, vertrouwen ze vaak op het stalen van één enkele traject of op het gebruik van post-hoc meerderheidsstemming (zelfconsistentie) om het uiteindelijke antwoord te selecteren.

De auteurs identificeren een fundamentele beperking in bestaande scherpmakende methoden voor inferentietijd, specifiek power sampling. Power sampling maakt de verdeling over volledige gegenereerde sequenties scherper (de gezamenlijke verdeling van redeneringsspoor $z$ en antwoord $a$). Het paper betoogt dat dit het verkeerde abstractieniveau is voor redenering:

1. Verstrengeling van Latente Variabelen: Een redeneringsspoor is een latente berekening. Veel verschillende sporen kunnen leiden tot hetzelfde correcte antwoord.
2. Concurrerend versus Ondersteunend: Scharpmaking op sequentieniveau behandelt alternatieve afleidingen of implementaties van dezelfde oplossing als concurrenten, waardoor de waarschijnlijkheid wordt geconcentreerd op specifieke volledige transcripten in plaats van op het antwoord zelf.
3. Kwetsbaarheid van Stemming: Standaard zelfconsistentie (meerderheidsstemming) vereist exacte string-overeenstemming. In gestructureerde domeinen zoals code of bewijzen kan dezelfde onderliggende oplossing zich manifesteren in vele oppervlaktevormen (verschillende variabele namen, controleflows of lemma-volgorde), waardoor stemming de steun versplintert over geldige variaties.

Het kernprobleem is hoe men meerdere redeneringssporen kan benutten om de waarschijnlijkheid van het correcte antwoord te versterken, zonder exacte string-overeenstemming te vereisen of de rekenkosten van het doorzoeken van volledige trajecten te incasseren.

Methodologie: Marginal Sharpening

De auteurs stellen Marginal Sharpening voor, een doelstelling voor inferentietijd die het doel verschuift van de gezamenlijke verdeling $\pi(z, a | x)$ naar de gescherpte antwoordmarginaal $p_{\alpha}^{marg}(a | x)$.

Theoretisch Kader

1. Decompositie: De modelcompletie $y$ wordt ontleed in een redeneringsspoor $z$ en een definitief antwoordsegment $a$. Het model induceert een natuurlijke antwoordmarginaal $m(a | x) = \sum_z \pi(z, a | x)$.
2. Doelverdeling: In plaats van de gezamenlijke verdeling scherper te maken, definieert de methode een machtsverdeling over de antwoordmarginaal:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   waarbij $\alpha > 1$ de scherpmakingssterkte is. Als $\alpha \to \infty$, convergeert dit naar het antwoord met de maximale marginale steun (het ideale doel voor zelfconsistentie).
3. Representatie met Hele Machten: Voor een scherpmakingssterkte $K$ als geheel getal, leiden de auteurs een exacte decompositie af met behulp van $K$ onafhankelijke redeneringssporen. De doelverdeling kan worden uitgedrukt als een verwachting over $K$ onafhankelijk gestalen sporen $z_{1:K}$:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   Deze formulering verbindt zelfconsistentie met het stalen vanuit een doelverdeling op antwoordniveau.

Algorithmus: Parallelle Autoregressieve Decoding

Direct stalen uit de afgeleide verdeling is onuitvoerbaar omdat dit vereist dat er wordt opgeteld over alle mogelijke toekomstige voortzettingen (de "voortzetting-normalisator"). De auteurs stellen een lichtgewicht parallelle autoregressieve decoding-algoritme (Algoritme 1) voor dat deze doelstelling benadert:

1. Spoorgeneratie: Genereer $M = K \times S$ redeneringssporen, gegroepeerd in $S$ sets van elk $K$ sporen.
2. Token-niveau Benadering: In plaats van de volledige sequentie- waarschijnlijkheid te berekenen, decodeert het algoritme het antwoord token voor token. Bij elke stap $t$ wordt een gewogen verdeling over het vocabulaire berekend:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • Prefix Gewichten ($w_s$): Deze gewichten houden de waarschijnlijkheid bij van het reeds gegenereerde antwoordprefix onder elke groep van $K$ sporen. Ze worden online bijgewerkt naarmate tokens worden gestalen.
   • Lokale Benadering: Het algoritme negeert de onuitvoerbare "voortzetting-normalisator" (de waarschijnlijkheid van toekomstige tokens) en behandelt deze als een gemeenschappelijke factor die wegvalt tijdens lokale normalisatie.
3. Stalen: Het algoritme stalt het volgende token uit deze verdeling, werkt de prefix-gewichten bij en herhaalt dit totdat het antwoord eindigt.

Deze aanpak stelt het model in staat om één enkel antwoord te genereren dat wordt "ondersteund" door meerdere redeneringspaden, wat effectief zachte zelfconsistentie uitvoert tijdens de generatie in plaats van als een post-hoc stemstap.

Belangrijkste Bijdragen

1. Formulering van Marginal Sharpening: Het paper definieert een doelstelling voor inferentietijd die redeneringssporen behandelt als latente variabelen en de geïnduceerde antwoordverdeling scherper maakt, in plaats van de gezamenlijke verdeling van sporen en antwoorden.
2. Multi-Spoor Decompositie: De auteurs tonen aan dat voor scherpmakingssterktes als gehele getallen, de gescherpte antwoordmarginaal toestaat om te worden ontbonden in een verwachting over $K$ onafhankelijke redeneringssporen, wat zelfconsistentie theoretisch koppelt aan stalen op antwoordniveau.
3. Efficiënt Decoding-algoritme: Ze stellen een parallelle autoregressieve algoritme voor dat deze gescherpte verdeling bij benadering stalt. Het is puur autoregressief, vereist geen externe canonicalizers en vermijdt de kwadratische token-generatiekosten van power sampling op sequentieniveau.
4. Empirische Validatie: De methode wordt geëvalueerd op benchmarks voor wiskundig redeneren (MATH-500) en codegeneratie (HumanEval+, LiveCodeBench).

Resultaten

De experimenten maken gebruik van modellen van de Qwen-familie (1.7B, 4B, 8B) over drie benchmarks.

• Prestaties versus Power Sampling: Marginal sharpening presteert aanzienlijk beter dan standaard power sampling op benchmarks voor codegeneratie (HumanEval+ en LiveCodeBench). Op MATH-500 presteert het vergelijkbaar met of iets onder meerderheidsstemming (wat een sterke baseline is voor wiskunde vanwege de kleine antwoordruimtes en symbolische verificatie).
• Efficiëntie: De methode is grotenorde sneller dan power sampling voor lange generaties. Voor $L=8192$ was marginal sharpening 38× sneller dan power sampling op de HumanEval+-benchmark, terwijl het tegelijkertijd een hogere nauwkeurigheid behaalde. Power sampling vereist $O(L^2)$ token-generatie door herstalen, terwijl marginal sharpening $O(L)$ vereist.
• Hyperparameters:
  • Scherpmakingssterkte ($K$): Het verhogen van $K$ verbetert over het algemeen de prestaties door de waarschijnlijkheid te concentreren op antwoorden die worden ondersteund door meerdere sporen, hoewel dit de berekening verhoogt.
  • Aantal Steekproeven ($S$): Het verhogen van $S$ (het aantal sporengroepen) verbetert de kwaliteit van de token-niveau benadering, wat leidt tot consistente winsten, vooral bij lagere generatiebudgetten.
  • Budgettoewijzing: Onder een vast totaal rekenbudget ($K \times S = \text{const}$) leveren verschillende toewijzingen tussen scherpmakingssterkte en aantal steekproeven vergelijkbare resultaten op, wat wijst op een afweging waarbij agressieve scherpmaking en betere benaderingskwaliteit elkaar grotendeels compenseren.

Betekenis en Claims

Het paper beweert dat zelfconsistentie moet worden begrepen als een inferentieprincipe op antwoordniveau in plaats van een post-hoc stemheuristiek.

• Verschuiving in Focus: Door de antwoordmarginaal te targeten, aggregeert de methode correct steun over diverse redeneringspaden (bijvoorbeeld verschillende code-implementaties of bewijsstrategieën) die methoden op sequentieniveau behandelen als onderscheiden, concurrerende outputs.
• Schaalbaarheid: Het voorgestelde algoritme maakt de voordelen van zelfconsistentie mogelijk in domeinen met grote, gestructureerde outputruimtes (zoals code) waar exacte string-overeenstemming faalt, zonder de prohibitieve rekenkosten van volledige trajectzoeken of herstalen.
• Praktijktoepasbaarheid: De methode is een "zachte" versie van zelfconsistentie die kan worden geïmplementeerd met standaard autoregressieve modellen en parallelle decoding, waardoor het een praktische alternatief is voor temperature sampling en power sampling voor redeneertaken.

De auteurs concluderen dat compute op testtijd effectiever wordt besteed aan het verfijnen van de antwoordovertuiging die wordt geïnduceerd door latente redenering, dan aan het selecteren van het meest waarschijnlijke volledige transcript.