Technische Samenvatting: Verbeteren van Inferentie met Geleide Redenering

Probleemstelling

Recente vooruitgang in gestructureerde redenering heeft aangetoond dat kleine neurale netwerken (bijvoorbeeld 7 miljoen parameters) die recursieve architecturen gebruiken, de prestaties van grote taalmodellen kunnen evenaren bij taken zoals Sudoku en het oplossen van labyrinten. Deze modellen vertrouwen echter op deterministische recursie, wat een "één-deeltje, nul-ruis limiet" voorstelt van een breder latent dynamisch systeem. Hoewel deze architecturen vaak geleerde componenten bevatten, zoals Q-heads voor vroegtijdige stopzetting, blijft de optimale manier om deze componenten tijdens de inferentie te benutten – specifiek hoe extra berekening kan worden toegewezen aan alternatieve latentere redeneertrajecten zonder hertraining – een open vraag. De kernuitdaging is bepalen wanneer een model "ruimte op trajectniveau" heeft (d.w.z. dat er succesvolle oplossingen bestaan in de buurt van het deterministische pad) en of de interne gids van het model deze effectief kan identificeren.

Methodologie

De auteurs stellen een raamwerk voor voor Geleide Stochastische Exploratie, waarbij inferentie wordt behandeld als benaderende inferentie over latentere redeneertrajecten. De methode werkt op een bevroren, vooraf getrainde backbone en introduceert drie kerncomponenten:

1. Stochastisch Voorstelkernel: De deterministische binnenste recursie wordt gegeneraliseerd door Gaussische ruis ($\sigma$) op elke stap in te spuiten. Dit creëert een "wolk" van naburige latentere trajecten rond het deterministische pad, waardoor de zoekruimte effectief wordt verbreed zonder de backbone-weights te wijzigen.
2. Q-Head Tilt (Feynman–Kac): De bestaande Q-head voor vroegtijdige stopzetting van het model (oorspronkelijk getraind als een binaire classifier voor oplossingscorrectheid) wordt hergebruikt als een geleerde gids. Deze herschikt de deeltjeswolk online via een exponentiële tilt (Feynman–Kac stroming). Specifiek wordt de waarschijnlijkheid van een traject aangepast door $G_\beta(h) = \exp(\beta q_\theta(h))$, waarbij $q_\theta$ de schatting van succes op logit-schaal is en $\beta$ een inverse temperatuurparameter.
3. Bootstrap Deeltjesfilter: Het raamwerk implementeert een sequentiële Monte Carlo-benadering. Deeltjes (trajecten) worden voortgeplant via de stochastische kernel, gewogen door de Q-head, en opnieuw bemonsterd wanneer de Effectieve Steekproefgrootte (ESS) onder een drempelwaarde daalt. De uiteindelijke output is de gewogen Maximum A Posteriori (MAP)-schatting over ontcijferde antwoorden.

Belangrijkste Bijdragen

Het artikel introduceert een theoretisch en operationeel raamwerk voor aanpassing tijdens de inferentie in recursieve modellen:

• Raamwerk voor Benaderende Inferentie: Een stochastisch voorstelmechanisme en een geleide selectie-algoritme die de oorspronkelijke deterministische TRM exact herstellen in de limiet van nul ruis en één deeltje.
• Drie Label-vrije Diagnostische Maatstaven: De auteurs leiden drie metrieken af om te voorspellen of geleide exploratie de prestaties zal verbeteren en welke outputs te vertrouwen zijn:
  1. Lokale Stabiliteit: Een grens (Propositie 5.1) die garandeert dat stochastische verstoringen binnen een "buis" rond het deterministische pad blijven, waardoor divergentie wordt voorkomen.
  2. Gidsuitlijning: Een karakterisering (Lemma 5.4) en twee diagnostische maatstaven:
     • Klasse-voorwaardelijke kloof ($\hat{\Delta}_n$): Meet de scheiding in Q-head-scores tussen succesvolle en falende trajecten (vereist labels).
     • Q-spreidingsgrens (Vergelijking 19): Een label-vrije noodzakelijke voorwaarde die de variantie van de Q-head over de deeltjeswolk meet. Als de spreiding te laag is, kan de gids succesvolle trajecten niet onderscheiden en is geen verbetering mogelijk.
  3. Token-entropie: Shannon-entropie van token-marginalen (terminaal en pad-geïntegreerd) om onzekerheid te rangschikken en selectieve onthouding te ondersteunen bij hoge-risico tokens.
• Verbetering Zonder Hertraining: De methode verbetert de nauwkeurigheid van exact oplossen van Sudoku-Extreme van 85,9% naar 98,0% zonder de backbone te hertrainen.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op twee benchmarks met bevroren Tiny Recursive Model (TRM) backbones:

• Sudoku-Extreme:

  • Prestaties: Geleide stochastische exploratie verhoogde de nauwkeurigheid van exact oplossen van 85,9% naar 98,0% op de testset. Op de "deterministisch-fout" split (waar de baseline 100% van de tijd faalt), herstelde de methode 85,9% nauwkeurigheid, waardoor de kloof met de orakel-deeltjes bovengrens (86,0%) bijna werd gedicht.
  • Diagnostiek: Zowel stabiliteits- als gidsuitlijningsvoorwaarden waren vervuld. De Q-spreidingsgrens stond een massaverschuiving van >12,5% toe, wat consistent is met de waargenomen winsten.
  • Onzekerheid: Token-entropie slaagde erin het risico van fouten te rangschikken, waardoor selectieve onthouding 100% nauwkeurigheid op de behouden testset mogelijk maakte.

• Maze-Hard:

  • Prestaties: Stochastische exploratie blootlegde 5% van de orakel-deeltjes ruimte (wat de ongeleide prestaties verbeterde van 86,6% naar 90,9%), maar de geleide MAP keerde terug naar de baseline-prestaties (85,3%).
  • Diagnostiek: Hoewel de trajecten lokaal stabiel waren, voorspelde de Q-spreidingsdiagnostiek correct het falen. De Q-head-gids was "te vlak" (lage variantie over de deeltjes), waardoor het niet in staat was massa te concentreren op succesvolle trajecten. De label-vrije grens signaleerde deze misalignering a priori, wat bevestigde dat de interne gids de beschikbare ruimte niet kon herstellen.

Betekenis en Beweringen

Het artikel betoogt dat het inferentie-gedrag van recursieve architecturen het beste wordt begrepen als benaderende inferentie over latentere trajecten. De primaire betekenis ligt in:

1. Operationaliseren van Berekening tijdens Inferentie: Het toont aan dat extra berekening effectief kan worden toegewezen over stochastische trajecten met behulp van bestaande modelcomponenten (de Q-head) zonder hertraining.
2. Voorspellende Diagnostiek: Het werk biedt een theoretische basis voor het voorspellen wanneer recursieve redenering ruimte heeft voor verbetering. De Q-spreidingsgrens dient als een label-vrije verificateur die gevallen kan identificeren waar de interne gids ontoereikend is (zoals gezien bij Maze-Hard) voordat er enige evaluatie wordt uitgevoerd.
3. Ruimte op Trajectniveau: De resultaten suggereren dat kleine recursieve modellen vaak "ruimte" bezitten (succesvolle trajecten bestaan in de buurt van het deterministische pad), maar dat het herstellen van dit potentieel zowel stabiele exploratie als een interne gids vereist die voldoende is uitgelijnd met succes.

De auteurs concluderen dat hoewel de huidige Q-head een specifieke instantiatie is, het raamwerk een bredere richting suggereert waar de gids een object van eerste klasse in het ontwerp zou kunnen zijn, wat kleine recursieve modellen mogelijk maakt als herbruikbare redeneertoestellen die online worden gespecialiseerd via externe gidsen.