Technische Samenvatting: De Geometrische Redener (TGR)

Probleemstelling

Het schalen van compute tijdens het testen heeft bewezen effectief te zijn voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's) via lange chain-of-thought (CoT)-trajecten. Echter, bestaande benaderingen staan voor een fundamentele afweging tussen computerkosten en de kwaliteit van de trajectdekking.

• Trainingsintensieve methoden: Versterkende leerling (RL) en voorkeursoptimalisatie (bijv. GRPO, SimKO) amortiseren controle op lange termijn in modelgewichten. Hoewel deze methoden effectief zijn voor nauwkeurigheid per enkele steekproef, vereisen ze aanzienlijke trainingscompute en lopen ze het risico de trajectverdeling te laten instorten, waardoor de diversiteit afneemt.
• Trainingsvrije steekproefneming: Standaard steekproefstrategieën (bijv. Power Sampling, Tree of Thoughts) wisselen compute in voor dekking zonder opnieuw te trainen. Echter, ze lijden vaak aan afnemende meeropbrengst omdat extra steekproeven sterk gecorreleerd blijven, waardoor ze niet slagen in het uitbreiden van de set van onderscheidende, geldige trajecten.
• Geheugenbeperkingen: De kwadratische complexiteit van attentiemechanismen en het geheugenvolume van KV-caching vormen een bottleneck voor praktische implementatie, waardoor naïeve verkenning op lange termijn onuitvoerbaar wordt onder strikte geheugengrenzen.

Er is een kritieke behoefte aan een trainingsvrije zoekprocedure tijdens de inferentie die compute dynamisch toewijst om gecontroleerde verkenning en robuuste dekking te bereiken zonder prohibitieve geheugenkosten of trainingskosten.

Methodologie: De Geometrische Redener (TGR)

De Geometrische Redener (TGR) is een trainingsvrij kader dat manifold-geïnformeerde latente vooruitziende zoektocht uitvoert. Het behandelt redeneren als een padzoektocht op een latente manifold, waarbij stijve beperkingen worden vermeden die in hoge-dimensionale ruimten broos worden.

Kernarchitectuur

1. Geknikte inferentie met KV-reset: TGR segmenteert redeneren in vaste lengte stukken. Bij elke stukgrens voert het een KV-cache-reset uit, waarbij de prefix-cache wordt herbouwd vanuit een begrenste expliciete context (query + recente tokens) terwijl eerdere geschiedenis wordt verworpen. Dit zorgt ervoor dat het geheugengebruik lineair ($O(S)$) blijft ten opzichte van de stuklengte, ongeacht de totale redeneerhorizon.
2. Latente staatsankers: In plaats van te vertrouwen op geleerde staatsovergangen of externe verifiers, extrahert TGR compacte eenheidsnormale latente ankers ($z_t$) uit de verborgen staten bij stukgrenzen. Deze ankers dienen als statessamenvattingen die langetermijninformatie over stukresetten heen overbrengen.
3. Vooruitziende zoektocht: Bij elke grens steekproeft TGR $K$ kandidaat-ankers uit de lokale omgeving van de huidige staat (via raakruimte-perturbatie op de eenheidsbol). Het evalueert deze kandidaten met een zachte geometrische scorefunctie voordat het het volgende stuk genereert.

Het scoredoel

Kandidaten worden gerangschikt door het maximaliseren van een samengestelde score die drie factoren in evenwicht brengt:
$$\text{Score}(a; c, z) = V_{\text{fore}}(a; c) - \lambda_b P_{\text{bum}}(a; c) - \lambda_u P_{\text{uni}}(a; z)$$

• Vooruitziende waarde ($V_{\text{fore}}$): Een lichtgewicht vooruitblik-schatting berekend via een ondiepe rollout ($s \ll S$ tokens). Het meet de log-waarschijnlijkheidsconsistentie van de kandidaat en fungeert als proxy voor directe bruikbaarheid zonder externe beloningsmodellen.
• Bumpiness-straf ($P_{\text{bum}}$): Een regularisator die hoge-frequentie variaties in de latente trajecten straft (discrete tweede-orde verschillen). Dit moedigt soepele, coherente overgangen tussen stukken aan.
• Uniformiteitsregularisator ($P_{\text{uni}}$): Een afstotende kracht (scharnierstraf) die kandidaten ontmoedigt om te dicht bij de vorige anker te clusteren. Dit bevordert diverse verkenning en voorkomt modale instorting.

Ankerconditionering

Geselecteerde ankers worden geïnjecteerd in de bevroren backbone LLM via laag-rang residu-injectie op elke transformerlaag. Dit stelt het model in staat om zijn generatie te conditioneren op de gekozen latente staat zonder parameters te updaten of architecturale wijzigingen aan te brengen.

Belangrijkste bijdragen

1. Manifold-geïnformeerde latente vooruitziende zoektocht: TGR introduceert een trainingsvrij kader dat stukniveau latente ankers scoort met een zachte geometrische doelstelling. Dit maakt gecontroleerde verkenning en robuuste trajectdekking mogelijk zonder parameterupdates.
2. Budget-efficiënte robuustheid: Het kader verbetert de robuuste trajectdekking aanzienlijk (gemeten door het Oppervlak Onder de Pass@k-curve, AUC) op uitdagende wiskunde- en code-benchmarks. Op Qwen3-8B bereikt TGR tot 13-punts AUC-winsten met verwaarloosbare inferentie-overhead (ongeveer 1,1–1,3×).
3. Schalingslimieten van harde geometrie: Het artikel toont aan dat harde geometrische filtering (strikte haalbaarheidsbeperkingen) lijdt aan verdwijnende acceptatiepercentages in hoge-dimensionale latente ruimtes door de concentratie van maat. TGR vestigt zachte geometrische regularisatie als een schaalbaar alternatief dat geometrische bias behoudt zonder de prohibitieve kosten van afwijzingssteekproeven.

Experimentele resultaten

TGR werd geëvalueerd op het Qwen3-8B-model over wiskundig redeneren (MATH500, AIME25, OlympiadBench, OmniMath) en codegeneratie (HumanEval, BigCodeBench, LiveCodeBench) benchmarks.

• Prestaties: TGR-Latent presteert consequent beter dan baselines, inclusief trainingsvrije steekproefneming (Power Sampling) en trainingsintensieve RL-benaderingen (LCoT-GRPO, Delethink). Het bereikt de hoogste AUC-scores, wat een superieure vaardigheid aangeeft om onderscheidende, geldige oplossings-trajecten te genereren.
• Efficiëntie: TGR komt de prestaties van RL-geoptimaliseerde baselines gelijk of overtreft ze, terwijl het minder totale forward-tokens verbruikt (bijv. 18% minder tokens dan sommige RL-baselines op wiskundetaken).
• Diversiteit: Analyse van latente geometrie toont aan dat TGR een verspreide ankerdistributie behoudt, terwijl RL-geoptimaliseerde baselines de neiging hebben in te storten tot smalle, gecorreleerde kegels. De uniformiteitsterm is cruciaal voor het behoud van deze diversiteit.
• Schalbaarheid: De methode generaliseert over modelschalen (1,7B tot 14B) en blijft robuust tegen variaties in stuklengte, mits de totale horizon vaststaat.

Betekenis en claims

Het artikel stelt dat robuuste dekking in redeneren op lange termijn niet noodzakelijkerwijs moet worden geamortiseerd via dure training. In plaats daarvan kan het on-the-fly worden geïnduceerd via gestructureerde zoektocht in de latente ruimte.

• Ontkoppeling van controle van training: Door geometrische begeleiding te externaliseren als een controlelaag tijdens de inferentie, biedt TGR instelbare knoppen om de afweging tussen vooruitziende waarde, coherentie en diversiteit te bemiddelen. Dit is bijzonder effectief voor modellen (bijv. alleen SFT) waarbij de trajectdistributie residuele flexibiliteit behoudt.
• Zachte versus harde beperkingen: Het werk benadrukt dat zachte geometrische straffen superieur zijn aan harde haalbaarheidsfiltering in hoge-dimensionale ruimtes, waardoor de exponentiële instorting van acceptatiepercentages wordt vermeden terwijl de zoektocht toch wordt geleid naar coherente en diverse paden.
• Praktische implementatie: TGR biedt een weg om redeneercapaciteiten te verbeteren binnen vaste of matig verhoogde computebudgetten, waardoor het geschikt is voor toepassingen zoals programmeur-assistentie waar het trainen van nieuwe modellen onuitvoerbaar is.

De auteurs merken beperkingen op, waaronder verhoogde inferentielatentie door rollouts en de vereiste voor toegang tot verborgen staten (wat het minder geschikt maakt voor gesloten-API's zonder blootgestelde interfaces). Het kader vertegenwoordigt echter een belangrijke stap naar efficiënte, trainingsvrije redenering in lange contexten.