Technische Samenvatting: Mislukte Redeneerpaden Vertellen U Wat Herstelbaar Is (Maar Niet Door Ze Te Lezen)

Probleemstelling

Wanneer post-getrainde taalmodellen falen op redeneertaken, is de standaard respons bij implementatie test-time scaling: extra rekenkracht besteden aan het genereren van meer trajecten (bijv. Best-of-N, self-consistency, of eenvoudige retries) vanuit dezelfde modeldistributie. Deze aanpak gaat ervan uit dat fouten primair worden veroorzaakt door "ongelukkig samplen". De auteurs stellen echter dat dit inefficiënt en vaak vruchteloos is. Sommige fouten zijn structureel, wat betekent dat het model vastzit in een stabiel maar incorrect redeneertraject dat resampling niet kan oplossen. Daartegenover staan fouten die alleen lokaal herstelbaar zijn door de richting van het traject te veranderen (bijv. via logit steering), in plaats van het te resamplen.

Huidige methoden missen een mechanisme om tussen deze foutmodi te onderscheiden tijdens inferentie. Geaggregeerde nauwkeurigheidsmetingen behandelen alle fouten identiek, waardoor het diagnostische signaal dat in het mislukte pad zelf besloten ligt, verloren gaat. De centrale vraag is: Gegeven dat een model al gefaald heeft, wat moet de volgende eenheid rekenkracht doen?

Methodologie

Het artikel stelt een training-vrij, inferentie-tijd diagnostisch framework voor dat mislukte trajecten behandelt als diagnostische objecten. In plaats van de natuurlijke taalinhoud van de fout te analyseren, analyseert de methode de distributionele signatuur (per-token waarschijnlijkheid/logit-structuur) van het traject.

1. Operatorklassen en Mechanismen

Het framework categoriseert interventies tijdens de testtijd in twee mechanistische klassen op basis van hun vermogen om de lokale token-rangschikking van het model te wijzigen:

• Rank-Preserving Operators (Rangbehoudende Operatoren): Deze herwegen de distributie van de specialist, maar kunnen de lokale rang van tokens niet omdraaien. Voorbeelden zijn Retry (resampling) en Local Temperature ($T_{loc}$) schaling. Ze kunnen alleen helpen als het correcte token al in de support aanwezig was, maar werd onderdrukt door sampling-ruis.
• Rank-Inverting (Natural-Parameter) Operators (Rangomkerende Operatoren): Deze passen logit-mixing toe richting een voorouder van de lineage (pre-training checkpoint), wat effectief de logits middelt in plaats van de waarschijnlijkheden. Dit maakt het mogelijk dat een lager gerangschikte token de lokale modus wordt als de voorouder het oneens is met de specialist. Voorbeelden zijn SL-G (sparse logit steering bij een gedetecteerde junction), SL-R (sparse steering op een willekeurige positie), en DL (dense steering op elke positie).

2. Drie Trajectkenmerken

De auteurs afleiden drie probleem-niveau kenmerken uit de geometrie van het mislukte traject en de beschikbare operatorklassen. Deze kenmerken worden berekend uit de mislukte rollouts alleen, zonder de uitkomsten van operatoren nodig te hebben:

1. Deformation Spread ($\bar{J}_{frac+}$): Het deel van de traject-tokens met een positief junction-signaal (onenigheid tussen specialist en voorouder). Dit meet hoe breed de fout is verspreid.
2. Junction Concentration ($\bar{C}$): De ratio van het piek junction-signaal tot het gemiddelde signaal ($J_{max}/J_{mean}$). Dit onderscheidt scherpe, gelokaliseerde fouten van diffuse deformaties.
3. Local Displacement Budget ($V_{t^\star}$): De Fisher-informatie (variantie) van de lokale temperatuur-submodel van de specialist op het slechtste draaipunt. Dit meet de "stuurbaarheid" of de speelruimte beschikbaar voor ranginversie.

3. Herstelbare Regimes

Met behulp van deze drie kenmerken worden mislukte problemen geclusterd in vier stabiele herstelbare regimes:

• Rank Misrouting (geo-lokaal): Scherpe piek, hoge stuurbaarheid. Herstelbaar door sparse logit steering op de specifieke junction.
• Rank Misrouting (junction-diffuus): Scherpe piek, lage stuurbaarheid. Vereist lokale temperatuur-verhoging om de rang-lock te doorbreken.
• Distributed Deformation (Verdeelde Deformatie): Breed, diffuus signaal. Vereist theoretisch dense steering, hoewel sparse steering empirisch vaak volstaat.
• Unresolved (Onopgelost): Geen dominant signaal; retry of andere interventies zijn onvoldoende.

4. Routingbeleid

Het framework implementeert een training-vrij routingregel. Voor een gegeven mislukt probleem worden de drie kenmerken z-genormaliseerd, en wordt de operator gekozen die overeenkomt met het dominante kenmerk:

• Hoge Deformation Spread $\rightarrow$ Dense Steering (DL)
• Hische Junction Concentration $\rightarrow$ Sparse Steering bij de Junction (SL-G)
• Hoog Local Displacement Budget $\rightarrow$ Local Temperature Lift ($T_{loc}$)
• Fallback: Als geen enkel kenmerk dominant is, valt het beleid terug op Sparse Steering op een willekeurige positie (SL-R).

Belangrijkste Bijdragen

1. Herformulering van Mislukte Trajecten: Het artikel herformuleert mislukte redeneertrajecten niet als weggegooide data, maar als diagnostische objecten die de "herstelbare structuur" van de fout coderen.
2. Theoretisch Perspectief: Het biedt een theoretische afleiding die operatorklassen (rank-preserving vs. rank-inverting) koppelt aan meetbare geometrische grootheden in het traject, en stelt gesloten vorm condities vast voor ranginversie.
3. Diagnostisch Auditkanaal: Dezelfde drie kenmerken maken de audit van post-training methoden mogelijk (bijv. het onderscheid tussen SFT en RL/GRPO) uitsluitend op basis van mislukte rollouts, zonder toegang tot trainingsgewichten of vergelijkbare paren.
4. Training-vrije Routing: Het demonstreert een deployment-actiebare routingregel die de passende interventieklasse selecteert op basis van de fout-signatuur, zonder extra training te vereisen.
5. Cross-Family Transfer: De kenmerken en routingregels zijn overdraagbaar naar verschillende modelfamilies (Qwen3, R1-Distill, Phi-4) en schalen, wat suggereert dat ze de operator-klasse structuur coderen in plaats van model-specifieke artefacten.

Resultaten

Prestaties op Steerable-Hard Problemen

De auteurs definiëren Steerable-Hard (SH) problemen als problemen waar retry onvoldoende is (faalt >50% van de tijd) maar ten minste één begrensde interventie hen kan redden (verslaat retry met $\ge$ 5 procentpunt). Deze subset vormt het "sweet spot" voor routing.

• Rescue Lift: Op de SH-subset verbetert de training-vrije feature-only routingregel de rescue-ratio met +12,2 procentpunt (van 16,3% naar 28,5%) vergeleken met alleen retry.
• Reken-efficiëntie: Het routingbeleid bereikt dezelfde rescue-rate als retry met $K=50$ rollouts met behulp van slechts $K=10$ rollouts plus een enkele interventie, wat een significante Pareto-verbetering is in de nauwkeurigheid-versus-rekenkracht curve.
• Globale Kosten: Het beleid behoudt bijna nul globale kosten (gemiddelde rescue-rate over alle fouten) omdat het alleen de rekenkracht herleidt op de specifieke subset waar het effectief is, terwijl het voor ambigue gevallen terugvalt op een veilig fallback (SL-R).

Audit en Generalisatie

• Post-Training Audit: De regime-distributie van mislukte trajecten onderscheidt succesvol tussen SFT en RL (GRPO) post-training methoden met een nauwkeurigheid van 84,3% (±4,3%), waarbij het contrast "SFT onthoudt, RL generaliseert" herstelt puur vanuit de inferentie-tijd topografie van de fouten.
• Cross-Family Transfer: De op Qwen3 getrainde routingregel werkt effectief over voor R1-Distill en Phi-4 modellen, waarbij het correct identificeert dat R1-Distill een "support-collapsed" (Distributed Deformation) signatuur heeft en Phi-4 een SFA-achtige signatuur.

Betekenis en Claims

Het artikel claimt dat inferentie-tijd traject statistieken een onderbenut aspect zijn voor het begrijpen en oplossen van post-training degradatie. De betekenis ligt in drie gebieden:

1. Diagnostische Precisie: Het gaat verder dan binaire pass/fail metrieken om te identificeren waarom een model faalde, door fouten te sorteren in operator-specifieke regimes.
2. Deployment Actiegerichtheid: Het biedt een praktisch, training-vrij mechanisme om rekenkracht dynamisch te routeren. In plaats van blind extra tokens te besteden aan retries, diagnosticeert het systeem het type fout en past de specifieke interventie toe (steering vs. temperatuur) die het meest waarschijnlijk zal slagen.
3. Theoretische Onderbouwing: De aanpak is geen empirische fit, maar is afgeleid van de geometrische eigenschappen van logit mixing en ranginversie, wat een geprincipeerde manier biedt om de grenzen van verschillende test-time interventies te begrijpen.

De auteurs zijn bescheiden over de reikwijdte en merken op dat het framework van toepassing is op taken met een lokaliseerbare geometrische structuur (redeneren, code, wiskunde) en mogelijk niet van toepassing is op open-ended generatie waar de logit-variantie overal hoog is. Ze erkennen ook dat hoewel de routingregel goed werkt op populatieniveau, het voorspellen van de exacte winnende operator voor een specifiek enkel probleem-instance uitdagend blijft.