Reasoning Models Don't Just Think Longer, They Move Differently

Technische Samenvatting: Redenerende Modellen Denken Niet Alleen Langer, Ze Bewegen Anders

Probleemstelling
Redenering-getrainde Large Language Models (LLM's) wijzen vaak meer compute tijdens de inferentie toe aan moeilijkere problemen, wat resulteert in aanzienlijk langere denkketens. Echter, de bestaande literatuur heeft moeite gehad om te onderscheiden of deze modellen louter meer computationele stappen uitvoeren of fundamenteel hun interne redeneertraject veranderen. Een kritieke verstorende factor bij het analyseren van trajecten van verborgen toestanden is de generatielengte: langere paden zijn mechanisch minder rechtstreeks (meer "slingerend"), ongeacht de interne logica van het model. Bijgevolg schrijven ruwe geometrische analyses de mechanische effecten van padlengte vaak ten onrechte toe aan probleemcomplexiteit of modelarchitectuur, waardoor wordt verduisterd of redeneringstraining onderscheidende interne dynamiek induceert.

Methodologie
De auteurs hanteren een gematcht experimenteel ontwerp over drie domeinen: competitief programmeren (Codeforces), wiskunde (MATH) en Booleaanse satisfiabiliteit (SAT).

1. Calibratie van Moeilijkheidsgraad: Om een continue schaal voor moeilijkheidsgraad te vestigen die onafhankelijk is van platformspecifieke labels, passen de auteurs een Rasch-model (Item Response Theory) toe, gebruikmakend van de prestaties van 32 modellen over 1.500 items. Dit levert een latente moeilijkheidsvariabele ($b_i$) voor elk probleem op.
2. Extractie van Trajecten: Trajecten van verborgen toestanden worden geëxtraheerd uit de residustroom op vijf gelijkmatig gespreide lagen tijdens de generatie van oplossingssegmenten. Voor redenerende modellen is dit segment het expliciete denkblok; voor instructie-getuned baselines is het de tekst voorafgaand aan de gedetecteerde antwoordgrens.
3. Geometrische Metrieken: Twee primaire statistieken worden berekend:
   • Rechtstreekse Gang ($D$): De verhouding van netto verplaatsing tot totale padlengte ($\Delta / L$), die de efficiëntie van het eindpunt meet.
   • Variabiliteit van Kromming ($V$): De standaardafwijking van Menger-kromming over opeenvolgende drietallen, die lokale buigingsheterogeniteit meet.
4. Correctie voor Lengte: Erkennend dat ruwe geometrie wordt gedomineerd door generatielengte ($N$), voeren de auteurs een residualisatieprocedure uit. Zij passen een regressie alleen voor lengte ($\bar{D} \sim \log N$) toe voor elk model en elke laag, en correlateren vervolgens de residuen ($D_\perp$) met de item-moeilijkheidsgraad ($b_i$). Dit isoleert de koppeling tussen moeilijkheidsgraad en geometrie, onafhankelijk van padlengte.
5. Comparatieve Analyse: De studie vergelijkt zes gematchte paren van redenering-getrainde modellen (met gebruik van R1-distillatie, SFT+RL, of o3-mini-distillatie) met hun instructie-getuned baselines.
6. Auxiliaire Analyses: De auteurs gebruiken lineaire probes om te testen op de decodeerbaarheid van moeilijkheidsgraad op het prompt-stadium en maken gebruik van onafhankelijke LLM-rechters om gegenereerde sporen te annoteren op redeneergedrag (bijv. strategieverschuiving, onzekerheidsmonitoring).

Belangrijkste Resultaten

1. Tekenswapping door Lengtecorrectie: In ruwe trajecten lijken moeilijkere problemen minder rechtstreeks omdat ze langere paden genereren. Na lengtecorrectie keert deze relatie zich om in alle drie de domeinen: moeilijkere problemen leiden tot meer rechtstreekse gecorrigeerde trajecten. Dit geeft aan dat ruwe geometrie een structureel artefact van lengte is, en geen trouwe weergave van redeneerorganisatie.
2. Domein-afhankelijke Redeneringsseparatie:
   • Competitief Programmeren: Hier komt het duidelijkste onderscheid naar voren. Alle zes redenerende modellen vertonen een sterke positieve correlatie tussen moeilijkheidsgraad en gecorrigeerde rechtstreekse gang ($\rho_{D_\perp} \approx +0,41$), terwijl gematchte baselines dicht bij nul of negatief blijven ($\approx -0,06$). Redenerende modellen vertonen ook verminderde variabiliteit in kromming bij moeilijke problemen.
   • Wiskunde: De separatie is zwakker en heterogener ($\rho_{D_\perp} \approx +0,05$ voor redenerende modellen versus $-0,07$ voor baselines).
   • Booleaanse Satisfiabiliteit: Zowel redenerende als baseline-modellen vertonen een positieve gecorrigeerde koppeling, wat suggereert dat koppeling tussen moeilijkheidsgraad en geometrie kan ontstaan in instructie-getuned modellen zonder specifieke redeneringstraining in dit domein.
3. Ontkoppeling van Lineaire Probes: Lineaire probes op het prompt-stadium spiegelen de scheiding tussen redenerende modellen en baselines die in gecorrigeerde geometrie wordt waargenomen, niet. In het coderingsdomein is de geometrische kloof groot, terwijl het verschil in lineaire decodeerbaarheid van moeilijkheidsgraad verwaarloosbaar is. Dit suggereert dat het effect niet louter een sterkere lineaire toegang tot informatie over moeilijkheidsgraad is, maar een verandering in hoe het traject evolueert tijdens de generatie.
4. Gedragscorrelaten: Sterkere gecorrigeerde geometrische koppeling komt samen met waarneembaar redeneergedrag, specifiek "strategieverschuiving" en "onzekerheidsmonitoring", vooral bij R1-gedistilleerde modellen. Deze annotaties zijn beschrijvende correlaten gemeten uit dezelfde sporen, geen causale mechanismen.

Betekenis en Beweringen
Het artikel stelt vast dat generatielengte een structurele verstorende factor is in trajectanalyse tijdens de generatietijd en dat lengtecorrectie een voorwaarde is voor een geldige interpretatie. De auteurs beweren dat redeneringstraining geassocieerd is met een onderscheidende gecorrigeerde trajectgeometrie, maar dat dit effect domein-afhankelijk is, en het meest uitgesproken is in competitief programmeren.

De bevindingen suggereren dat redenerende modellen niet alleen "langer denken"; ze volgen verschillende interne paden die rechtstreekser worden en lokaal minder heterogeen naarmate de probleemcomplexiteit toeneemt, specifiek in domeinen die complexe strategie-selectie vereisen. Het artikel postuleert dat dit geometrische signaal complementair is aan, en geen herformulering van, lineaire decodeerbaarheid van moeilijkheidsgraad. Tot slot maken de auteurs een grootschalig trajectarchief vrij met gegenereerde denkketens gekoppeld aan bemonsterde trajecten van verborgen toestanden om toekomstig onderzoek naar de interne dynamiek van redeneren te faciliteren.

Beperkingen
De auteurs erkennen dat de analyse een robuuste geometrische associatie identificeert in plaats van een causaal mechanisme. De segmentatie van oplossingssegmenten berust op heuristieken voor baselines, en de gedragsannotaties zijn beschrijvende correlaten afgeleid uit dezelfde data als de geometrie, wat causale claims uitsluit over hoe specifieke gedragingen het geometrische signaal aandrijven. Bovendien kan bemonstering met vaste stapgrote fijnere temporele structuren missen.