Technische Samenvatting: Step-Aware Reasoning Energy (SARE)

1. Probleemstelling

Hoewel Chain-of-Thought (CoT) prompting de prestaties van Large Language Models (LLM's) op complexe redeneertaken aanzienlijk heeft verbeterd, blijft de interne allocatie van computationele inspanning over individuele redeneerstappen opaak. Bestaande interpreteerbaarheidsmethoden lijden onder twee primaire beperkingen:

1. Oppervlakkige afhankelijkheid: Veel benaderingen vertrouwen op output-signalen (bijv. token log-waarschijnlijkheden, entropie) of behandelen het redeneertraject als een enkele scalaire waarde, waardoor ze niet in staat zijn om stapsgewijze dynamiek te vangen.
2. Grove granulariteit: Interpreteerbaarheidsonderzoek analyseert vaak individuele tokens of gecomprimeerde geaggregeerde representaties. Deze granulariteit is onvoldoende om de computationele dynamiek van een volledige redeneerstap (bijv. een logische deductie of vergelijking) te vangen, en het negeert de relationele structuur tussen tokens binnen die stap.

Consequent is er een gebrek aan begrip over welke stappen diepe interne verwerking vereisen versus stappen die triviaal worden opgelost, en hoe deze interne dynamiek correleert met het succes of falen van het redeneren.

2. Methodologie

De auteurs stellen Step-Aware Reasoning Energy (SARE) voor, een geometrisch framework ontworpen om computationele inspanning te kwantificeren op het niveau van individuele CoT-stappen. De methodologie integreert geometrische dissimilariteit met semantische staatmodellering.

2.1 Stap-bewuste formalisering

Een CoT-traject $T$ wordt gesegmenteerd in discrete tekstuele redeneestappen $s_1, \dots, s_T$. Voor elke stap $s_t$ op een specifieke transformer-laag $l$, worden de token hidden states gerepresenteerd als een matrix $H^{(l)}_t$. De interne semantische relaties worden gevangen via een Gram-matrix $G^{(l)}_t = H^{(l)}_t (H^{(l)}_t)^\top$.

2.2 Geometrische dissimilariteit via CKA

Om de binnen een stap uitgevoerde computationele inspanning te meten, berekent het framework de Centered Kernel Alignment (CKA) tussen de Gram-matrices van opeenvolgende lagen ($l$ en $l+1$).

• Dissimilariteitsscore: De laag-specifieke dissimilariteit $D^{(l)}_t$ wordt gedefinieerd als $1 - \text{CKA}(\tilde{G}^{(l)}_t, \tilde{G}^{(l+1)}_t)$, waarbij $\tilde{G}$ de gecentreerde Gram-matrix vertegenwoordigt.
• Redeneerenergie ($E_t$): De totale energie voor een stap is de som van de dissimilariteitsscores over alle laag-transities: $E_t = \sum_{l=1}^{L-1} D^{(l)}_t$.
• Interpretatie: Een hoge $E_t$ duidt op een substantiële reorganisatie van de interne token-relationele geometrie over de lagen heen, wat reflecteert dat er werkelijke computationele inspanning wordt geleverd. Een lage $E_t$ suggereert vroege structurele stabilisatie, kenmerkend voor triviale transities of routinematige herinnering (recall).
• Voordeel ten opzichte van alternatieven: In tegenstelling tot token-niveau maten (bijv. Jensen-Shannon Divergentie op next-token distributies) of eigenwaarde-vergelijkingen, opereert CKA direct op de paarwijze token-gelijkenisstructuren. Het behoudt de inter-token relationele informatie zonder dat eigenvector-alignement of cluster-correspondentie tussen lagen vereist is.

2.3 Semantische Staatmodellering

Het framework contextualiseert energie binnen het redeneertraject door CoT-stappen te modelleren als transities tussen latente semantische staten:

1. Clustering: Stappen worden gerepresenteerd door spectrale embeddings afgeleid van het eigenwaardenspectrum van hun cumulatieve token Gram-matrices (van de laatste laag). Deze worden geclusterd via K-Means om macro-staten te identificeren (bijv. probleemformulering, feitelijke extractie, synthese).
2. Markoviaanse Dynamiek: De sequentie van clusters wordt gemodelleerd als een eerste-orde Markov-keten om de cross-stap energie-velociteiten en trajectstabiliteit te analyseren.

3. Belangrijkste Bijdragen

1. SARE Framework: Een op geometrie gebaseerde methode om de stap-niveau redeneerinspanning te kwantificeren met behulp van CKA op token hidden state Gram-matrices, waarbij de inter-token relationele dynamiek wordt gevangen die vaak door token-niveau maten wordt genegeerd.
2. Empirische Karakterisering: De vaststelling dat redeneerenergie sterk niet-uniform is over verschillende semantische staptypen, en fase-achtige transities vertoont die onzichtbaar zijn voor traject-niveau metrieken.
3. Falingdetectie: De demonstratie dat incorrecte trajecten systematisch geassocieerd zijn met lagere redeneerenergie bij kritieke redeneerpunten (met name tijdens verificatie- en synthese-staten).
4. Voorspellende Nut: Bewijs dat SARE-gebaseerde features de output-gebaseerde betrouwbaarheidsbaselines (log-waarschijnlijkheid, entropie) evenaren of overtreffen voor offline detectie van redeneerfouten.

4. Experimentele Resultaten

Het framework werd geëvalueerd over zes benchmarks (GSM8K, MATH, CSQA, StrategyQA, HotpotQA, MuSiQue) en drie open-weight LLM's (LLaMA-3.2-3B, Phi-4-mini, Gemma-3-4B).

4.1 Redeneerenergieprofielen

• Niet-uniformiteit: De energieverdeling varieert aanzienlijk per semantische rol. Vroege opzetstappen en finale synthesestappen vormen vaak de uitersten van de energie, terwijl stappen in het midden van het traject (zoals feitelijke extractie) een stabiele, matige energie vertonen.
• Modelafhankelijkheid: De "dynamische reikwijdte" van energie hangt af van de architectuur. Zo gebruikt Gemma-3-4B een breder energiespectrum dan LLaMA-3.2-3B of Phi-4-mini.
• Semantische Interpretatie:
  • Bij wiskundig redeneren (Phi-4-mini) vertoont de laatste stap vaak de laagste energie, wat suggereert dat de kern van het redeneren eerder is voltooid.
  • Bij multi-hop/commonsense redeneren (Gemma-3, LLaMA) vertoont de finale synthese-cluster vaak de hoogste energie.

4.2 Signaturen van Redeneerfouten

• Lagere Energie bij Fouten: Incorrecte trajecten vertonen consistent lagere redeneerenergie bij specifieke knooppunten, met name tijdens de finale verificatie en compositionele redenering.
• Gelokaliseerde Divergentie: De divergentie tussen correcte en incorrecte energieverdelingen is niet uniform; deze begint vaak in latere kwantificatie- en compositionele staten in plaats van in vroege extractiestaten.

4.3 Voorspellende Prestaties

• Baseline Vergelijking: SARE (gecombineerd met token count) evenaart of overtreft de standaard betrouwbaarheidsbaselines (Log-Prob, Entropie, Perplexity, Self-Certainty) over de meeste datasets.
• StrategyQA Anomalie: Probabilistische baselines faalden volledig (F1 = 0) op StrategyQA (een True/False taak) omdat de token-distributies nagenoeg uniform waren, ongeacht de correctheid. SARE en Token Count behielden hun voorspellende kracht (F1 ~0.46–0.58), wat aantoont dat interne geometrische dynamiek informatie bevat die verder gaat dan oppervlakkige waarschijnlijkheden.

5. Betekenis en Claims

Het paper positioneert SARE primair als een diagnostisch en interpreteerbaar instrument in plaats van een direct interventiemechanisme. De betekenis ligt in:

• Het Openen van de Black Box: Het biedt een venster naar de "black-box" natuur van LLM-redeneren door de inspanning op stap-niveau te kwantificeren zonder eigenvector-alignement te vereisen.
• Voorbij Oppervlakkige Signalen: Het demonstreert dat interne geometrische dynamiek voorspellende informatie bevat over de correctheid van het redeneren die niet wordt gevangen door output-niveau betrouwbaarheidsscores.
• Fundament voor Toekomstig Werk: De auteurs suggereren dat deze gestructureerde energiepatronen een fundament kunnen vormen voor geometrie-bewuste verbeteringen van redeneren, zoals signalen tijdens de training om reorganisatie op kritieke punten te stimuleren, of inference-time triggers voor resampling.

Erkende Beperkingen:

• Schaal: Experimenten waren beperkt tot modellen met 3–4B parameters; de generaliseerbaarheid naar grotere modellen is een open vraag.
• Overhead: De noodzaak om hidden states op elke laag te extraheren maakt SARE het beste geschikt voor offline analyse, hoewel approximaties (bijv. het subsamplen van lagen) worden gesuggereerd voor toekomstige efficiëntie.