Technische Samenvatting: Kwantificering van Consistentie in de Logische Redenering van LLM's via Structurele Onzekerheid

Probleemstelling

Large Language Models (LLM's) vertonen regelmatig een faalmodus in meerstaps deductieve redenering waarbij ze tot dezelfde onjuiste conclusie komen via verschillende, intern gebrekkige redeneerpaden. Bestaande post-hoc evaluatiemethoden beoordelen betrouwbaarheid primair via output-dispersie (het meten van de semantische variatie of entropie van gesamplede antwoorden). Hoewel nuttig, negeert deze benadering een cruciaal complementair signaal: de structurele consistentie van de interne voorkeuren van het model tussen concurrerende redeneerkandidaten.

Dispersie-gebaseerde methoden falen in het detecteren van "systematisch maar intern instabiel" redeneren. Als een model bijvoorbeeld vijf kandidaten genereert die allemaal eens zijn over een foutief antwoord, rapporteren dispersie-gebaseerde metrieken een lage onzekerheid (nul entropie), wat maskeert dat de interne rangschikking van het model van deze kandidaten zeer instabiel kan zijn. Dit artikel adresseert de behoefte aan een evaluatiekader dat niet alleen meet welke antwoorden verschillen, maar ook hoe consistent het model concurrerende redeneeroplossingen voor dezelfde query rangschikt.

Methodologie: Structural Uncertainty Framework

De auteurs stellen Structural Uncertainty voor, een consistentie-bewust evaluatiekader dat de stabiliteit van door zelfvoorkeur geïnduceerde rangschikkingen over gesamplede kandidaat-oplossingen kwantificeert. Het framework werkt in een volledig black-box setting zonder toegang te vereisen tot de interne mechanismen (logits of verborgen toestanden) van het model.

1. Pipeline Overzicht

Gegeven een query $x$:

1. Kandidaatgeneratie: Het model genereert $N$ diverse kandidaat-redeneeroplossingen ($N=5$) met behulp van stochastische decodering en onderscheidende prompt-templates (bijv. stap-voor-stap, think-aloud, Socratisch, decompositie, analogisch).
2. Elicitatie van Zelfvoorkeur: Hetzelfde model fungeert als rechter om binaire voorkeuren tussen de eigen outputs te bepalen. Om de computationele kosten van $O(N^2)$ naar $O(N)$ te reduceren, samplen de auteurs een uniform willekeurige spanningboom over de $N$ kandidaten voor elke trial, waarbij slechts $N-1$ randen worden bevraagd.
3. Voorkeursaggregatie:
   • Bradley-Terry Modellering: Binaire oordelen worden gemodelleerd met het Bradley-Terry (BT) framework met $L_2$-regularisatie om latente nutswaarden $\theta_i$ voor elke kandidaat af te leiden.
   • PageRank Normalisatie: De afgeleide binaire win-kansen worden omgezet in een transitiematrix, waarna de stationaire verdeling (PageRank-score $\pi$) wordt berekend om een globale rangschikkingsverdeling voor die trial te produceren.
   • Robuustheidscontrole: Een TrueSkill variant (Bayesiaanse vaardigheidsbeoordeling met confidence-weighted updates) is eveneens geïmplementeerd en levert zeer vergelijkbare resultaten op.
4. Onzekerheidsdecompositie: Dit proces wordt herhaald voor $M$ onafhankelijke trials (spanningboom-samples). De resulterende ensemble van rangschikkingsverdelingen $\{\pi^{(m)}\}_{m=1}^M$ wordt gedecomponeerd in twee entropie-gebaseerde componenten:
   • Binnen-Trial Kandidaat-ambiguïteit ($StructU_{within}$): De gemiddelde entropie van de rangschikkingsverdeling binnen een enkele trial. Hoge waarden duiden erop dat het model niet in staat is om kandidaten met vertrouwen van elkaar te onderscheiden, zelfs binnen een enkele vergelijkingsset.
   • Tussen-Trial Rangschikkingsinstabiliteit ($StructU_{across}$): Het verschil tussen de totale entropie van de gemiddelde rangschikking en de gemiddelde binnen-trial entropie. Hoge waarden duiden erop dat de geprefereerde rangschikking van het model aanzienlijk fluctueert afhankelijk van de specifieke set vergelijkingen (spanningboom) die gesampled is.

2. Integratie met Self-Consistency

Het framework combineert structurele onzekerheid met standaard Self-Consistency Uncertainty (entropie van de antwoordverdeling). De auteurs stellen een vaste empirische fusieregel voor:

• $StructU_{across}$ correleert negatief met nauwkeurigheid (instabiliteit $\to$ falen), dus wordt deze opgeteld bij de Self-Consistency entropie.
• $StructU_{within}$ correleert positief met nauwkeurigheid op redeneertaken (ambiguïteit tussen plausibele paden), dus wordt deze afgetrokken van de Self-Consistency entropie.

Belangrijkste Bijdragen

1. Een Post-Hoc Consistentie-framework: Een model-agnostische methode om de consistentie van redenering te kwantificeren via de stabiliteit van zelfvoorkeur-rangschikkingen, wat een signaal biedt dat complementair is aan output-dispersie.
2. Structurele Decompositie: De decompositie van onzekerheid in tussen-trial instabiliteit (wat falend redeneren signaleert) en binnen-trial ambiguïteit (wat competitieve plausibele paden signaleert), afgeleid via Bradley-Terry/TrueSkill en PageRank.
3. Regime-analyse: Een karakterisering van wanneer structurele signalen informatief zijn versus wanneer ze instorten. Het artikel identificeert een "regime-grens" waar de evaluatie van redeneringsniveau-consistentie niet langer informatief is.

Experimentele Resultaten

Het framework werd geëvalueerd over vijf LLM's (waaronder Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B) en acht benchmarks (Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA).

1. Complementariteit op Redeneertaken

Op wiskundige en logische redeneerbenchmarks (bijv. Math-Synth, MATH-500, AMC-23) verbetert het combineren van structurele onzekerheid met self-consistency de identificatie van onbetrouwbare redeneringen (gemeten via Selective Prediction AUC en AUROC) aanzienlijk.

• Prestatiewinst: De hybride estimator ($StructU + SelfConsU$) behaalde de hoogste of tweede hoogste prestaties op de meeste redeneertaken, met winsten tot +13,4% voor zwakkere modellen op moeilijke wedstrijdproblemen.
• Correlatie met Nauwkeurigheid:
  • Tussen-trial instabiliteit vertoonde een sterke negatieve correlatie met juistheid (instabiliteit signaleert falen).
  • Binnen-trial ambiguïteit vertoonde een positieve correlatie met juistheid op wiskundige taken, consistent met scenario's waarin meerdere geldige oplossingspaden bestaan.

2. Ineenstorting op Retrieval-taken

Op feitelijke retrieval-taken (specifiek HotpotQA) stortte het structurele signaal in.

• Observatie: Zowel correcte als incorrecte vragen vertoonden bijna nul tussen-trial onzekerheid en bijna maximale binnen-trial entropie (uniforme PageRank-verdelingen).
• Mechanisme: Factual retrieval over vaste documenten lokt structureel homogene redeneerketens uit, ongeacht de prompt-template. De zelfvoorkeuren van het model worden ononderscheidbaar (muntworp), waardoor het structurele signaal niet-informatief wordt.
• Implicatie: In dit regime presteren dispersie-gebaseerde methoden (zoals Self-Consistency of Semantic Dispersion) beter dan de structurele aanpak. Deze ineenstorting dient als een diagnostisch kenmerk dat de afwezigheid van redeneringsniveau-structurele diversiteit aangeeft.

3. Ablatie en Validatie

• Randomisatie: Het vervangen van echte zelfvoorkeuren door willekeurige vergelijkingen zorgde ervoor dat de AUROC naar bijna toevalsniveau daalde, wat bevestigt dat het signaal rust op genuante voorkeuren van het model en niet op pipeline-artefacten.
• Backend Robuustheid: Zowel de Bradley-Terry als de TrueSkill backends produceerden consistente rangschikkingen ($\rho > 0,95$), wat de decompositie valideert als een eigenschap van de rangschikkingsverdeling en niet als een specifieke modelkeuze.

Betekenis en Claims

Het artikel claimt dat Structural Uncertainty het beste begrepen kan worden als een regime-gevoelige evaluator van de consistentie van logische redenering, en niet als een universele betrouwbaarheidsestimator.

• Herformulering van Evaluatie: Het verschuift de vraag van "Hoeveel verschillen de reacties?" (dispersie) naar "Hoe consistent rangschikt het model concurrerende redeneeroplossingen?" (structuur).
• Diagnostische Nut: Het framework biedt een praktisch hulpmiddel voor praktijkgebruikers. Het "HotpotQA-kenmerk" (bijna nul tussen-trial onzekerheid + hoge binnen-trial entropie) geeft een regime aan waar evaluatie van redeneringsniveau-consistentie zinloos is, wat suggereert over te schakelen naar dispersie-gebaseerde methoden.
• Beperkingen: De auteurs merken bescheiden op dat de methode de inferentie-kosten verhoogt ($N \times M$ vergelijkingen) en dat zelfvoorkeuren specifieke model-biases erven. De decompositie is empirisch en observeerbaar onder een vastgesteld protocol, en is geen fundamentele identificatie van onderliggende data-onzekerheid. De methode is het meest effectief wanneer reacties verschillen in redeneerkwaliteit; het faalt wanneer variatie puur stilistisch is of wanneer de taakstructuur (bijv. deterministische retrieval) de diversiteit in redenering onderdrukt.

Concluderend toont het artikel aan dat het meten van de stabiliteit van de interne voorkeursvolgorde van een model over zijn eigen outputs een cruciaal, complementair perspectief biedt op de betrouwbaarheid van redenering, met name voor het detecteren van systematische fouten die door enkel overeenstemming op antwoordniveau niet zichtbaar worden.