Revisiting the Uniform Information Density Hypothesis in LLM Reasoning

Probleemstelling

Chain-of-Thought (CoT) redenering heeft zich bewezen als een krachtige techniek om Large Language Models (LLMs) te verbeteren bij complexe taken. Echter, recente studies wijzen op de kwetsbaarheid van deze aanpak: modellen genereren vaak tussenstappen die logisch inconsistent of incoherent zijn, zelfs als de uiteindelijke output correct lijkt. Dit roept de kritische vraag op: hoe kunnen we bepalen of een LLM daadwerkelijk effectief redeneert, in plaats van slechts oppervlakkig coherente tekst te genereren?

De auteurs onderzoeken dit door de Uniform Information Density (UID) hypothese uit de psycholinguïstiek toe te passen op LLM-redenering. De UID-hypothese stelt dat effectieve menselijke communicatie berust op een gelijkmatige verdeling van informatie om de cognitieve last van de luisteraar te minimaliseren. De centrale vraag is of dit principe ook geldt voor de interne redeneerprocessen van LLMs, en of de uniformiteit van informatieflow op stap-niveau een maatstaf is voor de kwaliteit van het redeneren.

Methodologie

De auteurs introduceren een nieuw raamwerk om de uniformiteit van informatieflow in redeneersporen (reasoning traces) te kwantificeren, zowel op lokaal als globaal niveau.

1. Stap-gebaseerde Informatiedichtheid (ID):

   • Redeneersporen worden opgedeeld in stappen ($z_i$) gebaseerd op nieuwe regels (\n\n).
   • Voor elke stap wordt de entropie ($H_t$) van de voorspellende verdeling over het vocabulaire berekend. Entropie dient als proxy voor informatie-dichtheid: lage entropie duidt op zekerheid, hoge entropie op onzekerheid of exploratie.
   • De stap-gebaseerde informatie-dichtheid ($ID_i$) is het gemiddelde van de entropie binnen die stap.

2. Twee Complementaire Metrieken:
   De auteurs onderscheiden twee vormen van uniformiteit die vaak tegenstrijdig zijn in redenering:

   • Globale Uniformiteit (Variance): Meet de variantie van de $ID_i$-waarden over de hele redeneertrace. Een lage variantie impliceert dat informatie gelijkmatig over de hele trace is verdeeld.
   • Lokale Uniformiteit (Smoothness): Meet de gladheid van de overgangen tussen opeenvolgende stappen. Dit wordt gedaan door het tellen van significante "spikes" (plotselinge stijgingen) en "falls" (plotselinge dalingen) in de entropie, gebaseerd op een drempelwaarde ($\mu_\Delta \pm \tau\sigma_\Delta$). Een lage telling van deze verstoringen duidt op hoge lokale uniformiteit.

3. Experimenteel Ontwerp:

   • Modellen: Deepseek-R1-Distill (Qwen-7B, Llama-8B) en Qwen3-8B.
   • Benchmarks: Zeven uitdagende benchmarks, waaronder wiskundige taken (AIME2025, BRUMO2025, HMMT2025, MinervaMath) en niet-wiskundige redeneertaken (GPQA-Diamond, LSAT-AR, LSAT-LR).
   • Selectie Strategie: Voor elke vraag worden meerdere redeneersporen gegenereerd (Best-of-N sampling). De auteurs selecteren de beste sporen op basis van hun UID-metrieken en vergelijken dit met baselines zoals Self-Certainty, hoge confidence en lage entropie.

Belangrijkste Bijdragen

1. Herziening van de UID-hypothese voor LLMs: Dit is het eerste werk dat de UID-hypothese systematisch toepast op de interne redenering van LLMs, in plaats van op menselijke communicatie.
2. Ontdekking van een Contraintuïtief Patroon: In tegenstelling tot de menselijke communicatie (die globale uniformiteit vereist), vinden de auteurs dat succesvol LLM-redeneren gekenmerkt wordt door:
   • Hoge lokale uniformiteit: Gladde, coherente overgangen tussen stappen zonder abrupte entropie-schokken.
   • Lage globale uniformiteit (Gestructureerde Non-uniformiteit): Een trace waarbij de informatie-dichtheid niet gelijkmatig is verdeeld, maar een gestructureerd patroon volgt (bijv. hoge entropie tijdens exploratie, gevolgd door een daling naar lage entropie tijdens convergentie naar het antwoord).
3. Interne Signaal voor Kwaliteit: De auteurs tonen aan dat afwijkingen van dit patroon (ruis, lokale spikes, of een te vlakke globale verdeling) dienen als een betrouwbaar intern signaal voor het voorspellen van falende redeneertraces.

Resultaten

• Superieure Prestaties: UID-gestuurde selectie (specifiek de combinatie van lokale uniformiteit en globale non-uniformiteit) overtreft consistent traditionele methoden zoals Self-Certainty en confidence-based selectie op alle geteste benchmarks.
  • Bijvoorbeeld: Op AIME2025 voor Deepseek-R1-Distill-Qwen-7B leidde lokale uniformiteit tot een 33% verbetering in nauwkeurigheid ten opzichte van de baseline.
• Robuustheid: Het patroon houdt stand over verschillende modelgroottes (van 1.7B tot 8B parameters) en domeinen (wiskunde en logica). Grotere modellen profiteren meer van globale non-uniformiteit, terwijl kleinere modellen baat hebben bij lokale gladheid.
• Mens vs. Machine: Een cruciale bevinding is dat het "communicatieve" prompten (waarbij het model wordt gevraagd om uit te leggen aan een luisteraar) leidt tot meer globale uniformiteit, maar lagere prestaties op redeneertaken. Dit bevestigt dat de "onregelmatige" globale verdeling in LLMs geen fout is, maar een instrumenteel bijproduct van een computationeel proces dat niet gericht is op een externe luisteraar.

Significantie

Dit paper biedt een fundamenteel nieuw perspectief op het evalueren en verbeteren van LLM-redenering:

• Van Output naar Proces: Het verschuift de focus van het evalueren van het eindantwoord naar het analyseren van de dynamiek van de informatieflow tijdens het redeneren.
• Diagnostisch Instrument: De UID-metrieken fungeren als een krachtig, sample-efficiënt hulpmiddel om coherente redeneersporen te identificeren zonder extra training of externe rewards.
• Theoretische Inzicht: Het verduidelijkt dat de optimalisatie doelen van menselijke communicatie (begrip door een luisteraar) en LLM-redenering (computationele probleemoplossing) fundamenteel verschillend zijn. Het succes van LLMs berust op een gestructureerde, niet-uniforme verdeling van onzekerheid die de "denkprocessen" van het model weerspiegelt, in plaats van een gladde, menselijke uitleg.

Samenvattend bewijst dit werk dat het begrijpen van de informatiedichtheid binnen een redeneertrace een betere voorspeller is voor de kwaliteit van het redeneren dan traditionele confidence-metrieken, en dat "perfecte" uniformiteit (zoals bij mensen) juist schadelijk kan zijn voor de prestaties van een AI-model.