Tethered Reasoning: Decoupling Entropy from Hallucination in Quantized LLMs via Manifold Steering

Titel: Tethered Reasoning: Entropie ontkoppelen van Hallucinatie in Gekwantiseerde LLM's via Manifold-Steering

Auteur: Craig Atkinson (CEO, Verificate Pty Ltd)
Datum: 6 februari 2026 (ArXiv:2602.17691v1)

1. Het Probleem: Het Temperatuur-Entropie Dilemma

Gekwantiseerde taalmodellen (LLM's) staan voor een fundamenteel dilemma bij het genereren van tekst:

• Lage temperaturen ($T < 1.0$): Leiden tot repetitieve, "mode-collapsed" outputs waar het model vastloopt in patronen.
• Hoge temperaturen ($T > 2.0$): Worden traditioneel gezien als instabiel, wat leidt tot wat "hallucinatie" wordt genoemd (semantische incoherentie en feitelijke fouten).
• De Kwantiseringsverergering: Bij 4-bit gekwantiseerde modellen treedt deze instabiliteit en degradatie van redeneervermogen eerder op dan bij full-precision modellen. De huidige consensus is dat hoge temperaturen inherent onstabiel zijn, waardoor inferentie-frameworks de temperatuur vaak cappen op $T=2.0$.

De auteurs betogen dat deze "hallucinatie" bij hoge temperaturen niet het gevolg is van een verlies aan kennis of semantische ineenstorting, maar van trajectdivergentie: activaties ontsnappen aan de structureel coherente gebieden van de representatieruimte.

2. Methodologie: Het Helix Framework

De auteurs introduceren Helix, een geometrisch raamwerk dat output-entropie ontkoppelt van hallucinatie door hidden-state trajecten te "vastzetten" (tethering) aan een vooraf berekende "waarheidsmanifold" (truthfulness manifold).

Kerncomponenten:

1. Unified Truth Score (UTS):

   • Een per-token onzekerheidsmetriek die twee factoren combineert:
     • Semantische Entropie ($S_E$): De Shannon-entropie van de logit-verdeling.
     • Manifold-Afstand ($S_D$): De Mahalanobis-afstand van de hidden activatie tot een vooraf berekende "waarheidsmanifold".
   • Adaptieve Handover: De weging tussen entropie en afstand is temperatuurafhankelijk. Bij lage $T$ domineert entropie (precisie), bij hoge $T$ domineert de manifold-afstand (stabiliteit). Dit voorkomt dat het systeem blind wordt bij hoge temperaturen wanneer entropie verzadigt.

2. Geometrische Grounding (Waarheidsmanifold):

   • De manifold wordt onbewaakt (unsupervised) geconstrueerd uit feitelijke prompts (o.a. TruthfulQA, WikiText, GSM8K) bij conservatieve sampling ($T=0.1$).
   • Deze manifold encodeert structurele coherentie (syntaxis, logica, causaliteit) in plaats van specifieke feiten.

3. Geleide Steering (Graduated Steering):

   • Wanneer de UTS onder een drempelwaarde daalt, worden geleide steering-vectoren toegepast.
   • Dit corrigeert de activaties door ze terug te duwen naar coherente gebieden, maar beïnvloedt slechts 0,2% tot 2,5% van de tokens.
   • Hybride Architectuur Strategie: Voor hybride modellen (zoals Granite 4.0 met Mamba-2 en Transformer-lagen) volstaat het om alleen de Transformer-attention-lagen (ca. 10% van de lagen) te sturen om de drift in de Mamba state-space formulering te corrigeren.

4. Zero-Overhead:

   • De berekening vindt plaats tijdens de bestaande forward pass. Er zijn geen ensembles of meerdere forward passes nodig.

3. Belangrijkste Resultaten

De methode werd getest op Granite 4.0 H Small (32B parameters, 9B actief, 4-bit gekwantiseerd) en gevalideerd op Qwen3-30B-A3B (MoE).

• Temperatuur-robustheid:

  • GSM8K (Wiskunde): Behoudt 88,84% nauwkeurigheid bij $T=3.0$ (slechts 2,81pp daling ten opzichte van $T=0.5$).
  • MMLU (Algemene kennis): Behoudt 72,49% nauwkeurigheid bij $T=3.0$ over 14.042 vragen (1,24pp daling).
  • HumanEval (Code): Behoudt 76,83% bij $T=3.0$ (6,10pp daling).
  • Conclusie: Geen catastrofale ineenstorting; prestaties blijven stabiel over het volledige temperatuurbereik.

• Kwantiseringsherstel:

  • Het Helix-gestuurde 4-bit model presteert bij $T=1.0$ 91,80% op GSM8K, wat 4,53pp hoger is dan het full-precision baseline (87,27%). Dit toont aan dat kwantisatie-degradatie kan worden gecompenseerd door geometrische interventie.

• De "High-Entropy Creative Reservoir":

  • Bij hoge temperaturen ($T > 2.0$) wordt een nieuw fenomeen blootgelegd: een reservoir van structureel geldende, maar diverse ideeën.
  • Creativiteit: Terwijl lage temperaturen leiden tot 70-80% duplicatie van ideeën, daalt dit bij hoge temperaturen naar 5-20%.
  • Multi-Temperature Synthesis: Door vragen te stellen over een temperatuurspectrum, kunnen 200%+ meer unieke concepten worden gegenereerd dan bij single-temperature inferentie, zonder incoherentie.

4. Bijdragen en Innovatie

1. Trajectdivergentie Hypothese: Bewijs dat hallucinatie bij hoge temperaturen voornamelijk een geometrisch probleem is (ontsnappen aan de manifold) en geen semantisch probleem.
2. UTS (Unified Truth Score): Een real-time, single-pass onzekerheidsmetriek die geen ensembles vereist.
3. Temperatuur-invariant Redeneren: Stabilisatie van inferentie van $T=0.5$ tot $T=3.0$ met minimale degradatie.
4. Kwantiseringsherstel: Demonstreert dat 4-bit modellen full-precision prestaties kunnen overtreffen met de juiste steering.
5. Nieuw Paradigma voor Hybride Architecturen: Bewijs dat het sturen van slechts de Transformer-lagen (in hybride SSM-Transformer modellen) voldoende is om drift in de state-space lagen te corrigeren.

5. Significantie en Impact

• Democratisering van AI: Helix maakt het mogelijk om krachtige, gekwantiseerde modellen op resource-beperkte hardware (zoals consumenten-GPU's) te draaien met prestaties die gelijkwaardig of superieur zijn aan full-precision modellen.
• Doorbreken van de $T=2.0$ Barrière: De paper toont aan dat de beperking van $T=2.0$ in inferentie-frameworks een infrastructuurbeperking is, geen fundamentele modelbeperking. Helix maakt veilig gebruik van het volledige temperatuurbereik mogelijk.
• Creatieve Toepassingen: Het openen van de "High-Entropy Creative Reservoir" biedt nieuwe mogelijkheden voor brainstormsessies, productontwerp en artistieke creatie via Multi-Temperature Synthesis.
• Observabiliteit: Het systeem biedt per-token telemetry (UTS, entropie, afstand), wat inzicht geeft in het generatieproces zonder ensembles.

Conclusie:
Helix bewijst dat "hallucinatie" bij hoge temperaturen niet onvermijdelijk is, maar het gevolg is van het ontbreken van geometrische stabilisatie. Door trajecten te tetheren aan een manifold van structurele coherentie, kunnen gekwantiseerde modellen zowel extreem betrouwbaar (bij lage $T$) als extreem creatief (bij hoge $T$) zijn, terwijl ze tegelijkertijd de kosten en het energieverbruik drastisch verlagen.