Geometric Properties of the Voronoi Tessellation in Latent Semantic Manifolds of Large Language Models

1. Probleemstelling

Grote Taalmodellen (LLMs) opereren op discrete tokens, maar voeren interne berekeningen uit in continue vectorruimten. Volgens het theoretische kader van Mabrok (2026) bestaat er een "latent semantic manifold" (latente semantische variëteit) waar de representaties van het model op liggen. Op deze variëteit wordt een Voronoi-tessellatie gevormd door de vocabulaire-tokens.

Het centrale probleem is de expressibility gap (expressibiliteitskloof): het deel van de semantische ruimte waar het vocabulaire geen zelfverzekerde token-toewijzingen kan bieden (d.w.z. waar de margin tussen de beste en de op één na beste token te klein is).

• Theoretische basis: Mabrok bewees dat deze kloof een lineaire schalingswet volgt ($\eta(\epsilon) = \alpha \cdot \epsilon$).
• Praktische uitdaging: Bestaande methoden om deze geometrie te verbeteren (zoals margin maximalisatie) leiden vaak tot "collateral damage" (schade aan de prestaties van het model op andere posities) of worden beperkt door kwantisatie-artefacten (bijv. door bfloat16-precisie).
• Doel: Onderzoeken of de Voronoi-geometrie van een geconvergeerd model (Qwen3.5-4B-Base) kan worden herschikt via post-hoc interventies zonder de algehele prestaties te degraderen, en dit te doen met minimale schade aan de token-accuraatheid.

2. Methodologie

De auteurs voeren een empirische studie uit op het Qwen3.5-4B-Base model (4,2 miljard parameters, Gated DeltaNet-architectuur).

A. Methodologische Correctie: Float32 Recomputatie

Een kritieke bevinding is dat bfloat16-inferentie kwantisatie-artefacten introduceert die de margin-berekeningen verstoren (logits worden op een grof raster afgerond).

• Oplossing: De auteurs extraheren de laatste verborgen staat, upcasten deze naar float32, en herberekenen de lm_head projectie met volledige precisie.
• Resultaat: Dit elimineert artefacten en verhoogt de $R^2$ van de lineaire schalingswet van 0,927 naar 0,9997, wat de theorie van Mabrok sterk bevestigt.

B. Margin Refinement Procedures (MRP)

Er worden twee methoden vergeleken om de Voronoi-tessellatie te herschikken door een extra verliesfunctie toe te voegen aan een geconvergeerd model (200 gradient-stappen):

1. Direct Margin Maximization (MM): maximaliseert direct het verschil tussen de top-1 en top-2 logits. Dit is computatievriendelijk maar pusht representaties langs een vaste as.
2. Fisher Information Distance (Fisher): maximaliseert de afstand tussen token-embeddings in de Fisher-metriek van het model zelf. Dit houdt rekening met de lokale geometrie van de representatieruimte en probeert de "runner-up" (tweede beste token) te vervangen door een token die natuurlijker gescheiden is in de ruimte.

C. Experimenteel Protocol

• Dataset: WikiText-103 validatieset (256.577 token-posities).
• Dosis-respons curve: Verschillende gewichten ($\lambda_{MRP}$) worden getest om de balans tussen verbetering en schade te analyseren.
• Evaluatie:
  • Geometrische metrics (margin verdeling, expressibility gap).
  • Churn-analyse (hoeveel fouten worden goedgemaakt vs. hoeveel goede voorspellingen worden fout).
  • Downstream benchmarks (ARC-Challenge, HellaSwag, etc.).
  • Token-frequentie en token-klasse audits (structuur vs. inhoud).

3. Belangrijkste Bijdragen

1. Validatie van de Lineaire Schalingswet: Bevestiging van Theorem 10.5 van Mabrok op een veel groter model (4B) met een record-hoge $R^2$ van 0,9997 dankzij float32-recomputatie.
2. Ontdekking van een Mid-Layer Ambiguïteitsregime: Er is een negatieve correlatie gevonden tussen cross-entropy en geometrische regularisatie in lagen 24-28. Dit suggereert dat posities die uiteindelijk correct worden voorspeld, op deze tussenlagen nog steeds geometrisch dubbelzinnig zijn.
3. Fisher Information als Laag-schade Interventie: Het paper toont aan dat Fisher Information Distance maximalisatie de expressibility gap kan verkleinen met constante schade, in tegenstelling tot directe margin maximalisatie waarbij de schade exponentieel toeneemt.
4. Token-Waarde Concentratie: Een kritieke nuance: hoewel de algehele benchmarks stabiel blijven, zijn de winsten van Fisher MRP sterk geconcentreerd op hoog-frequente structuur-tokens (leestekens, spaties), terwijl de prestaties op inhoudswoorden en entiteiten bij hogere $\lambda$-waarden kunnen verslechteren.

4. Resultaten

Geometrische Verbetering

• Fisher MRP ($\lambda=0.6$): Bereikt een +28% verbetering in de mediane margin en verlaagt de expressibility gap met ~19,7%, zonder de downstream benchmarks te veranderen.
• Correlatie: De verliesfunctie van MRP is op de laatste laag sterk gecorreleerd met cross-entropy ($\rho = 0.836$), maar op lagen 24-28 juist negatief ($\rho = -0.29$), wat wijst op een unieke geometrische informatie die CE niet vastlegt.

Schade en "Churn"

• Margin Maximalisatie: Bij $\lambda=1.0$ explodeert de schade (flip ratio daalt van 2,9x naar 0,4x). Het model maakt veel fouten om margins te vergroten.
• Fisher Information: De schade (aantal posities die van goed naar fout gaan) blijft constant op ongeveer 5.300 posities over het volledige geteste bereik ($\lambda=0.15$ tot $0.6$). Zelfs bij $\lambda=2.0$ blijft de schade laag en de benchmarks stabiel.
• Reden: Fisher "rotteert" de runner-up naar een token die natuurlijker gescheiden is in de ruimte, in plaats van gewelddadig de huidige top-2 te scheiden.

Token-Frequentie en Klasse Analyse

• Concentratie: De winsten zijn niet uniform verdeeld. Bij $\lambda=0.6$ komt 84% van de netto-correcties voort uit de hoogste frequentie-bucket (tokens die 100+ keer voorkomen). Bij $\lambda=2.0$ loopt dit op tot 92,1%.
• Structuur vs. Inhoud: De winsten worden gedomineerd door structuur-tokens (komma's, punten, spaties).
• Negatief Effect: Bij hogere $\lambda$-waarden (en in een instruct-model) worden entiteit-achtige tokens (namen, hoofdletters) en medium-frequente inhoudswoorden (bijv. "he", "with", "they") net negatief.
• Conclusie: Flatte benchmarks maskeren een herverdeling van token-utility: het model wordt beter in structuur, maar mogelijk slechter in specifieke inhoudswoorden.

5. Betekenis en Conclusie

Dit paper biedt een diepgaand inzicht in de geometrie van LLM-representaties en hoe deze kan worden "gepolijst" na training.

• Theoretisch: Het bewijst dat de Voronoi-tessellatie van een model plastisch is en dat de lineaire schalingswet van de expressibility gap robuust blijft, zelfs na ingrijpende geometrische wijzigingen.
• Praktisch: Fisher Information Distance maximalisatie is een krachtige tool om de betrouwbaarheid (margins) van een model te verhogen zonder de algehele prestaties op benchmarks te verlagen.
• Beperkingen en Toekomst: De "veilige" werkzone voor Fisher MRP ligt rond $\lambda=0.6$. Hogere waarden leiden tot een ongewenste concentratie van winsten op structuur-tokens ten koste van inhoud. De auteurs concluderen dat toekomstig werk zich moet richten op token-waarde-bewuste verfijning (token-value-aware refinement) om de voordelen van de geometrische herschikking te behouden zonder de prestaties op zeldzame of inhoudelijke tokens te offeren.

Samenvattend: Het paper toont aan dat we de interne geometrie van LLMs kunnen manipuleren om fouten te corrigeren, maar dat we voorzichtig moeten zijn met waar die correcties plaatsvinden, omdat de "makkelijke" winsten vaak zitten in de structuur van de taal in plaats van in de semantische inhoud.