Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory

Deze thesis introduceert een unificerend raamwerk op basis van spectrale meetkunde en willekeurige matrixtheorie dat de betrouwbaarheid van grote taalmodellen verbetert door hallucinaties in real-time te detecteren via EigenTrack en de efficiëntie verhoogt door middel van RMT-KD, een kennisdistillatiemethode die netwerken comprimeert zonder nauwkeurigheid te verliezen.

De kern

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) een enorme bibliotheek is, vol met boeken die het gelezen heeft. Soms is deze bibliotheek zo groot en rommelig dat het model begint te verzinnen (hallucineren) of dat het de verkeerde boeken pakt als je een vraag stelt die niet in zijn bibliotheek staat.

Dit proefschrift, geschreven door Davide Ettori, introduceert twee slimme manieren om dit probleem op te lossen. Hij gebruikt wiskunde die lijkt op het analyseren van geluidsgolven of trillingen in een brug. Laten we het eens uitleggen met een paar creatieve vergelijkingen.

De Kern: Het "Ruis vs. Signaal" Probleem

Stel je voor dat je in een drukke feestzaal staat (dat is de data van het model).

• De ruis: Dat is het gebrul, het geklets en het geluid van de koelkast. Dit is willekeurig en zegt niets over wat er echt gebeurt. In de wiskunde noemen ze dit het "Marchenko-Pastur-bulk" (een soort ruis-muur).
• Het signaal: Dat is de stem van iemand die een belangrijk verhaal vertelt. Dit is gestructureerd en heeft een eigen ritme. In de wiskunde noemen ze dit "spikes" of pieken in de data.

Het doel van dit onderzoek is om te leren onderscheid maken tussen die ruis en dat echte signaal, zodat we het model betrouwbaarder en sneller kunnen maken.

---

Deel 1: EigenTrack – De "Vuurwerk-Alarm"

Het probleem: Soms begint een chatbot te verzinnen. Vaak zie je dit pas als het verhaal al lang en breed is opgeschreven. Dat is te laat.

De oplossing: EigenTrack is als een slimme brandweerman die niet wacht tot het vuur uitbreekt, maar kijkt naar de rook.

• Hoe werkt het? Het kijkt niet naar wat het model zegt (de woorden), maar naar hoe het model denkt (de interne trillingen).
• De analogie: Stel je voor dat het model een orkest is. Als het goed werkt, spelen de muzikanten samen een harmonieus liedje (gestructureerd signaal). Als het begint te hallucineren, beginnen de muzikanten willekeurig te spelen, als een chaotische jazz-sessie zonder ritme (ruis).
• EigenTrack luistert continu naar dit orkest. Zodra het merkt dat de muziek chaotisch wordt (de "ruis" overheerst), geeft het direct een waarschuwing: "Stop! Hier gaat het mis!" voordat het model een hele leugen heeft uitgespeld.
• Het voordeel: Het hoeft het model niet te veranderen. Het is als een extra oortje dat je op het hoofd van de computer zet om te controleren of het nog gezond is.

---

Deel 2: RMT-KD – De "Slimme Verhuis"

Het probleem: Deze enorme modellen zijn erg traag en verbruiken veel stroom. Ze zijn als een vrachtwagen vol met zand, terwijl je alleen een paar diamanten nodig hebt.

De oplossing: RMT-KD is een methode om de vrachtwagen te verkleinen zonder de diamanten kwijt te raken.

• Hoe werkt het? Het model analyseert welke delen van zijn "brein" echt belangrijk zijn (de diamanten/signaal) en welke delen alleen maar ruis zijn (het zand).
• De analogie: Stel je voor dat je een kamer vol meubels moet verhuizen. Normaal gesproken neem je alles mee. RMT-Kd kijkt echter naar de meubels en zegt: "Deze oude stoel is alleen maar stof (ruis), gooi die weg. Maar deze dure vaas (het signaal) moet absoluut mee."
• Het projecteert het model dan op alleen die belangrijke delen. Daarna "leert" het kleine model van het oude, grote model (dit heet zelf-distillatie), zodat het niet vergeet wat het wist.
• Het resultaat: Je krijgt een veel kleiner, sneller model dat net zo goed presteert als het grote, maar veel minder energie verbruikt. Het is alsof je een vrachtwagen vervangt door een sportauto, maar met dezelfde lading diamanten.

---

Waarom is dit belangrijk?

1. Betrouwbaarheid: We kunnen nu eerder zien als een AI begint te liegen of in de war raakt. Dit bouwt vertrouwen op.
2. Efficiëntie: We kunnen slimme AI-apps op kleinere telefoons of goedkopere servers draaien, omdat we de "dode gewicht" uit het model halen.
3. Eén taal voor twee problemen: Het mooie aan dit proefschrift is dat dezelfde wiskundige techniek (het kijken naar de trillingen van de data) zowel helpt om fouten te vinden als om het systeem sneller te maken.

Kortom: Davide Ettori heeft een nieuwe manier gevonden om naar het "brein" van AI te kijken. In plaats van alleen naar de antwoorden te kijken, kijkt hij naar de trillingen erachter. Zo kan hij zeggen: "Hé, dit klinkt als chaos, pas op!" en "Hé, dit deel is overbodig, we kunnen het weggooien!" – alles zonder de AI zelf kapot te maken.

Technische samenvatting

1. Probleemstelling

Het proefschrift adresseert twee fundamentele uitdagingen in de ontwikkeling van grote taalmodellen (LLM's) en vision-language modellen (VLM's):

• Betrouwbaarheid: Modellen vertonen vaak hallucinaties (het genereren van feitelijke onjuistheden) en presteren slecht bij distributieveranderingen (Out-of-Distribution of OOD). Bestaande detectiemethoden (zwarte doos, grijze doos, witte doos) zijn vaak gebaseerd op output-probabiliteiten of statische onzekerheid, wat late signalen geeft of de interne dynamiek mist.
• Efficiëntie: De enorme reken- en energie-eisen van grote modellen belemmeren schaalbare implementatie. Bestaande compressietechnieken (distillatie, pruning, quantisatie) zijn vaak heuristisch en kunnen de nauwkeurigheid ten koste gaan.

De kernhypothese is dat een unificerende aanpak mogelijk is via Spectrale Meetkunde en Random Matrix Theory (RMT). De auteur stelt dat de eigenwaarde-spectra van interne activaties onderscheid kunnen maken tussen gestructureerde informatie (signaal) en ruis, wat zowel voor diagnose (betrouwbaarheid) als compressie (efficiëntie) gebruikt kan worden.

2. Methodologie

Het onderzoek introduceert twee hoofdmethodologieën die beide gebaseerd zijn op RMT, specifiek de Marchenko-Pastur (MP) wet en het gespierde covariantiemodel (spiked covariance model).

A. EigenTrack: Betrouwbaarheidsmonitoring

EigenTrack is een niet-invasieve, real-time monitor die wordt aangesloten op een voorgeïntegreerd model.

• Principe: Het model hypothesiseert dat feitelijke, in-distribution redenering resulteert in gestructureerde representaties met een klein aantal dominante eigenrichtingen (spikes), terwijl hallucinaties en OOD-drift de spectrale verdeling naar ruis-achtig gedrag (MP-bulk) verschuiven.
• Implementatie:
  • Het verzamelt interne activaties uit een subset van lagen tijdens de generatie.
  • Deze worden in een glijdend venster samengevoegd tot een covariantiematrix.
  • Via Singular Value Decomposition (SVD) worden spectrale beschrijvers berekend: spectrale entropie, massa van de leidende eigenwaarden, eigengaps en divergentie (KL-divergentie/Wasserstein-afstand) ten opzichte van de MP-basislijn.
  • Een lichtgewicht recurrente classifier (RNN/GRU/LSTM) analyseert de tijdsreeks van deze beschrijvers om een risico-score per stap te genereren.
• Voordeel: Het vereist geen toegang tot gradiënten of trainingdata en kan hallucinaties detecteren voordat ze volledig in de tekst zijn gegenereerd.

B. RMT-KD: Compressie Framework

RMT-KD is een compressietechniek die redundantie verwijdert door alleen de causale richtingen te behouden.

• Principe: Het spectrum van activaties bestaat uit een "ruis-bulk" (voorspeld door de MP-wet) en "uitbijters" (outliers) die de taak-relevante structuur vertegenwoordigen.
• Implementatie:
  1. Spectrale Analyse: De bovenrand van de MP-bulk ($\lambda_+$) wordt geschat om de ruisvariatie te bepalen.
  2. Projectie: Lagen worden geprojecteerd op de deelruimte van de eigenvectoren die corresponderen met eigenwaarden boven $\lambda_+$. Dit verkleint de breedte van de laag terwijl de informatieve richtingen behouden blijven.
  3. Zelf-Distillatie: Na elke projectie wordt het gereduceerde model (student) gefinetuned om de logits van het oorspronkelijke model (leraar) na te bootsen, wat catastrofale vergeten voorkomt.
  4. Dit proces is iteratief en modulaire toepasbaar op Transformers en CNN's.

3. Belangrijkste Resultaten

EigenTrack (Betrouwbaarheid)

• Detectie: Toont consistente hoge AUROC-waarden voor hallucinatie- en OOD-detectie over verschillende modelarchitecturen (LLaMa, Qwen, Mistral, LLaVa).
• Schaalbaarheid: Prestaties verbeteren met de grootte van het model, wat suggereert dat grotere modellen rijkere spectrale signatuur hebben.
• Vroege Waarschuwing: Hallucinaties manifesteren zich als een geleidelijke spectrale drift (toename van entropie, afname van eigengaps) in plaats van een plotselinge anomalie. Dit maakt vroege ingreep mogelijk.
• Efficiëntie: De overhead is minimaal omdat slechts een subset van lagen wordt bemonsterd en de recurrente kop slechts enkele duizenden parameters toevoegt.

RMT-KD (Efficiëntie)

• Compressie: Bereikt aanzienlijke parameterreductie zonder nauwkeurigheidsverlies, en in sommige gevallen zelfs verbetering (reguleringseffect).
  • BERT-base: ~80% reductie met +1.8% nauwkeurigheidswinst.
  • ResNet-50: ~48% reductie met minimale verliezen.
• Hardware-voordelen: In tegenstelling tot pruning (die sparse kernels vereist), behoudt RMT-KD dichte matrices, wat compatibel is met standaard GPU-kernen. Dit resulteert in hogere doorvoersnelheid (tot 3x), lager stroomverbruik en kleiner geheugengebruik.
• Vergelijking: Presteert beter dan bestaande distillatie-methoden (zoals DistilBERT, PKD) in termen van compressie-ratio bij gelijke of betere nauwkeurigheid.

4. Bijdragen en Significantie

Deze thesis levert drie cruciale bijdragen aan het veld van Deep Learning:

1. Unificatie van Betrouwbaarheid en Efficiëntie: Het toont aan dat RMT een gemeenschappelijke taal biedt voor zowel het diagnosticeren van fouten als het optimaliseren van modelgrootte. Beide problemen worden opgelost door het onderscheid tussen signaal (spikes) en ruis (bulk) in de spectrale geometrie.
2. Interpreteerbaarheid en Vroege Detectie: EigenTrack biedt een nieuwe, interpreteerbare methode om hallucinaties te detecteren op basis van interne dynamiek in plaats van output, wat vertrouwen in AI-systemen kan vergroten.
3. Principiële Compressie: RMT-KD vervangt heuristische pruning door een wiskundig onderbouwde projectie op de informatieve deelruimte. Dit biedt een schaalbare, hardware-vriendelijke alternatief voor bestaande compressietechnieken.

Conclusie:
Het werk van Ettori bewijst dat spectrale statistieken niet slechts theoretische concepten zijn, maar praktische, meetbare instrumenten die de betrouwbaarheid en efficiëntie van grote modellen fundamenteel kunnen verbeteren. De methoden zijn lichtgewicht, niet-invasief en toepasbaar op bestaande modellen, wat ze zeer relevant maakt voor toekomstige implementaties van veilige en schaalbare AI-systemen.