Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory

Diese Dissertation nutzt Random Matrix Theory und spektrale Geometrie, um mit den Methoden EigenTrack und RMT-KD sowohl die Zuverlässigkeit von Large Language Models durch Echtzeit-Halluzinationsdetektion als auch deren Effizienz durch spektral gesteuerte Komprimierung zu verbessern.

Das Wesentliche

Stellen Sie sich vor, große KI-Modelle (wie Chatbots oder Bilderkennungs-Systeme) sind riesige, hochkomplexe Orchester, die Musik spielen. Die Arbeit von Davide untersucht zwei Hauptprobleme:

1. Zuverlässigkeit: Manchmal spielt das Orchester Unsinn (Halluzinationen) oder gerät in Panik, wenn es eine unbekannte Melodie hört.
2. Effizienz: Das Orchester ist so riesig, dass es extrem teuer ist, es zu unterhalten (Rechenleistung, Strom, Zeit).

Davide nutzt eine mathematische Brille namens Random Matrix Theory (Zufallsmatrix-Theorie), die wie ein Spektralanalysator funktioniert. Statt sich den Text oder das Bild anzuhören, schaut er auf die innere Struktur der Musiknoten, die das Orchester im Kopf hat.

Hier sind die beiden großen Ideen der Arbeit, einfach erklärt:

1. EigenTrack: Der "Frühwarn-Alarm" für KI-Fehler

Das Problem:
Wenn eine KI eine Lüge erfindet (halluziniert) oder etwas völlig Neues sieht, das sie nicht kennt, passiert das oft schleichend. Der Text sieht am Anfang noch okay aus, aber dann dreht sich alles ins Falsche. Herkömmliche Methoden schauen erst auf das Ende des Satzes, um zu sehen, ob es falsch war. Das ist wie ein Lehrer, der erst nach der Klausur korrigiert – zu spät!

Die Lösung (EigenTrack):
Davide hat einen kleinen, schlauen Wachhund entwickelt, der dem Orchester auf die Finger schaut, während es spielt.

• Wie es funktioniert: Er misst nicht den Text, sondern die "Schwingungen" im Gehirn der KI.
  • Wenn die KI faktisch korrekt und sicher ist, sind diese Schwingungen geordnet und strukturiert (wie eine klare Melodie mit wenigen starken Instrumenten).
  • Wenn die KI lügt oder verwirrt ist, werden die Schwingungen chaotisch und verrauscht (wie ein statisches Rauschen im Radio).
• Der Clou: Der Wachhund erkennt dieses "Rauschen" sofort, noch bevor die KI den ersten falschen Satz schreibt. Er gibt ein Warnsignal ab, damit man eingreifen kann.
• Vorteil: Er muss das Orchester nicht umbauen. Er ist nur ein kleiner Aufsatz, der im Hintergrund läuft und sehr wenig Energie verbraucht.

2. RMT-KD: Der "Mülltrenner" für KI-Modelle

Das Problem:
Große KI-Modelle sind oft überdimensioniert. Sie haben tausende von "Gedankenwegen", von denen die meisten nur Lärm (zufälliges Rauschen) sind und nicht wirklich wichtig für die Aufgabe. Das ist wie ein riesiges Lagerhaus, das zu 80 % mit leeren Kartons gefüllt ist. Das kostet Platz und Strom, bringt aber keinen Nutzen.

Die Lösung (RMT-KD):
Davide nutzt den gleichen Spektralanalysator, um das Orchester zu verkleinern, ohne die Musik schlechter zu machen.

• Wie es funktioniert:
  1. Er analysiert die Schwingungen und trennt das wichtige Signal (die echten Melodien) vom Lärm (dem Rauschen).
  2. Er schneidet alles weg, was nur Lärm ist (die "Müll-Kartons").
  3. Das verkleinerte Orchester wird dann kurz "nachgeschult" (Selbstdistillation), damit es sich an die neue, kleinere Besetzung gewöhnt und die alten Fähigkeiten behält.
• Das Ergebnis: Das KI-Modell wird um bis zu 80 % kleiner, braucht viel weniger Strom und ist schneller, aber es macht genau so gute Arbeit (oder sogar bessere!), weil der störende Lärm weg ist.
• Vorteil: Im Gegensatz zu anderen Methoden, die das Modell "zerstücken" und unbrauchbar für normale Computer machen, bleibt dieses verkleinerte Modell kompakt und läuft auf ganz normalen Grafikkarten.

Zusammenfassung in einem Satz

Diese Doktorarbeit zeigt, dass man KI nicht nur durch "mehr Daten" verbessern kann, sondern indem man ihr hört, wie sie denkt. Mit einer mathematischen Brille kann man Fehler vorhersehen, bevor sie passieren, und überflüssigen Ballast entfernen, um die KI schneller und günstiger zu machen.

Es ist, als würde man einem riesigen, nervösen Orchester ein Metronom geben, das sofort sagt: "Achtung, ihr geratet ins Chaos!" und gleichzeitig die doppelten Geigen wegnimmt, weil sie ohnehin nur gestimmt haben.

Technische Zusammenfassung

Technische Zusammenfassung: Struktur und Redundanz in Large Language Models – Eine spektrale Studie mittels Random Matrix Theory

Autor: Davide Ettori
Betreuer: Prof. Marco Brambilla, Prof. Amit Ranjan Trivedi
Titel: Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory

---

1. Problemstellung und Motivation

Die Arbeit adressiert zwei zentrale, miteinander verbundene Herausforderungen im Bereich der Deep Learning-Modelle (insbesondere Large Language Models, LLMs, und Vision-Language Models, VLMs):

1. Zuverlässigkeit (Reliability): Modelle neigen zu Halluzinationen (faktisch falsche Aussagen) und versagen bei Out-of-Distribution (OOD) Eingaben. Herkömmliche Methoden zur Erkennung (z. B. basierend auf Ausgabe-Wahrscheinlichkeiten oder statischer Unsicherheit) erfassen oft nicht die zugrundeliegenden Fehlermechanismen, die sich in der Dynamik der internen Repräsentationen zeigen.
2. Effizienz (Efficiency): Der enorme Ressourcenbedarf großer Modelle limitiert deren Einsatz. Herkömmliche Kompressionsmethoden (Distillation, Pruning, Quantisierung) sind oft heuristisch und trennen die Analyse der Modellstruktur nicht von der Optimierung.

Kernthese: Die Arbeit argumentiert, dass spektrale Geometrie und die Random Matrix Theory (RMT) einen einheitlichen Rahmen bieten, um sowohl Zuverlässigkeitsprobleme zu diagnostizieren als auch Modelle effizient zu komprimieren. Die Eigenwert-Spektren der Aktivierungsmatrizen trennen strukturierte, informationsreiche Signale von Rauschen.

---

2. Theoretischer Hintergrund: Random Matrix Theory (RMT)

Die Methodik stützt sich auf etablierte Konzepte der RMT:

• Marchenko-Pastur (MP) Gesetz: Beschreibt die asymptotische Verteilung der Eigenwerte von Kovarianzmatrizen mit rein zufälligen (rauschhaften) Einträgen. Dieser "Bulk" (Massenkörper) dient als Referenz für Rauschen.
• Spiked Covariance Model: Reale neuronale Netzaktivitäten werden als eine Mischung aus isotropem Rauschen (MP-Bulk) und einem niedrigdimensionalen Signal modelliert.
• BBP-Transition (Baik-Ben Arous-Péché): Wenn ein Signal (ein "Spike") eine bestimmte Schwelle überschreitet, löst sich der entsprechende Eigenwert vom MP-Bulk ab und wird zum Ausreißer (Outlier).
  • Interpretation: Ausreißer-Eigenwerte repräsentieren strukturierte, aufgabenrelevante Richtungen. Der Bulk repräsentiert Rauschen.

---

3. Methodik und Hauptbeiträge

Die Arbeit präsentiert zwei Hauptbeiträge, die beide auf der Analyse der Eigenwert-Spektren basieren:

A. EigenTrack: Echtzeit-Monitoring für Zuverlässigkeit

• Ziel: Früherkennung von Halluzinationen und OOD-Verhalten ohne Modifikation des Basismodells.
• Funktionsweise:
  • EigenTrack überwacht die Evolution der Geometrie der versteckten Aktivierungen während der Generierung.
  • Es extrahiert spektrale Deskriptoren aus einem gleitenden Fenster der Aktivierungen (mittels SVD):
    • Spektrale Entropie (Dispersion).
    • Masse der führenden Eigenwerte (Konzentration).
    • Eigenwert-Lücken (Eigengaps).
    • Divergenz (KL-Divergenz, Wasserstein-Distanz) vom MP-Baseline.
  • Hypothese: Faktisches, in-distribution Reasoning führt zu strukturierten Repräsentationen (klare Ausreißer, niedrige Entropie). Halluzinationen oder OOD-Drift führen zu einem Spektrum, das sich dem Rausch-Verhalten (MP-Bulk) annähert (höhere Entropie, schwindende Eigenwert-Lücken).
  • Architektur: Ein leichter rekurrenter Kopf (RNN/GRU/LSTM) analysiert die Zeitreihe dieser Deskriptoren, um ein Risikoscore pro Schritt zu berechnen.
• Vorteile: Nicht-invasiv (kein Zugriff auf Gradienten oder Trainingsdaten), geringe Latenz, funktioniert post-hoc.

B. RMT-KD: Kompressionsframework mittels Spektralprojektion

• Ziel: Reduktion der Modellgröße (Parameter) unter Beibehaltung der Genauigkeit durch gezieltes Entfernen redundanter Richtungen.
• Funktionsweise (Iterativer Prozess):
  1. Spektrale Analyse: Analyse der Aktivierungskovarianz einer Schicht auf einem Kalibrierungsdatensatz.
  2. Schätzung der MP-Grenze: Bestimmung der oberen Grenze ($\lambda_+$) des Rausch-Bulks.
  3. Projektion: Projektion der Aktivierungen auf den Unterraum der Ausreißer-Eigenvektoren (Signale > $\lambda_+$). Dies reduziert die Schichtbreite, behält aber die kausalen Richtungen bei.
  4. Self-Distillation: Das reduzierte Modell (Student) wird mittels Self-Distillation gegen das vorherige, größere Modell (Lehrer) feinabgestimmt, um katastrophales Vergessen zu verhindern.
• Besonderheit: Die resultierenden Modelle bleiben dicht (dense), was sie hardwarefreundlich macht (keine speziellen Sparse-Kernels nötig).

---

4. Experimentelle Ergebnisse

EigenTrack Ergebnisse:

• Daten: Evaluiert auf Open-Source-Modellen (LLaMa, Qwen, Mistral, LLaVa) mit HotPotQA (Halluzinationen) und WebQuestions vs. EurLex (OOD).
• Performance:
  • Konsistent hohe AUROC-Werte für Halluzinations- und OOD-Erkennung.
  • GRU-basierte Köpfe performten besser als RNNs oder LSTMs.
  • Die Leistung verbessert sich mit der Modellgröße (reichere spektrale Signaturen).
  • Vergleich: EigenTrack übertrifft State-of-the-Art-Methoden wie SelfCheckGPT, INSIDE und HaloScope (z. B. bei LLaMa 7B: EigenTrack 0.894 AUROC vs. 0.809 bei SelfCheckGPT).
• Zeitliche Dynamik: Die Analyse zeigt, dass Halluzinationen als allmähliche spektrale Drift erkannt werden können, oft bevor sie im Textoutput sichtbar werden.

RMT-KD Ergebnisse:

• Daten: Evaluiert auf BERT-base/tiny (GLUE-Tasks: SST, QQP, QNLI) und ResNet-50 (CIFAR-10).
• Kompression vs. Genauigkeit:
  • BERT-base: ~81% Parameterreduktion mit einer leichten Genauigkeitssteigerung (+1.8%).
  • BERT-tiny: ~59% Reduktion mit +1.4% Genauigkeit.
  • ResNet-50: ~48% Reduktion mit +0.7% Genauigkeit.
• Systemleistung: Deutliche Steigerung des Durchsatzes (bis zu 3-fach), reduzierter Energieverbrauch und geringerer Speicherbedarf.
• Vergleich: RMT-KD übertrifft etablierte Distillationsmethoden (DistilBERT, PKD, AT) in Bezug auf das Kompressionsverhältnis bei gleicher oder besserer Genauigkeit.

---

5. Bedeutung und Fazit

Diese Arbeit demonstriert, dass die spektrale Geometrie eine gemeinsame Sprache für die Diagnose von Fehlern und die Optimierung von Modellen darstellt.

• Einheitlicher Ansatz: Statt Zuverlässigkeit und Effizienz als getrennte Probleme zu betrachten, nutzt die Arbeit die gleichen RMT-Prinzipien (Trennung von Signal und Rausch-Bulk) für beide Ziele.
• Interpretierbarkeit: Die spektralen Deskriptoren bieten physikalisch interpretierbare Signale über den Zustand des Modells (z. B. "driftet das Modell ins Rauschen?").
• Praktische Relevanz:
  • EigenTrack ermöglicht Echtzeit-Überwachung und frühes Eingreifen in Produktionsumgebungen.
  • RMT-KD bietet einen prinzipiellen, nicht-heuristischen Weg zur Kompression, der hardwarefreundlich ist und keine Genauigkeit opfert.

Zukünftige Arbeiten: Die Skalierung auf größere multimodale Modelle, die Integration von RMT-Analysen in Attention-Matrizen und die Entwicklung approximierter Eigenwert-Löser für noch größere Schichten werden als nächste Schritte identifiziert.