🤖 machine learning

Massive Spikes in LLMs are Bias Vectors: Mechanistic Uncovering and Spike-Free Quantization

Diese Arbeit zeigt auf, dass massive Aktivierungsspitzen in Large Language Models strukturelle Vektor-Biases statt einfacher skalarer Anomalien sind, und nutzt diese mechanistische Erkenntnis, um INSERTQUANT vorzuschlagen, ein Post-Training-Quantisierungs-Framework, das diese Spitzen unter Verwendung von Template-Vektoren eliminiert, um eine robuste, hochgetreue Low-Bit-Quantisierung über Text- und Vision-Modalitäten hinweg zu ermöglichen.

Ursprüngliche Autoren: Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „laute Nachbar“ in der Bibliothek

Stellen Sie sich ein Large Language Model (LLM) wie eine riesige, Hochgeschwindigkeitsbibliothek vor, in der Bücher (Tokens) ständig gelesen und verarbeitet werden. Um diese Bibliothek schneller laufen zu lassen und weniger Strom zu verbrauchen, wollen Ingenieure die Bücher auf winzige, effiziente Größen schrumpfen (ein Prozess, der Quantisierung genannt wird).

Es gibt jedoch ein Problem. In jeder Bibliothek gibt es ein paar ganz bestimmte „Laute Nachbarn“ (spezielle Tokens wie Zeilenumbrüche oder spezielle Startsymbole), die so laut schreien, dass sie alle anderen übertönen. In der Mathematik der KI sind diese Schreie Massive Spikes – Zahlen, die tausendmal größer sind als normal.

Da diese Spikes so gewaltig sind, muss die Bibliothek ein riesiges, teures Speichersystem bauen, nur um sie unterzubringen. Das ruiniert die Effizienz. Wenn man versucht, die Bücher zu schrumpfen (zu quantisieren), ohne das Rauschen zu beheben, bricht die Bibliothek in Kauderwelsch zusammen.

Die alte Theorie vs. Die neue Entdeckung

Die alte Theorie: Wissenschaftler dachten früher, diese „Lauten Nachbarn“ seien nur zufällige Fehler oder einfache „Lautstärkeregler“ (skalare Biases), die die KI versehentlich hochgedreht hat.

Die neue Entdeckung (Die Bias-Vektor-Hypothese): Die Autoren dieser Arbeit argumentieren, dass diese Spikes keine Unfälle sind. Sie sind tatsächlich starre, strukturelle Säulen, die fest in das Design der KI eingebaut sind.

Die Analogie: Stellen Sie sich ein Theaterstück vor. Die meisten Schauspieler (semantische Tokens) bewegen sich, wechseln die Kostüme und sagen verschiedene Zeilen, um eine Geschichte zu erzählen. Aber es gibt einen ganz bestimmten Schauspieler (den „Sink Token“), der vollkommen still in der Mitte der Bühne steht, exakt dieselbe Maske trägt, denselben Satz sagt und sich niemals bewegt, egal worum es in dem Stück geht.
Das Paper beweist, dass dieser „stille Schauspieler“ nicht zufällig ist. Er ist ein fixierter Vektor (eine spezifische Richtung im mathematischen Raum), den die KI benötigt, um korrekt zu funktionieren. Er fungiert als „Nichts-tun“-Button, der der KI hilft, Ablenkungen zu ignorieren und fokussiert zu bleiben.

Wie die KI diesen „Stillen Schauspieler“ nutzt

Das Paper untersucht die Mechanik dahinter und enthüllt einen dreistufigen Tanz:

Der Attraktor (Der Magnet): Die „Key“- und „Query“-Mechanismen der KI wirken wie Magnete. Sie ziehen alle anderen Schauspieler zu diesem „Stillen Schauspieler“. Dies erzeugt einen Attention Sink, bei dem die KI ihre Aufmerksamkeit auf diesen einen Punkt lenkt, um die Mathematik stabil zu halten.
Die Stille Leere (Der Abfluss): Obwohl alle auf den „Stillen Schauspieler“ schauen, wirkt der „Value“-Mechanismus der KI wie ein schwarzes Loch. Er nimmt die Nachricht des „Stillen Schauspielers“ auf und verwandelt sie in Null. Dies stellt sicher, dass die KI zwar an dieser Stelle für Stabilität sorgt, aber die Geschichte dadurch nicht verändert. Es ist ein „No-Op“ (keine Operation).
Der Schild (Die Sicherheitszone): Die KI weiß, dass sich die „Bühne“ (die Eingabesequenz) ständig dreht und verändert. Um zu verhindern, dass dieser „Stille Schauspieler“ wackelt, versteckt die KI ihn in einer Sicherheitszone (niederfrequenten Kanälen), in der die Rotation ihn nicht beeinflusst. Es ist, als würde man eine Festung um die Säule bauen, damit der Wind sie nicht umwerfen kann.

Die Lösung: INSERTQUANT

Da die Autoren nun wissen, dass diese „Lauten Nachbarn“ eigentlich nur statische, vorprogrammierte Säulen und kein zufälliges Rauschen sind, haben sie ein neues Werkzeug namens INSERTQUANT entwickelt.

So funktioniert es, unter Verwendung einer „Austausch“-Analogie:

Die Säule identifizieren: Das System scannt die Bibliothek und findet die „Lauten Nachbarn“-Tokens.
Das Rauschen verstummen lassen (Clamping): Anstatt diese Tokens schreien zu lassen und den gesamten Speicherplatz zu beanspruchen, wird das System sie einfach stumm schalten (auf Null begrenzen/clamping), bevor sie den Hauptverarbeitungsraum betreten. Dies entfernt die „Spikes“ sofort und macht die Daten leicht schrumpfbar (quantisierbar).
Den Bauplan einsetzen (Insert): Da die KI diesen „Stillen Schauspieler“ jedoch zum Funktionieren braucht, löscht das System ihn nicht einfach. Stattdessen fügt es einen vorgefertigten Bauplan ein (einen Template-Vektor) genau dort ein, wo der Schauspieler sein sollte.
- Analogie: Stellen Sie sich vor, Sie drehen einen Film. Anstatt einen echten Schauspieler für 10 Stunden einzustellen (was teuer und schwer zu managen ist), kleben Sie einfach eine Pappfigur dieses Schauspielers an das Set. Die Kamera sieht den Schauspieler, das Licht funktioniert, aber Sie haben viel Geld und Aufwand gespart.

Die Ergebnisse

Durch die Nutzung dieser „Cutout“-Methode (INSERTQUANT):

Keine Spikes mehr: Die Daten werden perfekt glatt, was es ermöglicht, die KI auf sehr kleine Größen (4-Bit-Quantisierung) zu schrumpfen, ohne an Intelligenz zu verlieren.
Funktioniert überall: Frühere Methoden funktionierten nur für Text (da sie auf spezifische Wörter wie „Newline“ angewiesen waren). Diese neue Methode arbeitet auf der Struktur der Daten und funktioniert daher auch für Vision Transformer (ViTs) (KI, die Bilder betrachtet), nicht nur für Text.
Hohe Treue (Fidelity): Die KI performt genauso gut wie die ursprüngliche, ungeschrumpfte Version, selbst wenn die „Pappfiguren“ im Einsatz sind.

Zusammenfassung

Das Paper sagt: „Behandeln Sie diese massiven Spikes nicht als Fehler. Sie sind tatsächlich starre, strukturelle Werkzeuge, die die KI nutzt, um stabil zu bleiben. Wenn wir erkennen, dass es sich um feste Werkzeuge handelt, können wir die verrauschten Teile der Berechnung entfernen und durch vorgefertigte Vorlagen ersetieren. Dies erlaubt es uns, die KI auf winzige Größen zu schrumpfen, ohne sie zu beschädigen.“

Technisches Resümee: Massive Spikes in LLMs sind Bias-Vektoren

Problemstellung

Große Sprachmodelle (LLMs) stehen unter erheblichen Rechen- und Speicherbeschränkungen, die eine effiziente Quantisierung erforderlich machen. Die Effektivität der Aktivierungsquantisierung wird jedoch durch Massive Spikes massiv behindert: extreme Aktivierungswerte, die auf spezifische Kanäle und spezifische Token-Semantiken (oft semantisch „arme“ „Sink“-Token) lokalisiert sind. Diese Spikes sind um Größenordnungen größer als typische Werte, dehnen den Dynamikbereich aus und verursachen katastrophale Quantisierungsfehler, insbesondere bei statischen Per-Tensor-Verfahren.

Obwohl vorangegangene Arbeiten diese Spikes als hochgradige skalare Biases oder „Outlier“ charakterisiert haben (Sun et al., 2024; An et al., 2025), behandeln bestehende Minderungsstrategien sie oft als numerische Aberrationen oder verlassen sich auf Heuristiken, die auf diskrete Textmodalitäten beschränkt sind (z. B. das Voranstellen spezifischer Token). Die grundlegende geometrische Mechanik dieser Spikes und ihre Rolle im Modellverhalten sind bisher unzureichend erforscht, was die Entwicklung verallgemeinerbarer, robuster Quantisierungsframeworks einschränkt.

Methodik: Die Bias-Vektor-Hypothese

Diese Arbeit vertieft das Verständnis von massiven Spikes durch den Vorschlag der Bias-Vektor-Hypothese. Die Autoren argumentieren, dass Spikes nicht bloß skalare Biases sind, sondern die skalaren Zwischenstufen von starren, strukturellen Vektor-Biases, die in der Architektur des Modells inhärent sind.

1. Geometrische Charakterisierung

Durch mechanistische Analyse stellt das Paper fest, dass nach der RMSNorm die Spike-tragenden Token (Sink-Token) zu konstanten, starren Vektoren ( $\hat{x}_{sink} \to b$ ) konvergieren, die eine vernachligbare Varianz über Proben hinweg aufweisen und sich deutlich von den hochvarianten semantischen Token unterscheiden.

Attention Sink Mechanismus: Die Projektionsgewichte ( $W^K$ und $W^Q$ ) interagieren so, dass dieser Bias-Vektor isoliert wird. $W^K$ fungiert als kontrastiver Verstärker, der den Sink-Key von den semantischen Keys trennt, während $W^Q$ alle semantischen Queries auf diesen isolierten Sink-Key ausrichtet und so einen globalen Attraktor schafft.
Value-State Drain: Die Value-Projektionsmatrix ( $W^V$ ) projiziert den Bias-Vektor in den spektralen Nullraum. Infolgedessen ist der resultierende Value-Vektor nahezu Null ( $v_{sink} \approx 0$ ), was sicherstellt, dass der Sink-Token keine semantische Aktualisierung des Residual-Streams beiträgt und somit effektiv eine „No-Op“-Operation ermöglicht.
Rotationale Stabilität: Das Modell bewahrt diese starren Strukturen aktiv gegen Störungen durch Rotary Positional Embeddings (RoPE). Dies wird durch die Lokalisierung des Bias in „Zonen der Rotationsstabilität“ erreicht: Speziell durch die Nutzung von Niederfrequenz-Bändern (hohe Kanalindizes, in denen die Rotationswinkel abfallen) und kohärenten Kanalpaaren (Indizes $i$ und $i + d/2$ ), um die Magnitudenrobustheit trotz Rotation aufrechtzuerhalten.

2. Das INSERTQUANT-Framework

Unter Ausnutzung der Erkenntnis, dass Sink-Token als statische strukturelle Biases und nicht als dynamische semantische Inhalte fungieren, schlagen die Autoren INSERTQUANT vor, ein Post-Training Quantization (PTQ) Framework.

Clamp (Klemmen): Sink-Token werden während einer leichtgewichtigen Kalibrierungsphase identifiziert und vor dem Eintritt in die Matrixmultiplikationen chirurgisch auf Null gesetzt (geclamped). Dies eliminiert die massiven Spikes aus dem Aktivierungsstrom und macht die verbleibenden Aktivierungen strikt spike-frei und quantisierungsfreundlich.
Insert (Einfügen): Um die funktionale Rolle der geklemmten Token zu bewahren, wird die Funktion der Sink-Token in nachfolgenden Schichten wiederhergestellt, indem vorberechnete Template-Vektoren (Mittelwert-K- und V-Vektoren aus der Kalibrierung) direkt in die Attention-Mechanismen injiziert werden.
Generalisierung: Im Gegensatz zu Prefix-basierten Methoden, die sich auf spezifische Token-Identitäten verlassen (z. B. <BOS>), operiert INSERTQUANT im Embedding-Raum, was es ermöglicht, auf Modalitäten ohne diskrete Token-Definitionen, wie etwa Vision Transformer (ViTs), zu generalisieren.

Kernbeiträge

Bias-Vektor-Hypothese: Das Paper etabliert, dass massive Spikes die skalaren Zwischenstufen starrer Bias-Vektoren sind. Es zeigt auf, dass während die Spike-Magnituden fluktuieren, ihre normierte Richtung invariant bleibt und somit als strukturelle Modellkomponente dient.
Mechanistische Analyse: Die Autoren liefern eine quantitative geometrische Analyse, die zeigt, wie Bias-Vektoren Attention Sinks und Value-State Drains steuern. Sie detaillieren die Interaktion mit den Projektionsgewichten ( $W^K, W^Q, W^V$ ) und identifizieren die Lokalisierung dieser Vektoren in Rotationsstabilitätszonen (Niederfrequenz-Bänder und kohärente Paare) als Beleg für die aktive strukturelle Erhaltung.
INSERTQUANT Framework: Die Arbeit führt das erste PTQ-Framework ein, das die systematische Natur von Spikes ausnutzt. Durch die Entkopplung von strukturellen Biases von Content-Tokens erreicht es eine hochpräzise Low-Bit-Quantisierung sowohl für LLMs als auch für ViTs, ohne ein Fine-Tuning zu erfordern.

Experimentelle Ergebnisse

Die Autoren evaluieren INSERTQUANT auf mehreren LLMs (LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3) und Vision Transformern (CLIP ViT-L, DINOv2 ViT-L/B).

Sprachmodelle: In 4-Bit Weight/Activation/KV-Cache statischen Settings ($W4A4sKV4$) erreicht INSERTQUANT eine Leistungsparität mit State-of-the-Art-Methoden wie PrefixQuant. Beispielsweise erreicht es bei LLaMA-2-7B eine Common-Sense Reasoning (CSR) Genauigkeit von 60,26 % und eine WikiText-2 Perplexität von 6,31, was eng an den Baseline-Werten von PrefixQuant (60,17 % / 6,21) liegt und RTN sowie rotationsbasierte Baselines signifikant übertrifft.
Vision Transformer: INSERTQUANT generalisiert erfolgreich auf ViTs. In der $W8A8sKV8$ Einstellung, während die RTN-Baseline auf DINOv2 ViT-B auf 6,00 % Genauigkeit kollabiert, bewahrt INSERTQUANT eine Genauigkeit von 74,10 %.
System-Overhead: Das Framework führt einen vernachlässigbaren Latenz-Overhead (4,69 %) und einen minimalen Speicher-Overhead (Steigerung um 0,007 % für ein 13,5 GB großes Modell) aufgrund der geringen Größe der gespeicherten Template-Vektoren ein.

Bedeutung und Ansprüche

Das Paper behauptet, dass effektive Quantisierung ein mechanistisches Verständnis erfordert, wie LLMs Spikes nutzen, um „No-Op“-Operationen zu ermöglichen. Durch die Umformulierung massiver Spikes von numerischen Ausreißern hin zu strukturellen Vektor-Merkmalen demonstrieren die Autoren, dass diese Artefakte chirurgisch entfernt und funktional wiederhergestellt werden können.

Die Bedeutung dieser Arbeit liegt in:

Vertiefung des Modellverständnisses: Sie offenbart die starre, deterministische Natur von Attention Sinks und deren geometrische Koordination mit RoPE, womit sie über rein skalare Interpretationen hinausgeht.
Vereinheitlichte Quantisierungslösung: Sie etabliert ein Framework, das über Textmodalitäten hinausgeht und eine robuste Lösung für die Quantisierung diverser Architekturen (LLMs und ViTs) bietet, ohne auf heuristischen Token-Identitäten zu basieren.
Hardware-Effizienz: Durch die Ermöglichung eines strikt spike-freien Aktivierungsraums ermöglicht INSERTQUANT eine robuste Low-Bit-Inferenz (z. B. 4-Bit), die mit statischen Per-Tensor-Quantisierungsschemata zuvor nicht erreichbar war.

Die Autoren bleiben hinsichtlich theoretischer Garantien bescheiden und merken an, dass sie zwar eine mechanistische Interpretation und empirische Belege liefern, jedoch keinen theoretischen Beweis dafür erbringen, warum der Trainingsprozess inhärent zu dieser spezifischen geometrischen Lösung konvergiert. Sie räumen zudem ein, dass ihre Methode für Modelle, die mit architektonischen Modifikationen zur nativen Unterdrückung dieser Spikes vortrainiert wurden, nicht notwendig ist.