🤖 machine learning

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

InfoQuant ist eine trainingsfreie Post-Training-Quantisierungsmethode, die Peak Suppression Orthogonal Transformation (PSOT) und eine adaptive Auswahl von Ausreißer-Token einsetzt, um Aktivierungsverteilungen in eine kompakte, gut verteilte Form umzuwandeln, wodurch der Quantisierungsfehler erheblich reduziert wird und bestehende Low-Bit-LLM-Einsatz-Baselines übertroffen werden.

Ursprüngliche Autoren: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „zu hohe" Kiste

Stellen Sie sich vor, Sie haben einen riesigen, chaotischen Haufen Sand (dies repräsentiert die Daten innerhalb eines Large Language Models, kurz LLM). Sie möchten diesen Sand in eine kleine, ordentliche Kiste packen, um Platz zu sparen und den Transport zu erleichtern (dies ist Quantisierung – das Verkleinern des Modells, damit es schneller läuft und weniger Speicher verbraucht).

Normalerweise ist der Großteil des Sands von einer normalen, handhabbaren Höhe. Doch es gibt ein paar riesige Sandspitzen, die weit in den Himmel ragen (diese werden Ausreißer genannt).

Wegen dieser wenigen riesigen Spitzen sind Sie gezwungen, eine riesige Kiste zu verwenden, um alles unterzubringen. Sobald Sie den Sand in diese riesige Kiste füllen, wird der „normale" Sand am Boden zu einer winzigen, flachen Schicht zusammengedrückt. Wenn Sie später versuchen, den Sand wieder herauszunehmen, können Sie die verschiedenen Schichten normalen Sands nicht mehr unterscheiden, da sie alle an derselben Stelle plattgedrückt wurden. Das Modell verliert seine Fähigkeit, klar zu „denken".

Die alten Lösungen: Die Spitzen flachdrücken

Frühere Methoden versuchten, dies zu beheben, indem sie:

Die Spitzen zertrümmerten: Versuchten, die Spitze der riesigen Sandhaufen abzuschneiden.
Die Spitzen verschoben: Den schweren Sand von einem Ort an einen anderen verlagerten.

Das Problem ist, dass selbst wenn Sie die Spitzen abschneiden, der verbleibende Sand immer noch so verklumpt sein könnte, dass er nicht gut in die kleine Kiste passt. Sie haben vielleicht eine kleinere Kiste, aber der Sand ist immer noch so gehäuft, dass es schwierig ist, zwischen den einzelnen Körnern zu unterscheiden.

Die neue Idee: INFOQUANT

Die Autoren dieses Papiers, INFOQUANT, erkannten, dass das Ziel nicht nur darin besteht, den Sand „kleiner" zu machen. Das Ziel ist es, den Sand so zu gestalten, als wäre er für die Kiste entworfen worden.

Sie stellen eine neue Frage: „Wie sieht ein Sandhaufen aus, der perfekt in eine kleine Kiste passt?"

Ihre Antwort: Er muss kurz sein (damit er in die Kiste passt), aber auch gleichmäßig verteilt (damit Sie jedes Sandkorn sehen können).

Wie INFOQUANT funktioniert (Das 3-Schritte-Rezept)

1. Das „Drehen und Verteilen" (Peak Suppression Orthogonal Transformation)
Stellen Sie sich vor, der Sand befindet sich in einem Kreisel. Die Autoren verwenden einen speziellen mathematischen Trick (eine orthogonale Rotation), um den Sand zu drehen.

Was es bewirkt: Es nimmt diese riesigen Spitzen und verteilt ihre Energie über den gesamten Haufen.
Das Ergebnis: Die riesigen Spitzen verschwinden, und der Sand wird zu einem sanften, breiten Hügel. Entscheidend ist, dass der Hügel nun kürzer ist (passt in die Kiste), aber breiter (der Sand ist so verteilt, dass Sie die Schichten unterscheiden können).

2. Der „kluge Späher" (Adaptive Outlier-Token Selection)
Manchmal hat der Sandhaufen ein paar seltsame, verrauschte Stellen, die wie Spitzen aussehen, aber nicht wirklich wichtig sind. Wenn Sie versuchen, diese zu beheben, könnten Sie die guten Teile verderben.

Was es bewirkt: INFOQUANT hat einen „Späher", der den Sand betrachtet und sagt: „Okay, diese Spitze dort ist echt und gefährlich, lass uns das beheben. Aber dieser kleine Buckel da drüben? Ignorieren wir ihn."
Das Ergebnis: Das Modell konzentriert seine Energie darauf, die echten Probleme zu beheben, was den Prozess robuster macht und weniger anfällig für Verwirrung durch Rauschen.

3. Der „Feinabstimmungs-Clip" (Learnable Activation Clipping)
Nach dem Drehen und Verteilen des Sands führen die Autoren eine letzte Prüfung durch. Sie passen die genaue Größe der Kiste an, um sicherzustellen, dass der Sand perfekt passt, ohne Lücken oder Zerquetschen.

Das Ergebnis: Das Endpaket ist auf die spezifische Größe der Kiste optimiert und stellt sicher, dass keine Information in den Ecken verloren geht.

Warum das wichtig ist

Das Papier testete dies an bekannten KI-Modellen (wie LLaMA-2 und LLaMA-3).

Das Ergebnis: Als sie die Modelle auf 4-Bit verkleinerten (eine sehr kleine Größe, wie das Verkleinern eines 100-seitigen Buches auf eine Postkarte), behielt INFOQUANT 97 % der ursprünglichen Intelligenz.
Der Vergleich: Frühere Methoden verloren bei dieser Verkleinerung viel mehr Intelligenz. INFOQUANT schaffte es, die „Postkarte" lesbar und nützlich zu halten, während andere sie in eine verschwommene Kritzelei verwandelten.

Das Fazit

Stellen Sie sich INFOQUANT als einen Meister-Packer vor. Anstatt nur zu versuchen, einen unordentlichen, spitzen Sandhaufen in eine kleine Kiste zu zwängen (was die Details zerquetscht), formen sie den Haufen zuerst um, damit er natürlich perfekt in die Kiste passt. Sie machen den Haufen kurz genug, um zu passen, aber weit genug verteilt, um alle Details sichtbar zu halten.

Dies ermöglicht es uns, riesige, leistungsfähige KI-Modelle auf kleineren, günstigeren Computern laufen zu lassen, ohne ihre „Gehirnkraft" zu verlieren.

Technische Zusammenfassung: INFOQUANT

Problemstellung

Die Quantisierung von Aktivierungen mit niedriger Bitbreite bleibt ein kritischer Engpass für den effizienten Einsatz von Large Language Models (LLMs). Während Gewichte in LLMs typischerweise flach und gleichmäßig verteilt sind, enthalten Aktivierungen oft eine kleine Anzahl dominanter Koordinaten (Ausreißer), die den Quantisierungsbereich erweitern. Dies zwingt die „Round-to-Nearest"-Quantisierung dazu, viele normale Werte auf dieselben wenigen diskreten Stufen abzubilden, was zu einem erheblichen Informationsverlust führt.

Bestehende Methoden zur Post-Training-Quantisierung (PTQ) versuchen dies durch Unterdrückung von Ausreißern, Channel-Balancing oder Minimierung des Rekonstruktionsfehlers (z. B. MSE) zu mildern. Das Papier argumentiert jedoch, dass diese Ansätze versagen, explizit zu definieren, welche Aktivierungsverteilung tatsächlich „quantisierungsfreundlich" ist. Methoden können zwar sichtbare Spitzen reduzieren oder numerische Fehler senken, ohne jedoch die fundamentale „Diskretisierbarkeit" der Verteilung zu verbessern, was oft dazu führt, dass der Quantisierungsbereich zu breit bleibt oder Werte nahe dem Mittelwert kollabieren.

Methodik: INFOQUANT

Die Autoren schlagen INFOQUANT vor, ein trainingsfreies PTQ-Framework, das die Aktivierungstransformation als „Quantisierer-orientiertes Verteilungsdesign" neu fasst. Die Kernphilosophie leitet sich aus einer informationstheoretischen Analyse ab, die zeigt, dass ein niedriger Quantisierungsfehler zwei komplementäre Eigenschaften erfordert:

Einen kleineren numerischen Bereich (um die Quantisierungsschrittweite zu verringern).
Eine ausreichende Streuung innerhalb dieses Bereichs (um die verfügbaren Quantisierungsstufen effektiv zu nutzen).

INFOQUANT erreicht dies durch drei Hauptkomponenten:

1. Peak-Suppression-Orthogonaltransformation (PSOT)

PSOT lernt eine orthogonale Rotationsmatrix, um Aktivierungsverteilungen neu zu formen. Im Gegensatz zu festen Rotationen (z. B. Hadamard) optimiert PSOT eine blockdiagonale orthogonale Matrix $R$ , um eine spezifische Verlustfunktion zu minimieren:
$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$
wobei $y = xRP_\perp$ (zentrierte rotierte Aktivierung) und $\pi_T$ eine Softmax-Gewichtung basierend auf der Magnitude ist. Dieses Ziel bestraft explizit Koordinaten mit hoher Magnitude (Spitzen). Durch die Unterdrückung der größten zentrierten Koordinate unter Beibehaltung der gesamten Token-Energie (aufgrund der Orthogonalität) zwingt PSOT die verbleibende Energie, sich über mehr Dimensionen zu verteilen. Dies reduziert gleichzeitig die Clipping-Skala (Verengung des Bereichs) und erhöht die normalisierte Streuung ( $b_n$ ).

2. Adaptive Ausreißer-Token-Auswahl (ASOT)

Um eine robuste Optimierung sicherzustellen, behandelt INFOQUANT nicht alle Kalibrierungstoken gleich. Es identifiziert Token mit „quantisierungssensitiven Ausreißerstrukturen" und gewichtet sie während der Rotationsoptimierung neu.

Es werden Token ausgewählt, die mindestens eine statistisch extreme Koordinate enthalten.
Es wird ein Schwellenwert-Auswahlmechanismus eingesetzt, um sicherzustellen, dass die ausgewählten Ausreißerpositionen über die Stichproben hinweg variieren (Vermeidung von Overfitting auf feste Prompt-Layouts oder Kalibrierungsartefakte).
Diese ausgewählten Token werden in der Verlustfunktion hochgewichtet ( $\gamma > 1$ ), während normale Token als Regularisierer dienen.

3. Lernbares Aktivierungs-Clipping (LAC)

Nachdem die Verteilung durch PSOT neu geformt wurde, wendet die Methode einen abschließenden Kalibrierschritt mit lernbaren Clipping-Parametern ( $\alpha, \beta$ ) an. Diese Parameter verfeinern die Aktivierungsschrittweite, um den quantisierten Blockausgang mit dem Vollpräzisionsausgang abzugleichen und den Rekonstruktionsfehler speziell für die neu geformte Verteilung zu minimieren.

Hauptbeiträge

Informationstheoretisches Framework: Das Papier stellt einen theoretischen Zusammenhang zwischen Quantisierungsfehler und Eigenschaften der Aktivierungsverteilung her. Es zeigt, dass die Minimierung des Quantisierungsfehlers äquivalent zur Verringerung der normalisierten Clipping-Fehlerschranke ist, was einen kleineren numerischen Bereich und eine höhere Streuung erfordert.
INFOQUANT-Algorithmus: Eine hardware-effiziente, trainingsfreie Methode, die orthogonale Transformationen lernt, um Aktivierungen in quantisierungsfreundliche Verteilungen zu formen, ergänzt durch adaptive Token-Auswahl und lernbares Clipping.
Empirische Validierung: Umfangreiche Experimente mit den LLaMA-2- und LLaMA-3-Familien (7B bis 70B) sowie Qwen2.5-Modellen.

Experimentelle Ergebnisse

Die Methode wurde unter verschiedenen Bitbreiten-Konfigurationen evaluiert, einschließlich der herausfordernden W4A4KV4-Einstellung (4-Bit-Gewichte, 4-Bit-Aktivierungen, 4-Bit-KV-Cache).

Erhalt der Genauigkeit: In der W4A4KV4-Einstellung bewahrt INFOQUANT im Durchschnitt 97 % der ursprünglichen Gleitkomma-Genauigkeit über die LLaMA-2- und LLaMA-3-Modelle hinweg.
State-of-the-Art-Leistung: Sie reduziert die Leistungslücke des LLaMA-2 13B-Modells um 42 % im Vergleich zum vorherigen State-of-the-Art (SpinQuant) unter W4A4KV4.
Vergleich mit Baselines: INFOQUANT übertrifft konsistent rotationsbasierte Methoden (QuaRot, SpinQuant) und gewichtsbasierte Rekonstruktionsmethoden (GPTQ, AWQ). Sie übertrifft auch die auf Distillation basierende OSTQuant bei mehreren Modellen (z. B. LLaMA-3 8B, LLaMA-2 13B), ohne Vollpräzisions-Supervision zu benötigen.
Effizienz: Die Methode ermöglicht die Quantisierung des LLaMA-2 70B-Modells mit nur 24 GB GPU-Speicher. Sie behält einen leichten Inferenzpfad bei, der mit bestehenden Low-Bit-Kernen kompatibel ist, und vermeidet den hohen FLOP-Overhead, der mit dynamischen Transformationen während der Inferenz verbunden ist (im Gegensatz zu FlatQuant).

Bedeutung und Behauptungen

Das Papier behauptet, dass die primäre Einschränkung der aktuellen Low-Bit-Aktivierungsquantisierung nicht lediglich das Vorhandensein von Ausreißern ist, sondern die Diskrepanz zwischen der Aktivierungsverteilung und den Fähigkeiten eines Low-Bit-Gleichverteilungsquantisierers. Durch die Verlagerung des Fokus von „Ausreißerunterdrückung" auf „Verteilungsformung" zeigt INFOQUANT, dass das Erlernen spezifischer orthogonaler Transformationen die Diskretisierbarkeit erheblich verbessern kann.

Die Autoren betonen, dass ihr Ansatz trainingsfrei und hardware-effizient ist, was ihn für den Einsatz auf Hardware für Verbraucher geeignet macht. Sie weisen darauf hin, dass ihre Methode zwar auf Kalibrierungsdaten und spezifischen Implementierungswahlen (wie blockdiagonalen Matrizen) basiert, aber eine robuste Alternative zu überwachtem Fine-Tuning oder aufwendigen Distillationspipelines bietet. Das Papier schließt, dass zukünftige Arbeiten diese Analyse über die Annahmen glockenförmiger Aktivierungen hinaus auf breitere Verteilungsregime ausweiten sollten.