🤖 machine learning

FPTQuant: Function-Preserving Transforms for LLM Quantization

FPTQuant führt leichtgewichtige, funktionserhaltende Transformationen ein, welche die Aktivierungsverteilungen umgestalten, um eine effiziente statische INT4-Quantisierung großer Sprachmodelle zu ermöglichen, wobei Geschwindigkeitssteigerungen von bis zu 3,9X bei minimalem Genauigkeitsverlust und ohne Overhead durch benutzerdefinierte Kernel erzielt werden.

Ursprüngliche Autoren: Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie eine riesige, hochklassige Bibliothek vor. Um diese Bibliothek nützlich zu machen, müssen Sie Bücher (Texte) schnell lesen können. Die Bücher sind jedoch in einer sehr komplexen, hochpräzisen Sprache (Gleitkommazahlen) geschrieben, die viel Platz beansprucht und viel Energie bei der Verarbeitung erfordert.

Das Problem: Das „Ausreißer“-Buch
Um Platz und Energie zu sparen, möchten Sie diese Bücher in eine einfachere, kürzere Sprache übersetzen (Quantisierung, wie zum Beispiel die Verwendung von 4-Bit-Integern). Dies ist vergleichbar mit der Zusammenfassung eines 500-seitigen Romans in ein 10-seitiges Pamphlet. Normalerweise funktioniert das hervorragend.

Doch LLMs haben ein seltsames Problem: Ein paar ganz bestimmte Wörter oder Zahlen sind massive Ausreißer. Stellen Sie sich eine Bibliothek vor, in der 99 % der Bücher dünne Pamphlete sind, aber ein einziges Buch eine 10.000-seitige Enzyklopädie ist. Wenn Sie versuchen, alles zu einem 10-seitigen Pamphlet zusammenzufassen, haben Sie zwei schlechte Wahlmöglichkeiten:

Sie erweitern die Größe des Pamphlets, um die Enzyklopädie unterzubringen, aber dann werden die 99 % der dünnen Pamphlete unscharf und verlieren an Details.
Sie behalten das Pamphlet klein und werfen die Enzyklopädie einfach weg (Clipping der Ausreißer), aber dann verlieren Sie entscheidende Informationen.

Dieser „Bereich vs. Präzision“-Trade-off ruiniert normalerweise die Intelligenz des Modells.

Die Lösung: FPTQuant (Der „magische Übersetzer“)
Das Paper stellt FPTQuant vor, eine neue Methode, die wie ein cleverer Übersetzer agiert, bevor Sie versuchen, die Bücher zusammenzufassen. Anstatt zu versuchen, die gesamte Bibliothek in ein kleines Pamphlet zu pressen, ordnet FPTQuant die Bücher so um, dass sie alle etwa die gleiche Größe haben, bevor die Zusammenfassung stattfindet.

Dafür nutzt es drei „Funktionserhaltende Transformationen“ (FPTs). Betrachten Sie dies als magische Tricks, die die Form der Daten ändern, ohne die Geschichte zu verändern, die sie erzählen.

Die drei magischen Tricks

1. Das „Pre-RoPE“-Shuffle (Für Queries und Keys)

Die Metapher: Stellen Sie sich vor, die Bibliothek verwendet ein spezielles Indexierungssystem (RoPE), um Bücher basierend auf ihrer Position zu finden. Sie können die Bücher nicht einfach zufällig durchmischen, sonst bricht der Index zusammen.
Der Trick: FPTQuant führt ein sehr spezifisches, mathematisch perfektes Shuffle bevor die Indexierung stattfindet durch. Es rotiert und skaliert die „Query“- und „Key“-Bücher so, dass das Ergebnis, wenn später der Index angewendet wird, exakt dasselbe ist, als ob man sie nicht gemischt hätte.
Der Nutzen: Dies glättet die massiven, enzyklopädiengroßen Ausreißer in den Suchdaten, sodass sie leicht zusammenfassbar sind, ohne an Detailtiefe zu verlieren.

2. Das „Value“-Reshuffle (Für Values)

Die Metapher: Sobald die Bibliothek die richtigen Bücher gefunden hat, zieht sie den eigentlichen Inhalt (die „Values“) heraus.
Der Trick: Das Paper stellt fest, dass der Inhalt dieser Bücher so umgeordnet (rotiert und skaliert) werden kann, dass er völlig unabhängig vom Suchindex ist. Es wendet ein einzigartiges Reshuffle auf jeden „Head“ (einen spezifischen Abschnitt der Bibliothek) an.
Der Nutzen: Dies ebnet die wilden Spitzen in den Inhaltsdaten ab und macht sie gleichmäßig und leicht komprimierbar.

3. Die „Dynamische Token“-Skalierung (Für Residuen)

Die Metapher: Während Sie durch die Bibliothek lesen, führen Sie eine fortlaufende Notiz (das „Residuum“) dessen, was Sie bisher gelernt haben. Manchmal wird diese Notiz für einen bestimmten Satz riesig und unhandlich.
Der Trick: FPTQuant fügt jedem einzelnen Satz, während er die Bibliothek passiert, einen winzigen, dynamischen „Lautstärkeregler“ hinzu. Wenn eine Notiz zu laut ist (ein Ausreißer), dreht der Regler sie leiser. Wenn sie leise ist, dreht er sie lauter. Entscheidend ist, dass er die Lautstärke des nächsten Schritts so anpasst, dass die endgültige Geschichte unverändert bleibt.
Der Nutzen: Dies verhindert, dass ein einzelner Satz die Zusammenfassung dominiert, und stellt sicher, dass der gesamte Text ausgewogen und quantisierungsfreundlich bleibt.

Warum das wichtig ist (Die Ergebnisse)

Das Paper behauptet, dass sie durch den Einsatz dieser drei Tricks das Modell auf INT4 (sehr kleine Größe) komprimieren können, ohne spezielle, teure Computerchips zu benötigen oder die Geschwindigkeit zu drosseln.

Geschwindigkeit: Es ist bis zu 3,9-mal schneller als die ursprüngliche, unkomprimierte Version.
Genauigkeit: Es schneidet genauso gut oder sogar besser ab als frühere Methoden, die viel langsamer waren.
Kein Overhead: Da diese „magischen Tricks“ so konzipiert sind, dass sie direkt in die bestehenden Gewichte des Modells integriert werden können, verursachen sie während des eigentlichen Leseprozesses keine zusätzlichen Schritte. Es ist, als würde man die Bücher im Lager so umordnen, dass sie perfekt in den LKW passen, anstatt einen neuen Schritt beim Beladen hinzuzufügen.

Zusammenfassend:
FPTQuant ist ein intelligenter Vorverarbeitungsschritt, der die „seltsamen, riesigen Zahlen“ in KI-Modellen glättet. Durch dies ermöglicht es, die Modelle auf winzige, energieeffiziente Größen zu schrumpfen, ohne ihre Fähigkeit zu verlieren, klar zu denken oder zu sprechen. Es ist vergleichbar mit der Organisation einer chaotischen Bibliothek, damit ein kleiner, effizienter Roboter sie genauso gut lesen kann wie ein menschlicher Bibliothekar.

Technisches Resümee: FPTQuant: Funktionserhaltende Transformationen für die LLM-Quantisierung

Problemstellung

Große Sprachmodelle (LLMs) verursachen während der Inferenz erhebliche Rechen- und Energiekosten, was ihren Einsatz auf ressourcenbeschränkten Edge-Geräten einschränkt. Während Quantisierung (die Abbildung kontinuierlicher Werte auf ein gleichmäßiges Ganzzahlgitter) die effektivste Technik zur Effizienzsteigerung ist, führt die naive Quantisierung von LLMs oft zu einer schweren Leistungsdegradierung. Dies liegt primär an „Outliern“ – Aktivierungen und Gewichten mit großen Magnituden, die die für eine Low-Bit-Quantisierung erforderliche Gleichverteilung stören.

Die grundlegende Herausforderung liegt im Trade-off zwischen Bereich und Präzision:

Erhöhung des Bereichs, um Outlier zu erfassen, führt zu einem Verlust an Präzision für die Mehrheit der Werte, die um Null gruppiert sind.
Beibehaltung der Präzision durch das Abschneiden (Clipping) von Outliern führt zu Informationsverlust und Modellkollaps.

Vorangegangene Arbeiten haben Funktionserhaltende Transformationen (FPTs) untersucht – Operationen wie Skalierung oder Rotation, die Outlier glätten, ohne die Ausgabe des Modells in Abwesenheit von Quantisierung zu verändern. Bestehende Methoden stehen jedoch oft vor einem Trade-off zwischen Expressivität (der Fähigkeit, den Quantisierungsfehler effektiv zu reduzieren) und Rechenaufwand (Inferenzkosten). Viele expressive Transformationen sind nicht „mergebar“ (zusammenführbar), was neue Operationen im Rechengraph erfordert und signifikante Latenzen verursacht.

Methodik: FPTQuant

Das Paper stellt FPTQuant vor, ein Framework, das drei neuartige, leichte und expressive FPTs nutzt, die speziell für Transformer entwickelt wurden. Die Kernphilosophie besteht darin, die in kanonischen Transformer-Operationen inhärenten Äquivarianzen und Unabhängigkeiten zu nutzen, um Transformationen zu entwerfen, die sowohl mergebar (in bestehende Gewichte integrierbar) als auch expressiv sind.

Die drei primären Transformationen sind:

1. Mergebare Pre-RoPE Transformation für Queries und Keys ( $T_k, \bar{T}_k$ )

Kontext: Moderne LLMs verwenden Rotary Positional Embeddings (RoPE), was ein naives Merging von Transformationen in die Query- ( $W_q$ ) und Key-Gewichte ( $W_k$ ) verhindert, da RoPE nicht mit beliebigen linearen Transformationen kommutiert.
Mechanismus: Die Autoren führen ein Paar von Transformationen ein, die vor RoPE angewendet werden. $T_k$ wird auf Keys angewendet, und $\bar{T}_k$ (eine approximative Inverse) wird auf Queries angewendet. Diese bestehen aus skalierten $2 \times 2$ Rotationsmatrizen.
Eigenschaft: Aufgrund der Blockdiagonalstruktur von RoPE kommutieren diese spezifischen Rotations-/Skalierungsmatrizen mit der RoPE-Operation. Dies ermöglicht es, die Transformationen nach dem Training direkt in die $W_q$ - und $W_k$ -Gewichte zu mergen, wodurch der Inferenzaufwand bei Null bleibt.
Anwendbarkeit: Gültig für Modelle mit RoPE (z. B. Llama-Serie) und Modelle ohne Positions-Embeddings.

2. Mergebare Multihead-Value-Transformation ( $T_v, \bar{T}_v$ )

Kontext: Im Attention-Mechanismus operiert die gebatchte Matrixmultiplikation (BMM) auf den Werten ( $V$ ) und der Output-Projektion ( $W_o$ ). Die Dimension $d$ (Value-Dimension) ist unabhängig von der Berechnung der Attention-Wahrscheinlichkeit.
Mechanismus: Eine invertierbare Transformation $T_v$ wird auf die Value-Projektionsgewichte ( $W_v$ ) angewendet, und ihre Inverse $\bar{T}_v$ wird auf die Output-Projektionsgewichte ( $W_o$ ) angewendet.
Eigenschaft: Da die verschiedenen Attention-Heads unabhängig sind, kann für jeden Head eine eindeutige invertierbare Matrix optimiert werden. Diese Transformation wird in $W_v$ und $W_o$ gemergt.
Vorteil: Dies bietet hohe Expressivität (volle invertierbare Matrizen pro Head), bleibt aber mergebar, im Gegensatz zu früheren rotationsbasierten Methoden, die oft eine einzige Rotation über alle Heads teilten oder nicht mergebar waren.

3. Pseudo-Dynamische Residual-Skalierung ( $S_n$ )

Kontext: Residual-Verbindungen in Transformern umgehen oft Normalisierungsschichten, was zu Token mit sehr unterschiedlichen Skalen führt. Dies verursacht Outlier in nachfolgenden Blöcken (z. B. dem SwiGLU-Output).
Mechanismus: Die Autoren schlagen vor, die RMSNorm so zu verschieben, dass sie auch auf den Residual-Stream angewendet wird. Ein pro-Token Skalierungsfaktor $S_n$ (basierend auf der Wurzel des Mittelquadrats des Residuals) wird auf den Residual-Input angewendet. Um die Ausgabe zu bewahren, werden die Ausgaben der Attention- und MLP-Blöcke ( $Y_n$ ) mit demselben Faktor $S_n$ reskaliert, bevor sie zum Residual addiert werden.
Eigenschaft: Matrixmultiplikation und lineare Schichten ohne Bias kommutieren mit der pro-Token Skalierung. Dies erlaubt es, die Skalierung tief innerhalb der Attention- und MLP-Blöcke anzuwenden, um Intra-Block-Outlier zu reduzieren.
Implementierung: Die Skalen werden rekursiv unter Verwendung des normalisierten Outputs des vorherigen Blocks berechnet. In der Praxis ist die finale Division durch den Skalierungsfaktor unnötig, da der LM-Head mit einer RMSNorm beginnt.

Optimierungsstrategie

FPTQuant verwendet einen zweistufigen Optimierungsprozess:

Lokale Optimierung: Transformationen werden lokal und unabhängig optimiert, um die $L_p$ -Norm (speziell $L_4$ ) der gemergten Gewichte zu minimieren. Dies reduziert Outlier und bietet eine stabile Initialisierung.
End-to-End (Student-Teacher) Training: Ein quantisiertes Student-Modell (mit Transformationen) wird darauf trainiert, ein Full-Precision Teacher-Modell unter Verwendung des Jensen-Shannon-Divergenz (JSD) Loss zu approximieren.
- Entscheidender Unterschied: Im Gegensatz zu Methoden, die den Next-Token-Prediction-Loss verwenden, verhindert der Student-Teacher-Ansatz das Overfitting auf den Trainingsdatensatz (z. B. Wikitext), indem er die volle Wahrscheinlichkeitsverteilung des Teachers angleicht. Dies verbessert die Generalisierung auf Downstream-Aufgaben.

Kernbeiträge

Neuartige FPTs: Einführung von drei spezifischen Transformationen (Pre-RoPE, Value und Residual Scaling), die darauf ausgelegt sind, sowohl hochgradig expressiv als als auch mergebar zu sein, wodurch der Inferenzaufwand eliminiert wird.
Statische INT4-Quantisierung: Demonstration, dass FPTQuant eine statische INT4-Quantisierung (Gewichte, Aktivierungen und KV-Cache) mit minimalem Overhead ermöglicht und dabei eine bis zu 3,9-fache Beschleunigung gegenüber FP16 bei Prefill-Tasks erreicht.
Accuracy-Speed-Trade-off: FPTQuant erreicht eine Performance auf Augenhöhe mit oder sogar über den State-of-the-Art (SOTA) Methoden wie FlatQuant und SpinQuant, ist dabei aber signifikant schneller (bis zu 29 % schneller als FlatQuant) und benötigt keine benutzerdefinierten Kernel.

Experimentelle Ergebnisse

Die Autoren evaluierten FPTQuant auf verschiedenen Modellen (Llama-2/3, Ministral, Qwen) über mehrere Quantisierungseinstellungen hinweg (W4A4KV4, W4A8KV8, etc.).

Geschwindigkeit: FPTQuant erreicht konsistent eine Prefill-Beschleunigung von 2,8×–3,9× gegenüber FP16. Es ist schneller als SpinQuant und konsistent schneller als FlatQuant (15–29 % relativer Geschwindigkeitsvorteil).
Genauigkeit:
- In „schwierigen“ Deployment-Szenarien (Quantisierung aller Zwischenaktivierungen) übertrifft FPTQuant Baselines wie SpinQuant und FlatQuant.
- In Standard-Settings (Linear+KV) ist FFTQuant vergleichbar mit FlatQuant, welches derzeit den SOTA für Genauigkeit darstellt.
- In der anspruchsvollen W4A4KV4-Einstellung zeigt FPTQuant eine kompetitive Perplexity und Zero-Shot-Reasoning-Scores und übertrifft oft SpinQuant und QuaRot.
Stabilität: Die Sensitivitätsanalyse zeigt, dass FPTQuant selbst unter verrauschten Parameter-Updates funktionserhaltend bleibt, während Methoden wie FlatQuant (die auf Floating-Point-Inversionen beruhen) und OSTQuant (nicht funktionserhaltend) Instabilität oder Degradation bei Rauschen zeigen.
Trainingskosten: Das Training von FPTQuant ist effizient. Es ist zwar etwas langsamer als RTN-opt, aber im Allgemeinen schneller als FlatQuant, da seine Transformationen mergebar sind und somit die Online-Forward-Passes vermeiden, die für nicht-mergebare Transformationen erforderlich sind.

Bedeutung und Ansprüche

Das Paper behauptet, dass FPTQuant einen bedeutenden Schritt zur Einsatzfähigkeit von LLMs auf Edge-Geräten darstellt. Durch die explizite Nutzung der mathematischen Eigenschaften von Transformer-Operationen (Äquivarianzen) haben die Autoren Transformationen geschaffen, die die Inferenzgeschwindigkeit nicht zugunsten der Genauigkeit opfern.

Praktische Auswirkungen: FPTQuant ermöglicht den Einsatz kleinerer Bitbreiten (INT4) ohne den hohen Rechenaufwand von dynamischer Quantisierung oder nicht-mergebaren Transformationen. Dies reduziert den Speicherbedarf und den Energieverbrauch von LLMs und könnte den Zugang zu KI auf Smartphones und Edge-Geräten demokratisieren.
Methodischer Beitrag: Die Arbeit hebt hervor, dass das Verständnis der Kommutations-Eigenschaften bestehender Operationen der Schlüssel zum Design effektiver Quantisierungsstrategien ist. Sie spricht sich gegen die Verwendung von Next-Token-Prediction-Loss beim Training von FPTs aus, um Overfitting-Risiken zu vermeiden, und plädiert statraztdessen für Student-Teacher-Training mittels Distribution Matching.
Limitierungen: Die Autoren merken bescheiden an, dass der Ansatz zwar robust gegenüber verschiedenen Modellfamilien ist, aber nicht garantiert, dass er gleichermaßen auf alle LLMs (z. B. Mixture-of-Experts) übertragbar ist. Zudem bedeutet die aktuelle Hardware-Limitierung (mangelnde native INT4-Unterstützung auf vielen GPUs), dass das Benchmarking auf Emulation basiert und der volle Nutzen erst auf zukünftiger Hardware oder edge-spezifischen Beschleunigern realisiert werden kann.