🤖 AI

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

Dieses Paper identifiziert einen fundamentalen „Shrinkage Bias“ in nicht-uniformen E2M1 FP4-Formaten, der zu Trainingsinstabilität führt, und schlägt UFP4 vor, ein uniformes 4-Bit-Rezept (E1M2/INT4) für das Training, das eine Random Hadamard Transformation nutzt, um im Vergleich zu bestehenden E2M1-basierten Ansätzen eine überlegene Pretraining-Performance über verschiedene Modellskalen hinweg zu erzielen.

Ursprüngliche Autoren: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, unglaublich komplexe LEGO-Burg (ein Large Language Model) zu bauen. Um den Bau schneller und kostengünstiger zu machen, beschließen Sie, die Verwendung der standardmäßigen, schweren, präzisen Steine einzustellen und statzu einem neuen, ultraleichten Set aus winzigen 4-Bit-Steinen zu wechseln.

Das Problem ist, dass die aktuellen „Standard“-Leichtbau-Steine (genannt E2M1) eine seltsame, asymmetrische Form haben. Die Autoren dieser Arbeit haben entdeckt, dass diese Steine einen verborgenen Fehler aufweisen: Sie lassen Dinge jedes Mal, wenn man sie verwendet, ein klein wenig schrumpfen.

Hier ist die Aufschlüsselung ihrer Entdeckung und Lösung, einfach erklärt:

1. Das Problem: Die „schrumpfenden“ Steine

Betrachten Sie die standardmäßigen E2M1-Steine als Steine mit ungleichmäßigen Abständen. Einige Lücken zwischen den Steinen sind winzig, während andere riesig sind.

Der Fehler: Aufgrund dieser ungleichmäßigen Abstände führt die Mathematik, wenn Sie versuchen, ein Stück Daten in einen dieser Steine einzusetzen, dazu, dass es etwas häufiger abgerundet wird, als aufgerundet.
Das Ergebnis: Dies erzeugt einen „Schrumpfungs-Bias“ (Shrinkage Bias). Es ist wie ein leckender Eimer; jedes Mal, wenn Sie eine Nachricht durch eine Schicht des Modells senden, wird die Nachricht ein kleines Stück kleiner und schwächer.
Der kumulative Effekt: In einem tiefen Modell mit Hunderten von Schichten geschieht dieses winzige Schrumpfen immer und immer wieder. Bis die Nachricht das Ende erreicht, ist sie so sehr geschrumpft, dass das Modell beginnt, den Verstand zu verlieren (das Training wird instabil).

2. Der „magische Dreh“, der es schlimmer machte

Um das Problem von Daten zu lösen, die zu groß oder zu seltsam sind (Ausreißer), verwenden Ingenieure einen Trick namens Random Hadamard Transform (RHT).

Die Analogie: Stellen Sie sich einen Haufen Sand vor, bei dem sich die meiste Menge in einem einzigen riesigen Hügel befindet (Ausreißer). Die RHT ist wie ein Mixer, der den Sand herumwirbelt, sodass er sich gleichmäßig über das gesamte Tablett verteilt.
Der Konflikt: Wenn Sie den Sand mischen (RHT) und ihn dann in die asymmetrischen E2M1-Steine setzen, landet der Sand genau in den schlechtesten Lücken. Die ungleichmäßigen Abstände der Steine greifen den gemischten Sand und lassen ihn noch stärker schrumpfen als zuvor. Die Arbeit fand heraus, dass das Standardrezept diesen „leckenden Eimer“-Effekt durch die Verwendung dieses Mixers sogar noch verschlimmert.

3. Die Lösung: Die „gleichmäßigen“ Steine (UFP4)

Die Autoren schlagen ein neues Rezept namens UFP4 vor. Anstatt die asymmetrischen E2M1-Steine zu verwenden, nutzen sie einen neuen Satz von Steinen namens E1M2/INT4.

Der Unterschied: Diese neuen Steine sind perfekt gleichmäßig. Die Lücken zwischen ihnen sind alle exakt gleich groß.
Warum es funktioniert: Da die Lücken gleichmäßig sind, gibt es keinen „Schrumpfungs-Bias“. Wenn der „gemischte Sand“ (die RHT-Daten) in diese gleichmäßigen Steine fällt, passt er perfekt hinein, ohne an Größe zu verlieren.
Die Strategie: Mit diesen neuen, gleichmäßigen Steinen stellten die Autoren fest, dass sie den „Mixer“ (RHT) sicher für jeden einzelnen Teil des Konstruktionsprozesses verwenden können (Forward Pass, Backward Pass und Gewichtsupdates). Zuvor mussten sie vorsichtig sein und den Mixer nur an einer Stelle verwenden, um das Modell nicht zu beschädigen. Jetzt können sie ihn überall einsetzen.

4. Der Beweis

Das Team testete dieses neue Rezept an drei verschiedenen Größen von KI-Modellen (klein, mittel und riesig).

Das Ergebnis: Die mit dem neuen UFP4-Rezept (gleichmäßige Steine) gebauten Modelle kamen den schweren, standardmäßigen Steinen (BF16) viel näher als die Modelle, die mit den alten E2M1-Steinen (asymmetrische Steine) gebaut wurden.
Die Erkenntnis: Das „gleichmäßige“ Gitter ermöglicht es dem Modell, länger und stabiler zu trainieren, ohne das Signal zu verlieren.

Zusammenfassung

Die Arbeit argumentiert, dass die Branche versucht hat, einen leckenden Eimer zu reparieren, indem sie die Löcher flickt, aber der Eimer selbst hat die falsche Form. Indem man zu einem Eimer mit perfekt gleichmäßigen Abständen (Uniform Grids) wechselt, kann man endlich die leistungsstarken Mischwerkzeuge (RHT) nutzen, die zuvor zu gefährlich waren, was zu einem schnelleren, günstigeren und stabileren KI-Training führt.

Der Kernpunkt: Flicken Sie nicht einfach das alte, asymmetrische 4-Bit-Format; wechseln Sie zu einem neuen, gleichmäßigen 4-Bit-Format, um zu verhindern, dass das Signal wegschrumpft.

Technisches Resümee: Überdenken des Shrinkage-Bias in der LLM-FP4-Vortrainierung

Problemstellung

Mit der Skalierung von Large Language Models (LLMs) erfordern die Rechen- und Speicherkosten beim Vortraining einen Wechsel zu Formaten mit geringerer Präzision. Während FP8 bereits weit verbreitet ist, unterstützen neu aufkommende Hardware (z. B. NVIDIA Blackwell/Rubin, AMD MI350) natives FP4-Computing. Aktuelle FP4-Trainingsrezepte, wie etwa NVFP4, verlassen sich primär auf das E2M1-Format (2 Exponenten-Bits, 1 Mantissen-Bit) in Kombination mit der Random Hadamard Transform (RHT), um die Sensitivität gegenüber Ausreißern zu mildern.

Diese auf E2M1 basierenden Rezepte leiden jedoch unter Trainingsinstabilität und einer signifikanten Verschlechterung des Verlusts (Loss) im Vergleich zu BF16-Baselines. Das Paper identifiziert eine fundamentale, bisher übersehene Einschränkung: den Shrinkage-Bias. Dies ist ein systematischer negativer Rundungsfehler, der in nicht-uniformen Quantisierungsformaten wie E2M1 inhärent ist. Die geometrische Asymmetrie der darstellbaren Bins in E2M1 verursacht ein konsistentes „Shrinkage“ (Schrumpfung) der Magnituden unter der Round-to-Nearest-Even (RTNE)-Rundung. Entscheidend ist, dass das Paper argumentiert, dass RHT zwar dazu dient, Ausreißer zu dispergieren und die Codebook-Ausnutzung zu verbessern, aber unbeabsichtigt diesen Bias in E2M1 verstärkt, indem es die Tensor-Masse in die am stärksten asymmetrischen Rundungs-Bins des Formats verschiebt, was zu einem multiplikativen Signalzerfall über tiefe Netzwerke hinweg führt.

Methodik

1. Theoretische Analyse des Shrinkage-Bias

Die Autoren formalisieren den Shrinkage-Bias als einen negativen erwarteten Fehler im normalisierten Magnitudenraum, der durch die geometrische Asymmetrie der RTNE-Bins verursacht wird.

Geometrischer Ursprung: In nicht-uniformen Gittern wie E2M1 ändert sich der Abstand zwischen den darstellbaren Werten (z. B. von 0,5 auf 1,0 auf 1,5). Für ein Niveau $q_i$ sind die linken und rechten Bin-Breiten ( $\ell_i$ und $r_i$ ) oft ungleich. Wenn $r_i > \ell_i$ , ist der bedingte erwartete Fehler unter einer uniformen lokalen Dichte negativ ( $\frac{\ell_i - r_i}{2} < 0$ ).
Systemische Auswirkung: Im Gegensatz zu Null-Mittelwert-Rauschen, das sich ausgleicht, wirkt dieser Bias als systematischer Attenuationsfaktor ( $\alpha < 1$ ) in Matrixmultiplikationen (GEMMs). Über $K$ Schichten akkumulieren sich diese Faktoren multiplikativ ( $\prod \alpha_k \approx \exp(-\sum \delta_k)$ ), was zu einem systematischen Signalzerfall führt.
RHT-Interaktion: RHT transformiert Tensoren von einem „dynamikbereich-limitierten“ zu einem „lokalen Auflösungs-limitierten“ Zustand. Während dies die Bucket-Ausnutzung verbessert, zwingt es die Daten in die Regionen mittlerer Magnituden, in denen die Asymmetrie von E2M1 am ausgeprägtesten ist, wodurch der Shrinkage-Bias verstärkt wird.

2. Das UFP4-Rezept

Basierend auf der Erkenntnis, dass uniforme Gitter diesen geometrischen Fehler umgehen, schlagen die Autoren UFP4 (Uniform FP4) vor, ein Trainingsrezept, das auf einem E1M2/INT4-Stil uniformen Gitter basiert.

Uniformes Gitter: Im Gegensatz zu E2M1 hält das E1M2-Gitter die Abstände zwischen den Niveaus gleich ( $\ell_i = r_i$ ), wodurch die geometrische Quelle des Shrinkage-Bias eliminiert wird.
Vollständige RHT-Abdeckung: Da das uniforme Gitter unvoreingenommen (unbiased) ist, kann UFP4 RHT sicher auf alle drei Trainings-GEMM-Pfade anwenden: Forward (FPROP), Data Gradient (DGRAD) und Weight Gradient (WGRAD). Frühere E2M1-Rezepte beschränkten RHT auf den Gewicht-Gradienten-Pfad, um die Akkumulation von Fehlern in Nicht-Blatt-Pfaden zu vermeiden.
Stochastische Rundung (SR): SR wird nur auf den Upstream-Gradienten ($dY$) angewendet, um die Erwartungswerte der Gradienten zu bewahren, während ansonsten RTNE verwendet wird.

Kernbeiträge

Identifizierung des Shrinkage-Bias: Das Paper definiert und demonstriert formal, dass nicht-uniforme Formate (E2M1) aufgrund der geometrischen Asymmetrie inhärent unter einem systematischen negativen Rundungsfehler leiden, der sich von distributionsbedingten Quantisierungsfehlern unterscheidet.
Vereinheitlichte Erklärung der Instabilität: Es liefert eine theoretische und empirische Erklärung für die Trainingsinstabilität bestehender E2M1-basierter Rezepte und zeigt auf, wie der Shrinkage-Bias multiplikativ akkumuliert und durch RHT verstärkt wird.
Vorschlag von UFP4: Ein neues 4-Bit-Trainingsrezept unter Verwendung uniformer Gitter (E1M2/INT4), das eine pervasivere Anwendung von RHT über alle Trainings-GEMMs ermöglicht und so die verbesserte Bucket-Ausnutzung in eine höhere Quantisierungsqualität umwandelt.
Validierung auf industrieller Skala: Der Ansatz wird an Dense 1.5B, MoE 7.9B und MoE 124B Modellen validiert und zeigt, dass uniforme Gitter praktische, erstklassige FP4-Trainingsformate sind.

Experimentelle Ergebnisse

Quantisierung und GEMM-Diagnostik

RHT-Effekt: Bei Ausreißer-reichen Tensoren verbessert RHT das effektive Bucket-Verhältnis für beide Formate signifikant. Das resultierende Signal-to-Quantization-Noise Ratio (SQNR) divergiert jedoch: E1M2 zeigt ein verbessertes SQNR nach RHT, während E2M1 oft ein negatives $\Delta$ SQNR aufweist, da die verschobenen Daten in asymmetrische Bins fallen.
GEMM-Outputs: In Single-GEMM-Tests bewahrt E1M2 oder verbessert das Output-SQNR über die Forward- und Backward-Pfade mit RHT, während E2M1 insbesondere in den Backward-Pfaden eine Degradierung erleidet.

End-to-End Vortraining

Loss-Degradation: Bei langfristigen Vortrainingsaufgaben erreicht UFP4 (E1M2) konsistent eine geringere relative Loss-Degradation gegenüber starken E2M1-Baselines.
- Dense 1.5B: Relativer Fehler reduziert von 1,2570 % (E2M1) auf 0,9673 % (UFP4).
- MoE 7.9B: Reduziert von 2,3596 % auf 1,8469 %.
- MoE 124B: Reduziert von 1,7308 % auf 1,3863 %.
Scaling Laws: Der Vorteil von UFP4 bleibt über verschiedene Modellskalen hinweg (10M bis 324M Parameter) bestehen. Die angepassten Loss-Kurven zeigen, dass die E1M2-Lücke zu BF16 kleiner bleibt als die E2M1-Lücke und dass die FP4-Strafe nicht mit der Rechenskala wächst.
Ablationsstudien:
- RHT-Umfang: Eine vollständige RHT-Abdeckung (alle drei GEMMs) liefert die besten Ergebnisse für UFP4, wohingegen eine eingeschränkte RHT-Anwendung (wie bei E2M1-Rezepten) die Leistung limitiert.
- Bereichsbeschränkung: Versuche, ein uniformes Gitter durch die Beschränkung des Dynamikbereichs von E2M1 (z. B. Deckelung des Maximalwerts) zu emulieren, konnten die Leistung eines nativen E1M2 nicht erreichen, da sie den Dynamikbereich opferten, ohne den Bias vollständig zu eliminieren.

Effizienz

Kernel-Fusion: Die Autoren zeigen, dass RHT effizient mit FP4-Quantisierung fusioniert werden kann. Auf der getesteten Hardware (SM90/SM100) beträgt die fusionierte RHT+Quantisierungs-Latenz nur etwa das 1,06- bis 1,07-fache der Standalone-Quantisierung, verglichen mit etwa 1,4- bis 1,6-facher Latenz bei nicht-fusionierten Implementierungen.

Bedeutung und Ansprüche

Das Paper argumentiert, dass der aktuelle Industriestandard, E2M1 als das einzige praktikable FP4-Trainingsformat zu behandeln, aufgrund seiner geometrischen Limitationen suboptimal ist. Die Bedeutung dieser Arbeit liegt in:

Herausforderung des Status Quo: Sie legt nahe, dass zukünftige ML-Beschleuniger E1M2/INT4-Stil uniforme 4-Bit-Gitter als erstklassige Trainings-Primitive neben E2M1 unterstützen sollten, anstatt sich ausschließlich auf E2M1 zu verlassen.
Mismatch zwischen Format und Regime: Sie hebt hervor, dass die Effektivität von Techniken zur Ausreißer-Milderung wie RHT von der zugrunde liegenden Gittergeometrie abhängt. RHT ist für uniforme Gitter vorteilhaft, aber für nicht-uniforme Gitter in tiefen Trainingsregimen nachteililch.
Praktisches Rezept: UFP4 bietet ein konkretes, skalierbares Rezept, das die Lücke zwischen FP4- und BF16-Training verringert, ohne komplexe Schätzer-Modifikationen zu erfordern – einfach durch die Abstimmung der Gittergeometrie auf die Post-RHT-Tensordistribution.

Die Autoren kommen zu dem Schluss, dass E2M1 zwar für dynamikbereich-limitierte Workloads und Inference geeignet bleibt, das Trainings-Hardware-Design sich jedoch zu uniformen Gittern entwickeln sollte, um das volle Potenzial von FP4-Vortraining auszuschöpfen.