💬 NLP

Is Finer Better? The Limits of Microscaling Formats in Large Language Models

Diese Arbeit zeigt auf, dass kleinere Blockgrößen bei der Mikroskalierung-Quantisierung paradoxerweise die Modellleistung verschlechtern können, was auf das Zusammenspiel zwischen engen Tensorverteilungen und einem begrenzten Skalen-Dynamikbereich zurückzuführen ist, woraufhin die Autoren ein neuartiges FP8-unsigned E5M3-Format für Skalen vorschlagen, das die Genauigkeit beibehält und gleichzeitig die Notwendigkeit globaler Skalierungsoperationen eliminiert.

Ursprüngliche Autoren: Andrea Fasoli, Monodeep Kar, Chi-Chun Liu, Swagath Venkataramani, Viji Srinivasan, Leland Chang, Naigang Wang

Veröffentlicht 2026-01-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrea Fasoli, Monodeep Kar, Chi-Chun Liu, Swagath Venkataramani, Viji Srinivasan, Leland Chang, Naigang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Modell schrumpfen

Stellen Sie sich vor, ein Large Language Model (LLM) ist wie eine riesige Bibliothek des Wissens. Um diese Bibliothek in einen kleinen Rucksack zu bekommen (damit sie auf Handys schnell läuft oder Energie spart), versuchen Wissenschaftler, die Bücher zu schrumpfen. Sie tun dies durch „Quantisierung“, was bedeutet, Zahlen abzurunden, um weniger Bits zu verwenden (wie etwa „3,14“ einfach als „3“ zu schreiben).

Vor Kurzem wurde eine neue Technik namens Mikroskalierung (Microscaling) populär. Anstatt ein einziges Lineal zu verwenden, um die gesamte Bibliothek zu messen, begannen sie, winzige, individuelle Lineale für kleine Gruppen von Büchern zu verwenden. Die Logik dahinter war: „Je kleiner die Gruppe, desto genauer können wir die Bücher darin messen.“

Die Überraschung: Kleiner ist nicht immer besser

Die Forscher in dieser Arbeit entdeckten einen seltsamen Fehler. Sie erwarteten, dass das Verkleinern der Gruppen (oder „Blöcke“) das Modell immer intelligenter machen würde. Aber sie fanden das Gegenteil heraus, und zwar bei bestimmten Modellen.

Die Analogie: Das Lineal mit den fehlenden Markierungen
Stellen Sie sich vor, Sie messen einen sehr kleinen Kieselstein.

Der alte Weg: Sie benutzen ein riesiges Lineal mit Markierungen alle Zoll. Sie können den Kieselstein nicht gut messen, also raten Sie.
Der neue Weg (Mikroskalierung): Sie wechseln zu einem winzigen Lineal, das perfekt zum Kieselstein passt. Das sollte besser sein, oder?
Das Problem: Das winzige Lineal hat ein defektes Merkmal. Sein „Nullpunkt“ und seine kleinsten Markierungen liegen zu weit auseinander. Wenn der Kieselstein zu klein ist, kann das Lineal ihn gar nicht erst sehen. Es sagt einfach: „Das ist Null.“

Die Arbeit fand heraus, dass wenn die „Blöcke“ der Daten zu klein werden, das „Lineal“ (genannt Scale), das verwendet wird, um sie zu messen, an Präzision verliert. Es kann keine sehr kleinen Zahlen mehr darstellen. Obwohl Sie also eine kleinere Gruppe messen, verlieren Sie tatsächlich mehr Informationen, weil das Lineal für solch winzige Dinge zu klobig ist.

Dies verursachte ein Phänomen, das die Autoren „Perplexity Inversion“ nennen. Normalerweise wird das Modell besser, wenn man die Blöcke schrumpft. Aber mit diesem Fehler wird das Modell plötzlich schlechter, sobald die Blöcke zu klein werden.

Warum passiert das?

Die Forscher sind der Mathematik auf den Grund gegangen und fanden den Übeltäter: Die Skala (Scale).

In diesem System hat jede Gruppe von Zahlen eine „Skala-Zahl“, die dem Computer sagt, wie groß die Zahlen in dieser Gruppe sind.

Breite Gruppen: Wenn eine Gruppe große und kleine Zahlen hat, ist die Skala groß. Das Lineal funktioniert gut.
Schmale Gruppen: Wenn eine Gruppe nur winzige Zahlen hat (wie 0,0001), muss die Skala winzig sein, um sie genau zu messen.
Der Fehler: Die aktuelle Hardware verwendet eine bestimmte Art von Lineal (genannt FP8 E4M3), das einen begrenzten Bereich hat. Es kann keine Skalen handhaben, die zu klein sind. Wenn die Blockgröße schrumpft, werden die Zahlen innerhalb des Blocks so klein, dass die „kleinste Einstellung“ des Lineals immer noch zu groß ist. Der Computer rundet alles auf Null ab, und das Modell vergisst die Information.

Die Lösung: Ein besseres Lineal

Die Autoren haben das Problem nicht nur aufgezeigt, sondern auch ein besseres Werkzeug gebaut, um es zu beheben.

Sie schlugen ein neues Format vor, das FP8 Unsigned E5M3 (UE5M3) heißt.

Die Korrektur: Stellen Sie sich das alte Lineal als ein Werkzeug mit 4 Markierungen für die „Größe“ (Exponent) und 3 Markierungen für die „Detailgenauigkeit“ (Mantisse) vor.
Das Upgrade: Sie nahmen ein ungenutztes Bit (einen winzigen Schalter) und verwandelten es in eine zusätzliche „Größen“-Markierung. Jetzt hat das Lineal 5 Markierungen für die Größe und 3 für die Detailgenauigkeit.

Warum das hilft:
Dieses neue Lineal kann viel, viel kleinere Zahlen messen, ohne sie auf Null abzurunden. Es verlängert das „untere Ende“ des Lineals, sodass es diese winzigen Kieselsteine klar sehen kann.

Die Ergebnisse

Die Forscher testeten dieses neue Lineal an mehreren KI-Modellen (wie Llama und Granite).

Ohne die Korrektur: Wenn sie die Blöcke sehr klein machten, wurden die Modelle verwirrt und machten mehr Fehler.
Mit dem neuen Lineal (UE5M3): Die Modelle blieben genau, selbst mit winzigen Blöcken. Tatsächlich schnitt es genauso gut ab wie ein komplizierter Umweg, bei dem man die Zahlen manuell strecken musste, bevor man sie maß – allerdings ohne diesen zusätzlichen, teuren Schritt zu benötigen.

Zusammenfassung

Die Arbeit lehrt uns, dass bei der KI-Kompression kleiner nicht immer besser ist. Wenn Sie Ihre Datengruppen zu stark schrumpfen, zerstören Sie möglicherweise das Messwerkzeug, das Sie verwenden, um sie zu lesen. Durch die einfache Anpassung des Designs dieses Messwerkzeugs (Hinzufügen eines zusätzlichen Bits an Reichweite) haben sie den Fehler behoben und ermöglicht es KI-Modellen, effizienter komprimiert zu werden, ohne ihre Intelligenz zu verlieren.

Technisches Resümee: Ist feiner besser? Die Grenzen von Mikroskalierungsformaten in Large Language Models

Problemstellung

Da Large Language Models (LLMs) in Größe und Kontext skalieren, wird die Reduzierung der numerischen Präzision für effizientes Training und Inferenz essenziell. Während Hardware-Anbieter von FP16 zu FP8 und nun zu FP4 gewechselt haben, führt das Drängen der Präzision unter 8 Bit oft zu erheblichen Genauigkeitsverlusten, insbesondere wenn sowohl Gewichte als auch Aktivierungen quantisiert werden.

Mikroskalierungsformate (z. B. MXFP4, NVFP4) begegnen diesem Problem, indem sie Tensoren in kleine Blöcke unterteilen, bei denen die Elemente einen gemeinsamen Skalierungsfaktor teilen. Dies ermöglicht eine aggressive Kompression bei gleichzeitiger Aufrechterhaltung der Genauigkeit durch eine feinere Steuerung als bei der Per-Tensor- oder Per-Channel-Quantisierung. Die Branche tendiert jedoch dazu, immer kleinere Blockgrößen zu verwenden, um den Quantisierungsfehler zu minimieren.

Dieses Paper identifiziert ein kontraintuitives Phänomen: Das Verringern der Blockgröße unter einen bestimmten Schwellenwert kann paradoxerweise den Quantisierungsfehler erhöhen und die Modellleistung (Perplexität) verschlechtern. Diese „Perplexitäts-Inversion“ widerspricht der Standarderwartung, dass kleinere Blöcke eine bessere Tensorrepräsentation liefern. Die Autoren untersuchen, warum dies geschieht, speziell bei der Verwendung von FP8 unsigned E4M3-Skalen, und schlagen eine hardwarefreundliche Lösung vor.

Methodik

Die Autoren verwenden einen dualen Ansatz, der eine experimentelle Analyse prätrainierter Modelle mit einem rigorosen theoretischen Rahmen kombiniert.

1. Experimentelle Analyse

Überwachung der Perplexitäts-Lücke: Die Autoren maßen die Perplexitäts-Lücke zwischen FP4-Mikroskalierungsmodellen und ihren 16-Bit-Baselines über verschiedene Blockgrößen (von 256 bis hinunter zu 8) für mehrere Modelle (z. B. Granite-3.3-8b, Llama-3.1-8b, Mixtral-8x7b).
Fehlerdekomposition: Sie analysierten den mittleren quadratischen Fehler (Mean Squared Error, MSE) auf Basis pro Block und pro Tensor. Durch den Vergleich von Blockgrößen (z. B. 8 vs. 16) isolierten sie Instanzen, in denen kleinere Blöcke zu einem höheren MSE führten.
Verteilungskorrelation: Die Studie korrelierte den MSE mit der Standardabweichung ( $\sigma$ ) der Gewichtsverteilungen. Sie beobachteten, dass Modelle mit engen Gewichtsverteilungen (niedriges $\sigma$ ) bei der Verwendung von UE4M3-Skalen anfälliger für eine Fehlerinversion waren.

2. Theoretischer Rahmen

Um die Anomalie zu erklären, leiteten die Autoren ein theoretisches Modell für den MSE der Mikroskalierungsquantisierung ab:

Ideale Verteilungen: Sie validierten, dass die Gewichte prätrainierter Modelle eng einer Normalverteilung ( $\mu=0$ , variable $\sigma$ ) folgen.
Fehlerquellen: Das Framework dekomponiert den Gesamt-MSE in drei distinkte Beiträge:
1. Nicht-maximale Elemente: Fehler durch die Quantisierung von Elementen $x_i \neq x_{max}$ .
2. Maximales Element: Fehler durch die Quantisierung des Blockmaximums $x_{max}$ selbst (der nicht Null ist, wenn Skalen quantisiert werden).
3. Zero-Rounding: Fehler, die auftreten, wenn das Blockmaximum unter den minimal darstellbaren Skalierungswert fällt, was dazu führt, dass alle Elemente im Block auf Null gerundet werden.
Einfluss der Skalenquantisierung: Das Framework zeigt, dass für enge Verteilungen (kleines $\sigma$ ) der Fehlerbeitrag durch die Quantisierung des Skalierungsfaktors (speziell die Unfähigkeit, sehr kleine Nicht-Null-Skalen genau darzustellen) den Gesamtfehler dominiert. Wenn die Blockgröße sinkt, steigt die Wahrscheinlichkeit, auf diese engen Blöcke zu stoßen, und der begrenzte Dynamikbereich der UE4M3-Skalen (minimaler Nicht-Null-Wert $2^{-9}$ ) kann diese nicht mehr korrekt darstellen, was zur beobachteten Fehlerinversion führt.

Zentrale Beiträge

Entdeckung der Perplexitäts-Inversion: Das Paper identifiziert und charakterisiert eine spezifische Anomalie, bei der die Verringerung der Blockgröße in FP4-Mikroskalierungsformaten (mit FP8 UE4M3-Skalen) den Quantisierungsfehler für Modelle mit engen Gewichtsverteilungen erhöht.
Theoretischer Rahmen: Die Autoren stellen einen mathematischen Framework aus den Grundprinzipien bereit, der die Quellen des Quantisierungsfehlers entkoppelt. Dieser Rahmen sagt den Crossover-Punkt, an dem kleinere Blockgrößen nachteilig werden, mit hoher Präzision voraus und zeigt eine bemerkenswerte Übereinstimmung mit experimentellen Daten sowohl aus idealen Normalverteilungen als auch aus realen prätrainierten Modellen.
Hardware-freundliche Lösung (UE5M3): Basierend auf der Erkenntnis, dass der begrenzte Dynamikbereich der Skalen die Ursache ist, schlagen die Autoren die Verwendung von FP8 unsigned E5M3 (UE5M3) für die Skalierungsfaktoren vor.
- UE5M3 nutzt das ungenutzte Vorzeichenbit des Standard-UE4M3-Formats, um den Exponentenbereich zu erweitern.
- Dies senkt den minimalen Nicht-Null-Skalierungswert von $2^{-9}$ (UE4M3) auf $2^{-17}$ (UE5M3), was eine genaue Darstellung enger Blöcke ermöglicht, ohne eine globale Per-Tensor-Skalierung zu erfordern.
- Die Autoren zeigen, dass diese Modifikation vernachlässigbare Änderungen an der Hardware erfordert, da sie die bestehende Logik für E5M2- und E4M3-Formate nutzt.

Ergebnisse

Experimentelle Validierung: Die theoretischen Kurven für MSE vs. $\sigma$ stimmten mit hoher Präzision ( $\chi^2 \approx 4 \cdot 10^{-8}$ ) mit den experimentellen Daten überein. Das Modell sagte korrekt voraus, dass Modelle wie Granite-3.3-8b (enge Verteilung) bei einer Blockgröße von 16 unter Inversion leiden würden, während Llama-2-7b (weite Verteilung) dies nicht tun würde.
Leistung von UE5M3:
- Die Anwendung von UE5M3-Skalen auf FP4-Mikroskalierung eliminierte die mit UE4M3 beobachtete Perplexitäts-Inversion.
- Genauigkeit: In einer Testreihe von Benchmarks (Wiki, PIQA, HellaSwag, Winogrande, GSM8K, MMLU) erreichte UE5M3 eine Leistung, die mit dem konventionellen UE4M3-Format mit Per-Tensor-Skalierung (UE4M3-S) vergleichbar oder sogar besser ist.
- Effizienz: Im Gegensatz zu UE4M3-S, das eine dynamische Per-Tensor-Skalierung erfordert (was die Rechenkosten erhöht oder eine Vorab-Kalibrierung notwendig macht), arbeitet UE5M3 ohne globale Skalierungsoperationen und behält so die Hardware-Effizienz bei.
- Robustheit: Die Lösung funktionierte über verschiedene Architekturen hinweg, einschließlich Attention-basierter LLMs, State-Space Models (SSM) und Hybrid-Modellen.

Bedeutung und Ansprüche

Das Paper behauptet, dass die „feiner ist besser“-Annahme in der Mikroskalierung eine fundamentale Grenze hat, die durch das Zusammenspiel zwischen engen Tensorverteilungen und dem begrenzten Dynamikbereich quantisierter Skalen bedingt ist.

Kritische Erkenntnis: Die Anomalie ist kein Fehler des Mikroskalierungskonzepts an sich, sondern eine spezifische Einschränkung des aktuellen Standards (UE4M3-Skalen), wenn dieser auf bestimmte Datenverteilungen angewendet wird.
Praktische Auswirkung: Das vorgeschlagene UE5M3-Format bietet einen Weg, das volle Potenzial von Sub-8-Bit-Präzision (speziell FP4) auszuschöpfen, ohne die Genauigkeitseinbußen, die mit kleineren Blockgrößen einhergehen.
Hardware-Machbarkeit: Die Autoren betonen, dass ihre Lösung „hardware-freundlich“ ist und nur geringfügige Modifikationen an bestehenden KI-Beschleuniger-Designs erfordert (Erweiterung der Exponenten-Logik um ein Bit) statt eines kompletten architektonischen Umbaus.

Die Arbeit dient als Leitfaden für Hardware-Anbieter und Modellentwickler, um Genauigkeitsfallen in zukünftigen Quantisierungsformaten zu vermeiden, und stellt ein theoretisches Werkzeug zur Analyse der Auswirkungen einer weiteren Reduzierung der Präzision (z. B. auf Sub-4-Bit-Elemente oder Sub-8-Bit-Skalen) bereit.