🤖 machine learning

Finer is Better (with the Right Scaling)

Dieser Beitrag löst das Paradoxon, dass schrumpfende Quantisierungsblockgrößen die Leistung von Large Language Modellen verschlechtern, indem er nachweist, dass das Problem aus der ungünstigen Wechselwirkung von heavy-tailed-Verteilungen mit FP4-Formaten resultiert, und zeigt, dass gezielte algorithmische Eingriffe wie 4-over-6-Skalierung und Unterlaufverhinderung es standardkonformen Hardwareformaten ermöglichen, mit feinerer Granularität eine optimale Qualität zu erreichen.

Ursprüngliche Autoren: Clemens Schaefer, Gil Tabak

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Clemens Schaefer, Gil Tabak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Zu-fein"-Paradoxon

Stellen Sie sich vor, Sie versuchen, einen Koffer für eine Reise zu packen. Sie haben einen riesigen Haufen Kleidung (Daten) und nur begrenzten Platz (Speicher). Um alles unterzubringen, beschließen Sie, die Kleidung in immer kleinere Bündel (sogenannte Blöcke) zu schneiden, damit Sie sie effizienter organisieren können.

Intuitiv würde man denken: „Je kleiner die Bündel, desto besser kann ich alles unterbringen, oder?"

In der Welt der KI nennt man dies Quantisierung. Wissenschaftler versuchten, diese Bündel zu verkleinern, um KI-Modelle kleiner und schneller zu machen. Doch sie stießen auf ein seltsames Paradoxon: Als sie die Bündel zu klein machten, wurde die KI bei ihrer Aufgabe tatsächlich schlechter. Es war so, als würde man einen Koffer so sorgfältig packen, dass man am Ende die Kleidung zerquetscht und unbrauchbar macht.

Warum ist das passiert?

Die Autoren dieses Papiers untersuchten, warum dieses „zu-feine" Paradoxon auftrat. Sie fanden zwei Hauptschuldige:

1. Der „Null"-Fehler (Die leere Box)
Stellen Sie sich eine Box vor, die nur Zahlen aufnehmen kann. Wenn eine Zahl winzig ist, könnte das Lineal der Box sie auf Null runden. Wenn Sie ein ganzes Bündel winziger Zahlen haben, könnte das Lineal sagen: „Okay, alles in diesem Bündel ist Null", und das ganze Bündel wegwerfen.

Die Lösung: Das Papier schlägt eine einfache Regel vor: Lassen Sie das Lineal niemals Null sagen. Wenn eine Zahl zu klein ist, zwingen Sie das Lineal, die kleinstmögliche positive Zahl zu verwenden. Dadurch bleibt die Information erhalten.

2. Das „Grobe Lineal"-Problem (Das grobe Gitter)
Dies ist das größere Problem. Die KI verwendet eine bestimmte Art von „Lineal" (genannt E4M3), um diese Bündel zu messen. Dieses Lineal hat sehr große Lücken zwischen seinen Markierungen, besonders am oberen Ende.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Gebirgslandschaft mit einem Lineal zu vermessen, das nur Markierungen für 1 Fuß, 2 Fuß, 4 Fuß und 6 Fuß hat.
- Wenn Sie einen kleinen Hügel haben (ein kleiner Datenblock), könnte das Lineal Sie zwingen, einen 5,9-Fuß-Hügel auf 6 Fuß aufzurunden. Das ist ein riesiger Fehler!
- Wenn Sie die Bündel kleiner machen, landen Sie mit mehr dieser „hohen" Zahlen, die in diesen großen, ungeschickten 6-Fuß-Eimer gezwungen werden. Je kleiner das Bündel, desto häufiger passiert diese schlechte Rundung, und desto schlechter performt die KI.

Die Lösungen: Wie sie es behoben haben

Die Autoren testeten drei Hauptwege, um dies zu beheben, und bewiesen, dass feinere Blöcke besser sind, aber nur, wenn Sie die richtigen Werkzeuge verwenden.

1. Die „Nicht zur Null gehen"-Regel
Sie programmierten das System einfach so, dass es niemals zulässt, dass ein Skalierungsfaktor Null wird.

Ergebnis: Dies löste das Problem für winzige Zahlen, aber es löste das Problem nicht für die „hohen" Zahlen, die auf 6 aufgerundet wurden.

2. Die „4-oder-6"-Wahl (Die 4-über-6-Methode)
Dies ist das „Geheimrezept" des Papiers. Anstatt ein festes Lineal zu verwenden, kann das System für jedes Bündel zwischen zwei spezifischen Einstellungen wählen: 4 oder 6.

Die Analogie: Stellen Sie sich vor, Sie packen eine Box. Manchmal passen Ihre Gegenstände am besten in eine „Mittelgroße" Box (4), und manchmal passen sie am besten in eine „Große" Box (6). Anstatt alles in eine „Große" Box zu zwingen (was die kleinen Sachen zerquetscht), prüft das System: „Welche dieser beiden Boxen passt am besten zu diesem spezifischen Bündel?"
Ergebnis: Dies ermöglichte es der KI, die ungeschickten Rundungsfehler zu vermeiden. Als sie diese Methode anwandten, verschwand das „Paradoxon". Kleinere Bündel wurden plötzlich viel besser, genau wie es sein sollte.

3. Der „Brute-Force"-Check
Um ihren Standpunkt zu beweisen, führten sie eine Computersuche durch, die jeden möglichen Weg zum Messen der Bündel ausprobierte, um den perfekten zu finden.

Ergebnis: Dies bewies, dass theoretisch kleinere Bündel immer besser funktionieren, wenn man die perfekte Messung auswählt. Dass die KI zuvor versagte, lag nicht daran, dass kleine Bündel schlecht sind; es lag einfach daran, dass sie eine schlechte Messmethode verwendeten.

Der Realwelt-Test: Funktioniert das bei echter KI?

Sie testeten dies an vier berühmten KI-Modellen (Granite, Llama, DeepSeek und Qwen).

Das Problem: Zwei der Modelle (Granite und Llama) wurden schlechter, als die Bündel kleiner wurden, genau wie das Paradoxon vorhersagte.
Die Lösung: Als sie die „4-oder-6"-Wahl und die „Nicht zur Null gehen"-Regel anwandten, hörten diese Modelle auf, schlechter zu werden. Tatsächlich wurden sie besser, je kleiner die Bündel wurden.
Der Vergleich: Sie versuchten auch, ein ausgefalleneres, teureres Lineal (genannt UE5M3) zu verwenden, das mehr Markierungen hat. Das funktionierte ebenfalls gut, erfordert jedoch mehr Hardware-Leistung. Ihr „4-oder-6"-Trick ermöglichte es ihnen, das billigere, Standard-Lineal zu verwenden und die gleichen großartigen Ergebnisse zu erzielen.

Das Fazit

Das Papier kommt zu dem Schluss, dass KI-Modelle kleiner und effizienter zu machen (durch winzige Blöcke) eine großartige Idee ist. Der Grund, warum es zuvor versagte, war kein Fehler in der Idee selbst, sondern ein Fehler im verwendeten „Maßband".

Durch die Verwendung einer intelligenteren Methode zur Auswahl, wie die Daten gemessen werden (insbesondere die „4-über-6"-Methode), können wir KI-Modelle kleiner, schneller und genauer machen, ohne teure neue Hardware zu benötigen. Das Paradoxon ist gelöst: Feiner ist tatsächlich besser, solange man die richtige Skalierung hat.

Technisches Fazit: Feiner ist besser (mit der richtigen Skalierung)

Problemstellung
Der Einsatz von Large Language Models (LLMs) auf Datacenter- und Edge-Architekturen stützt sich zunehmend auf ultraniedrige Präzisionsformate (4 Bit oder weniger), um Speicher- und Bandbreitenengpässe zu mildern. Mikroskalierung, bei der individuelle Skalierungsfaktoren auf kleine Datenblöcke (z. B. Größe 16 oder 32) angewendet werden, ist eine entscheidende Technik zur Erhaltung der Modellqualität in diesen Regimen. Ein in der Literatur [1] identifiziertes, jüngstes Paradoxon widerspricht jedoch der intuitiven Erwartung, dass feinere Blockgrößen zu einem geringeren Quantisierungsfehler führen. Insbesondere kann bei Verwendung der Standard-Skalierung nach absolutem Maximum (abs-max) mit E4M3-Skalierungsfaktoren die Verkleinerung der Blockgrößen paradoxerweise die Modellqualität verschlechtern, was zu einem höheren mittleren quadratischen Fehler (MSE) und einer erhöhten Perplexität in nachgelagerten Aufgaben führt. Dieser Beitrag untersucht die zugrundeliegenden Mechanismen dieses Phänomens, um festzustellen, ob es sich um eine inhärente Einschränkung feiner Granularität oder um ein lösbare algorithmische Frage handelt.

Methodik
Die Autoren führen eine zweiphasige Untersuchung durch, die numerische Analysen und die Evaluierung vollständiger Modelle kombiniert:

Numerische Studie: Die Autoren analysieren das Quantisierungsverhalten über verschiedene Blockgrößen (4, 8, 16, 32) unter Verwendung von FP4 (OCP E2M1) für Daten und E4M3 für Skalierungsfaktoren. Sie probieren Normalverteilungen aus, um das theoretische MSE-Verhalten zu isolieren.
Skalierungsstrategien: Die Studie bewertet mehrere Skalierungsmethoden:
- Standard Abs-Max: Die Baseline-Methode, bei der der Skalierungsfaktor den maximalen absoluten Wert im Block darstellt, gerundet auf den nächsten darstellbaren Wert im E4M3-Format.
- Prevent-Zero: Eine Modifikation, bei der der Skalierungsfaktor auf den kleinsten nicht-null darstellbaren Wert ( $\epsilon_{SF}$ ) begrenzt wird, um ein Unterlaufen auf Null zu verhindern, was andernfalls alle Werte in einem Block auf Null kollabieren ließe.
- 4-over-6: Ein algorithmischer Eingriff [2], der den Skalierungsfaktor aus den beiden größten darstellbaren Werten im FP4-Bereich (4,0 und 6,0) auswählt, um den MSE für einen spezifischen Block zu minimieren und damit die Quantisierungsgeometrie effektiv anzupassen.
- Brute-Force-Suche: Eine optimale Baseline, die alle möglichen Skalierungsfaktoren durchsucht, um das theoretische Minimum des MSE zu finden und die Obergrenze der Leistung festzulegen.
- Hierarchische Skalierung: Ein zweistufiger Prozess, der einen globalen Skalierungsfaktor pro Tensor gefolgt von lokalen Blockskalierungen umfasst.
Nachgelagerte Evaluierung: Die vorgeschlagenen Strategien werden auf die Gewichts- und Aktivierungsquantisierung (insbesondere MLP-Schichten) von vier verschiedenen LLMs angewendet: Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base und Qwen2.5-14B. Die Leistung wird anhand von Perplexitätslücken im Vergleich zu nicht quantisierten Baselines gemessen.

Wichtige Erkenntnisse und Ergebnisse
Die Studie identifiziert, dass die bei kleineren Blockgrößen beobachtete Verschlechterung kein inhärenter Fehler feiner Granularität ist, sondern eine Folge von schwer gewichteten Tensorverteilungen, die in unvorteilhafter Weise mit den groben oberen Quantisierungsbins des FP4-Formats (E2M1) interagieren.

Bereich A (Extrem kleine Skalen): Die Standard-Abs-Max-Skalierung führt häufig dazu, dass der Skalierungsfaktor auf Null unterläuft, was einen Anstieg des MSE verursacht. Die Prevent-Zero-Anpassung eliminiert diesen lokalen Fehler vollständig, indem sie den Skalenwert auf den kleinsten positiven Wert erzwingt.
Bereich B (Moderate Skalen): Selbst mit Null-Prävention persistiert eine paradoxe Umkehrung, bei der kleinere Blöcke einen höheren MSE ergeben. Dies liegt daran, dass die größten Werte in einem Block oft schlecht mit dem groben E4M3-Gitter übereinstimmen, was zu übermäßiger Beschneidung (Clipping) im Bin mit der größten Betragsgrenze (6,0) führt. Die 4-over-6-Methode löst dies, indem sie adaptiv zwischen Skalierungsfaktoren von 4,0 und 6,0 wählt, wodurch Werte in den gleichmäßigeren Teil des FP4-Bereichs passen und eine starke Beschneidung vermieden wird.
Optimale Baseline: Die Brute-Force-Suche bestätigt, dass bei Auswahl des idealen Skalierungsfaktors der MSE strikt mit abnehmender Blockgröße verbessert wird, was validiert, dass „feiner ist besser" theoretisch fundiert ist.
Modellspezifisches Verhalten: Bei nachgelagerten LLM-Evaluierungen verhalten sich Modelle wie DeepSeek und Qwen intuitiv und zeigen bei kleineren Blockgrößen eine verbesserte Perplexität. Umgekehrt weisen Granite und Llama bei Blockgrößen 4 und 8 unter Standard-Skalierung eine paradoxe Verschlechterung auf.
- Die Anwendung von Prevent-Zero bietet lokale Verbesserungen, löst jedoch die U-förmige Perplexitätskurve für Granite und Llama nicht vollständig.
- Die Anwendung von 4-over-6 reduziert die Perplexitätslücke erheblich (z. B. Reduzierung der Llama-Lücke von 0,725 auf 0,270 bei Blockgröße 4) und beseitigt das Paradoxon effektiv.
- Format-Austauschbarkeit: Der Beitrag zeigt, dass die Verwendung von Standard-E4M3-Skalierungsfaktoren in Kombination mit hierarchischer Skalierung und der 4-over-6-Strategie Ergebnisse liefert, die mit der Verwendung benutzerdefinierter, breiterer Exponentenformate wie UE5M3 vergleichbar sind. Während UE5M3 inhärent einen breiteren absoluten Bereich bietet, erzielt das algorithmische Rezept (E4M3 + 4-over-6 + Hierarchisch) ähnliche Qualitätsverbesserungen.

Bedeutung und Behauptungen
Die Autoren behaupten, das „Blockgrößen-Paradoxon" vollständig gelöst zu haben, indem sie nachweisen, dass die Verschlechterung durch spezifische Interaktionen zwischen Tensorverteilungen und Quantisierungsgeometrie getrieben wird und nicht durch die Blockgröße selbst.

Algorithmische Lösung: Die Arbeit stellt fest, dass Standard-Formate, die hardwarekonform sind (wie OCP E4M3), die Leistung von benutzerdefinierten, breiteren Exponentenformaten (wie UE5M3) erreichen können, wenn das richtige algorithmische Rezept (insbesondere 4-over-6 und hierarchische Skalierung) angewendet wird.
Hardware-Abwägungen: Der Beitrag hebt einen Kompromiss hervor: Während UE5M3 mehr Flexibilität ohne Notwendigkeit hierarchischer Skalierung bietet, verursacht der 4-over-6-Algorithmus einen rechnerischen Overhead (erfordert zwei Quantisierungen und MSE-Berechnungen pro Block). Dieser Overhead ist für die offline Gewichtsquantisierung akzeptabel, kann jedoch für dynamische Aktivierungsquantisierung prohibitiv sein.
Zukünftige Richtungen: Die Autoren stellen fest, dass aktuelle Heuristiken immer noch hinter dem theoretischen Minimum des MSE zurückbleiben, das durch die Brute-Force-Suche etabliert wurde, was darauf hindeutet, dass die Entwicklung optimaler Algorithmen zur Skalierungsauswahl ein kritischer Bereich für zukünftige Forschung bleibt.

Zusammenfassend behauptet der Beitrag, dass mit den richtigen Skalierungsstrategien die theoretischen Vorteile feiner Mikroskalierungs-Granularität in der Praxis realisiert werden können, was robuste Verbesserungen der nachgelagerten Perplexität über diverse LLM-Architekturen hinweg ermöglicht.