🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

Dieser Beitrag identifiziert und löst zwei unterschiedliche Fehlermodi beim quantisierungsbewussten Training von HiF8 W8A8 – nämlich Amax-Sättigung und katastrophales Vergessen – durch die Einführung einer Skalenschätzstrategie mit Maximalfenster und eines BF16-Warmup-Plans und erzielt damit nahezu verlustfreie Leistung am Modell OpenPangu-Embedded-1B.

Ursprüngliche Autoren: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, gut informierte Bibliothekarin (das KI-Modell), die jahrelang eine riesige Bibliothek voller Bücher auswendig gelernt hat. Nun möchten Sie diese massive Bibliothek so weit verkleinern, dass sie in einen winzigen, tragbaren Rucksack (ein leistungsschwaches Gerät) passt, ohne dabei auch nur eine der Geschichten oder Fakten im Inneren zu verlieren. Dieser Prozess wird als Quantisierung bezeichnet.

Der Artikel beschreibt ein spezifisches Experiment, bei dem die Forscher versuchten, ein KI-Modell mit einer Milliarde Parametern unter Verwendung eines neuen, kompakten Formats namens HiF8 (High-precision Float 8) zu verkleinern. Stellen Sie sich HiF8 als eine „intelligente Komprimierung" vor, die die wichtigsten Details scharf hält, während der Rest komprimiert wird.

Die Forscher stellten jedoch fest, dass das bloße Verkleinern der Bibliothek nicht ausreichte. Sie entdeckten zwei verborgene „Fallstricke", die das Gedächtnis des Modells ruinieren könnten, selbst wenn der Trainingsprozess auf dem Papier perfekt aussah.

Hier ist die Aufschlüsselung ihrer Reise, einfach erklärt:

Die zwei verborgenen Fallstricke

1. Der „Blindstellen"-Fallstrick (Amax-Sättigung)
Stellen Sie sich vor, die Bibliothekarin versucht, Bücher auf einem Regal zu organisieren, verwendet aber ein Lineal, das etwas zu kurz ist.

Das Problem: Die KI muss die „lauteste" oder „größte" Zahl kennen, die sie sieht, um den Maßstab für die Komprimierung festzulegen. Die Forscher verwendeten eine Methode namens Delayed Tensor Scaling (DTS). Das ist so, als würde die Bibliothekarin das vorherige Buch betrachten, um die Größe des aktuellen Buches zu erraten.
Das Versagen: Wenn das aktuelle Buch plötzlich riesig ist (ein „Spitze" in den Daten), ist die Schätzung der Bibliothekarin (basierend auf dem vorherigen Buch) zu klein. Das Buch wird am Rand des Regals „abgeschnitten" oder abgeschnitten.
Die Heimtücke: Die interne „Wertungstabelle" der KI (Trainingsverlust) zeigte dies nicht an. Es war, als würde die Bibliothekarin sagen: „Ich organisiere gut!", während sie heimlich Seiten aus den Büchern riss. Der Schaden zeigte sich erst später, als sie das Wissen der Bibliothekarin bei bestimmten Quizfragen (wie ARC oder MMLU) testeten.

2. Der „Über-eifrige Schüler"-Fallstrick (Katastrophales Vergessen)
Stellen Sie sich vor, die Bibliothekarin ist so eifrig, neue Geschichten aus einem neuen Satz von Büchern zu lernen, dass sie anfängt, die alten Klassiker aus ihrem Gedächtnis zu löschen, um Platz zu schaffen.

Das Problem: Die Forscher unterrichteten das Modell mit einer „Lernrate" (wie schnell es lernt), die zu aggressiv war.
Das Versagen: Das Modell lernte die neuen Daten so schnell, dass es den gesunden Menschenverstand und die Fakten, die es während seines ursprünglichen Trainings gelernt hatte, vollständig vergaß.
Die Heimtücke: Dies geschah selbst ohne die Komprimierung. Wenn sie das Modell bei dieser hohen Geschwindigkeit normal trainierten, vergaß es trotzdem alles. Da sie das Modell jedoch auch komprimierten, schoben sie das Versagen auf die Komprimierung und nicht auf die Geschwindigkeit.

Die Lösung: Eine zweigeteilte Korrektur

Die Forscher führten acht verschiedene Experimente durch, um herauszufinden, wie sie diese Fallstricke beheben können. Sie stellten fest, dass das Beheben nur eines nicht ausreichte; sie mussten beide gleichzeitig beheben.

Korrektur #1: Das „Sicherheitsnetz" (Max-Window-Strategie)
Um die „Blindstelle" zu stoppen, änderten sie, wie die Bibliothekarin die Buchgrößen schätzt.

Anstatt nur das vorherige Buch zu betrachten, sagten sie der Bibliothekarin, sie solle das größte Buch betrachten, das in den letzten 64 Büchern gesehen wurde.
Dies ist ein „konservativer" Ansatz. Es macht das Regal etwas größer als unbedingt notwendig (ein wenig überkonservativ), garantiert aber, dass kein Buch jemals abgeschnitten wird. Dieser kleine „zusätzliche Platz" half dem Modell tatsächlich, stabil zu bleiben, und wirkte wie ein sanfter Regularisierer.

Korrektur #2: Die „Abkühlung" (Warmup und langsameres Lernen)
Um den „über-eifrigen Schüler" zu stoppen, änderten sie den Trainingsplan.

Das Warmup: In den ersten 500 Schritten komprimierten sie das Modell überhaupt nicht. Sie ließen es sich mit den neuen Daten in seinem vollen, hochwertigen Format (BF16) einleben. Dies ermöglichte es dem Modell, in einen stabilen Zustand zu gelangen, bevor die „Rucksack"-Komprimierung angewendet wurde.
Das Verlangsamen: Sie verlangsamten die Lerngeschwindigkeit drastisch (Senkung der Lernrate). Dies verhinderte, dass das Modell seine alten, wertvollen Kenntnisse verzweifelt mit neuen Daten überschrieb.

Das Ergebnis

Als sie diese beiden Korrekturen kombinierten, war das Ergebnis nahezu verlustfrei.

Das komprimierte Modell (HiF8) performte fast genau so gut wie das unkomprimierte, vollformatige Modell.
Der Leistungsabfall bei schwierigen Quizfragen war winzig (in den meisten Fällen weniger als 0,5 %).
Entscheidend bewiesen sie, dass das Modell auch dann scheiterte, wenn sie nur das „Sicherheitsnetz" verwendeten, aber die „über-eifrige" Geschwindigkeit beibehielten. Und wenn sie die Geschwindigkeit verlangsamten, aber das „Blindstellen"-Lineal beibehielten, scheiterte es ebenfalls. Beide Korrekturen waren notwendig.

Was nicht funktionierte (und warum)

Nur das letzte Buch betrachten: Führt dazu, dass Bücher abgeschnitten werden.
Die Schätzung glätten: Versuchte, vergangene Bücher zu mitteln, scheiterte jedoch, wenn sich die Daten unvorhersehbar änderten.
Das aktuelle Buch sofort überprüfen: Dies erforderte einen zweiten Blick auf die Daten, was zu langsam war und dazu führte, dass die Regalgröße zu stark schwankte, was das Modell verwirrte.
Training mit hoher Geschwindigkeit: Selbst ohne Komprimierung ließ dies das Modell alles vergessen.

Das Fazit

Der Artikel lehrt uns, dass man beim Verkleinern eines intelligenten KI-Modells nicht nur auf die „Trainingspunktzahl" schauen kann, um zu sehen, ob es funktioniert. Man muss vorsichtig sein mit wie man die Daten misst (um Abschneiden zu vermeiden) und wie schnell man es unterrichtet (um Vergessen zu vermeiden). Durch die Verwendung eines „Sicherheitsnetzes" für die Datengröße und eines „langsamen, stetigen" Lerntempos können Sie ein riesiges Gehirn in einen winzigen Rucksack packen, ohne seinen Verstand zu verlieren.

Technische Zusammenfassung: Max-Fenster-Skalenschätzung für nahezu verlustfreie HiF8 W8A8-Quantisierungsbewusste Training

Problemstellung

Der Einsatz von Large Language Models (LLMs) in ressourcenbeschränkten Umgebungen erfordert eine aggressive Quantisierung, insbesondere unter Verwendung von 8-Bit-Gleitkommaformaten (FP8) wie HiF8 (High-precision Float 8). Während das quantisierungsbewusste Training (QAT) darauf abzielt, vortrainierte Modelle an niedrigbitige Darstellungen anzupassen, führt es zu subtilem Versagensmodi, die für Standardtrainingsmetriken wie den Kreuzentropieverlust unsichtbar sind.

Insbesondere beinhaltet die Anwendung von QAT auf vortrainierte Modelle einen komplexen Zielkonflikt: die Bewahrung des vortrainierten Wissens bei gleichzeitiger Anpassung der internen Darstellungen an Quantisierungsrauschen. Die Autoren identifizieren, dass der Standardtrainingsverlust oft eine Verschlechterung nicht signalisiert, was zu zwei distincten, orthogonalen Versagensmodi in HiF8 W8A8 QAT führt:

$A_{max}$ -Sättigung: Verursacht durch die zeitliche Verzögerung bei der verzögerten Tensor-Skalierung (DTS), wobei der geschätzte Skalierungsfaktor auf historischen Daten basiert. Wenn das wahre Aktivationsmaximum des aktuellen Schritts den vorhergesagten Skalenwert überschreitet, werden Werte abgeschnitten, was die Vorwärtsaktivierungen korrumpiert, während der Straight-Through Estimator (STE) fälschlicherweise Gradienten durchlässt, als ob kein Abschneiden stattgefunden hätte.
Katastrophales Vergessen: Verursacht durch eine zu aggressive Lernrate während des fortgesetzten Vortrainings, die vortrainiertes gesundes Allgemeinwissen unabhängig vom Quantisierungsschema überschreibt.

Methodik

Die Studie konzentriert sich auf das OpenPangu-Embedded-1B-Modell (1 Milliarde Parameter) unter Verwendung des HiF8 W8A8-Formats. Die Methodik umfasst eine systematische Untersuchung durch acht kontrollierte Experimente, um die Ursachen der Leistungsverschlechterung zu entwirren.

Konfiguration der Quantisierung

Format: HiF8 verwendet eine gestufte Mantissenpräzision basierend auf dem Betragswert (3 Bits für $|x| \le 8$ , 2 Bits für $|x| \le 128$ , 1 Bit für größere Werte).
Modulauswahl: Um Effizienz und Stabilität auszugleichen, werden nur MLP-Schichten (Gate-, Up- und Down-Projektionen) in den mittleren 21 Transformer-Blöcken quantisiert. Attention-Projektionen, Embeddings, Layernorms und die Randblöcke (die ersten 3 und die letzten 2) bleiben in BF16, um den Umgang mit Ausreißern und die Ausgangspräzision zu erhalten.
Trainingsprotokoll: Die Experimente nutzen den FineWeb-Datensatz mit einer globalen Batch-Größe von 1024 und einer Sequenzlänge von 1024 über 10.000 Schritte.

Experimentelle Variablen

Der Kern der Untersuchung vergleicht verschiedene $A_{max}$ -Schätzungsalgorithmen und Lernraten:

$A_{max}$ -Algorithmen:
- Most-Recent (DTS): Verwendet das Maximum des vorherigen Schritts.
- Exponentielle Glättung (DTS): Verwendet einen laufenden Durchschnitt.
- Max-Fenster (DTS): Verwendet den Maximalwert über ein 64-Schritte-Historienfenster.
- Current Tensor Scaling (CTS): Berechnet das Maximum aus dem aktuellen Schritt (erfordert einen zweiten Vorwärtspass).
Lernraten: Die Experimente testeten $10^{-4}$ (ursprünglich als sicher für BF16-Baselines erachtet) und $10^{-5}$ .
Warmup: Eine 500-Schritte-BF16-Warmup-Phase wurde in späteren Experimenten eingeführt, um die Gewichte zu stabilisieren und die $A_{max}$ -Historie mit repräsentativen Werten zu füllen, bevor die Quantisierung aktiviert wird.

Hauptbeiträge

Die Arbeit leistet vier primäre Beiträge basierend auf der Entwirrung der Versagensmodi:

Identifikation orthogonaler Versagensmodi: Die Autoren zeigen, dass Benchmark-Verschlechterungen in HiF8 QAT aus zwei unabhängigen Quellen stammen: $A_{max}$ -Sättigung (ein quantisierungsspezifisches Problem) und katastrophales Vergessen (ein Problem der Trainingsdynamik). Entscheidend ist, dass keines von beiden allein über den Trainingsverlust erkennbar ist; beide manifestieren sich erst in nachgelagerten Evaluierungen.
Konservative Max-Fenster-Strategie: Um die $A_{max}$ -Sättigung zu adressieren, schlägt die Arbeit vor, Standardalgorithmen durch einen Max-Algorithmus über ein 64-Schritte-Historienfenster zu ersetzen. Dies bietet eine harte Garantie gegen skaleninduzierte Sättigung für jeden Schritt innerhalb des Beobachtungsfensters. Die leichte Überkonservativität wirkt als vorteilhafte Regularisierung.
Zweiphasiges Trainingsprotokoll: Um katastrophales Vergessen zu mildern, führen die Autoren ein Protokoll ein, das eine 500-Schritte-BF16-Warmup-Phase gefolgt von QAT mit einer reduzierten Lernrate von $10^{-5}$ umfasst. Das Warmup stellt sicher, dass das Modell einen stabilen Gewichtsregime erreicht und die $A_{max}$ -Historie mit repräsentativen Werten füllt, während die niedrigere Lernrate das Überschreiben vortrainierten Wissens verhindert.
Umfassende Fehleranalyse: Die Studie dokumentiert, warum frühere Ansätze scheiterten:
- Most-Recent leidet unter 1-Schritt-Verzögerungssättigung.
- Exponentielle Glättung versagt bei nicht-monotonen Aktivierungsdynamiken.
- CTS führt zu per-Schritt-Schwankungen, die stabile Darstellungen korrumpieren.
- Hohe Lernraten ( $10^{-4}$ ) verursachen signifikantes Vergessen unabhängig von der Quantisierung.

Ergebnisse

Die finale Konfiguration (Max-Fenster-Algorithmus + 500-Schritte-Warmup + $lr=10^{-5}$ ) erreicht eine nahezu verlustfreie Quantisierung im Vergleich zu einer angepassten BF16-Baseline, die mit derselben Lernrate trainiert wurde:

MMLU: 0,43 % Rückgang (43,17 % vs. 43,36 % Baseline).
HellaSwag: 0,58 % Rückgang.
ARC-Challenge: 0,22 % Rückgang.
Trainingsverlust: Der durchschnittliche prozentuale Fehler (APE) zwischen HiF8 QAT und BF16-Baseline beträgt über 10.000 Schritte nur 0,11 %.

Bemerkenswerterweise zeigten Experimente, dass keine der beiden Korrekturen allein ausreichte. Die Verwendung des Max-Algorithmus bei $lr=10^{-4}$ führte immer noch zu ~3 % Rückgängen bei ARC-Aufgaben aufgrund von Vergessen. Umgekehrt würde die Verwendung von $lr=10^{-5}$ mit einem Standard-most-recent-Algorithmus immer noch unter Sättigung leiden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass erfolgreiches HiF8 QAT für vortrainierte Modelle die gleichzeitige Behandlung der Wechselwirkung zwischen Skalenstabilität und Lern-dynamik erfordert. Die Bedeutung der Arbeit liegt in:

Diagnose des „unsichtbaren" Versagens: Hervorhebung, dass der Standardtrainingsverlust eine unzureichende Metrik für die QAT-Qualität ist, da er Sättigung und Vergessen maskiert, die nur in nachgelagerten Benchmarks auftreten.
Bereitstellung einer robusten Lösung: Demonstration, dass eine konservative $A_{max}$ -Schätzstrategie in Kombination mit einer niedrigeren Lernrate und Warmup nahezu verlustfreie Leistung (unter 1 % Rückgang bei wichtigen Benchmarks) für Modelle mit 1 Milliarde Parametern erreichen kann.
Klärung von Designachsen: Etablierung, dass die Wahl des $A_{max}$ -Algorithmus und der Lernrate kritische, voneinander abhängige Designachsen sind und keine isolierten Hyperparameter.

Die Autoren schließen, dass die aktuelle Konfiguration zwar für 1B-Modelle effektiv ist, zukünftige Arbeiten jedoch schichtspezifische Lernraten, adaptive Warmups und die Erhöhung der Anzahl hochpräziser Schichten untersuchen könnten, um verbleibende Lücken weiter zu schließen.