Pretraining large language models with MXFP4
Dieser Artikel identifiziert, dass die Quantisierung von Gewichtsgradienten (Wgrad) die Hauptursache für Instabilität beim FP4-Training von Large Language Models im gesamten Pipeline ist, und zeigt, dass deterministische Hadamard-Rotationen anstelle von stochastischem Runden unerlässlich sind, um die Konvergenzstabilität wiederherzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem riesigen, brillanten Schüler (ein Large Language Model) beizubringen, Geschichten zu schreiben. Normalerweise geben Sie diesem Schüler, damit er effektiv lernt, Notizen in hochwertiger, detaillierter Tinte (genannt FP8-Präzision). Das funktioniert gut, doch die Notizen sind schwer, nehmen viel Platz im Rucksack des Schülers ein und verlangsamen, wie schnell er sie lesen kann.
Forscher wollten herausfinden, ob sie auf ultraleichte Notizen umsteigen könnten, die nur aus 4 Bits Information bestehen (MXFP4). Diese Notizen sind winzig und schnell und versprechen, den Schüler viel schneller lernen zu lassen. Doch es gibt einen Haken: Als sie versuchten, diese winzigen Notizen für den gesamten Lernprozess zu verwenden, geriet der Schüler oft in Verwirrung, begann wild zu raten und lernte nichts (das Training „divergierte").
Die Arbeit fragt: Warum passiert das, und wie lösen wir es?
Das Experiment: Ein Drei-Schritte-Test
Die Forscher richteten ein kontrolliertes Experiment ein, um genau herauszufinden, wo das Problem liegt. Sie unterteilten den Lernprozess in drei Phasen und tauschten die schweren Notizen schrittweise gegen die leichten aus, eine Phase nach der anderen:
- Vorwärtsdurchlauf (Fprop): Der Schüler liest die Frage.
- Aktivationsgradienten (Dgrad): Der Schüler ermittelt, wie stark er die Frage missverstanden hat.
- Gewichtsgradienten (Wgrad): Der Schüler aktualisiert sein Gehirn (die „Gewichte"), um die Lektion für das nächste Mal zu speichern.
Die Erkenntnisse:
- Phase 1 & 2: Als sie die leichten Notizen nur für das Lesen und das Ermitteln von Missverständnissen verwendeten, kam der Schüler gut zurecht. Er lernte fast genauso gut wie mit den schweren Notizen, benötigte lediglich ein paar zusätzliche Übungsaufgaben.
- Phase 3 (Das Problem): Sobald sie auf leichte Notizen für das Aktualisieren des Gehirns (Wgrad) umstellten, geriet der Schüler außer Kontrolle. Die Forscher stellten fest, dass dieser spezifische Schritt das „schwache Glied" ist. Es ist, als würde man versuchen, eine komplexe mathematische Korrektur auf ein winziges, zerknittertes Stück Papier zu schreiben; die Details gehen verloren, und der Schüler lernt die falsche Lektion.
Die gescheiterten Lösungen: Hinzufügen von Zufälligkeit
Als der Schüler zu scheitern begann, versuchten die Forscher einen gängigen Trick: Stochastik (Hinzufügen von Zufälligkeit).
- Die Analogie: Stellen Sie sich vor, der Schüler ist verwirrt, also sagen Sie ihm: „Raten Sie einfach zufällig!" oder „Drehen Sie ein Rad, um Ihre Antwort zu entscheiden."
- Das Ergebnis: Das funktionierte nicht. Tatsächlich verschlimmerte das Hinzufügen von Zufälligkeit zu den winzigen Notizen die Fehler. Das „Rauschen" der zufälligen Raten verstärkte die bereits in den leichten Notizen vorhandenen winzigen Fehler, was zum vollständigen Absturz des Trainings führte.
Die erfolgreiche Lösung: Die deterministische Mischoperation
Die Forscher versuchten dann einen anderen Ansatz: Deterministische Hadamard-Rotationen.
- Die Analogie: Anstatt zufällig zu raten, stellen Sie sich vor, der Schüler hat ein spezielles, starres Lineal, das die winzigen Notizen perfekt neu anordnet, bevor sie aufgeschrieben werden. Dieses Lineal fügt keine Zufälligkeit hinzu; es organisiert die Informationen einfach auf eine bestimmte, vorhersagbare Weise, damit die winzigen Notizen nicht zerknittert oder verloren gehen.
- Das Ergebnis: Das funktionierte perfekt. Durch die Verwendung dieser spezifischen, vorhersagbaren „Neuordnungs"-Methode konnte der Schüler die winzigen, schnellen Notizen für den gesamten Prozess (Lesen, Analysieren und Aktualisieren) verwenden, ohne in Verwirrung zu geraten.
Das Fazit
Die Arbeit kommt zu zwei Hauptergebnissen:
- Der Engpass: Der Hauptgrund, warum das 4-Bit-Training scheitert, liegt nicht allgemein daran, dass die Notizen zu klein sind; es liegt spezifisch daran, dass der Schritt der Gehirn-Aktualisierung (Wgrad) zu empfindlich gegenüber den winzigen Fehlern in diesen Notizen ist.
- Die Lösung: Um das 4-Bit-Training zum Laufen zu bringen, müssen Sie keine weitere Zufälligkeit hinzufügen. Sie benötigen Struktur. Durch die Verwendung einer spezifischen, vorhersagbaren mathematischen Mischoperation (Hadamard-Rotation) können Sie den Prozess stabilisieren.
Der Gewinn:
Als sie das Problem mit diesem „Neuordnungs-Lineal" behoben, wurde das System bei jedem Schritt des Lernens 20 % schneller. Da der Schüler stabil lernte, ohne zusätzliche Übungsaufgaben zu benötigen, war der gesamte Prozess von Anfang bis Ende etwa 10 % schneller abgeschlossen als mit der alten Methode der schweren Tinte.
Kurz gesagt: Sie können die superschnellen, winzigen Notizen verwenden, aber nur wenn Sie sie perfekt organisieren, bevor Sie sie aufschreiben. Wenn Sie einfach etwas Zufälligkeit hinzufügen, geht alles kaputt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.