🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

Das Papier schlägt M+Adam vor, einen neuartigen Optimierer, der additive und multiplikative Updates kombiniert, um die komplementären Ausfallmodi des Low-Precision-Trainings zu überwinden und somit ein stabiles sowie präzises Training von LLaMA-ähnlichen Modellen unter Verwendung von ausschließlich BF16-, FP8- und FP4-Mastergewichten zu ermöglichen.

Ursprüngliche Autoren: Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, hochintelligenten Roboter (einem Large Language Model) beizubringen, wie ein Mensch zu schreiben. Um dies zu tun, müssen Sie Millionen von winzigen Reglern am Gehirn des Roboters anpassen. Normalerweise werden diese Regler mit extremer Präzision eingestellt, als würde man eine Schraube unter einem Mikroskop drehen. Aber Mikroskope sind schwer, langsam und teuer.

Die Arbeit stellt die Frage: Was wäre, wenn wir stattdrüben einen billigen, leichten Schraubenschlüssel verwenden würden?

Dies ist die Welt des Low-Precision Training (Präzisionsarmen Trainings). Anstatt hochpräzise „Master-Gewichte“ (das Gedächtnis des Roboters für die Regler) zu verwenden, versuchen Forscher, diese in einem kleineren, gröberen Format wie BF16, FP8 oder sogar FP4 zu speichern. Es ist, als würde man die Höhe eines Berges mit einem Lineal messen, das nur alle 10 Fuß Markierungen hat.

Das Problem: Die „Rundungsfalle“

Die Autoren entdeckten, dass bei der Verwendung dieser groben Lineale die Standard-Trainingsmethoden (genannt Adam) gegen eine Wand laufen. Hier ist der Grund:

Das Problem des großen Berges: Wenn ein Regler auf eine riesige Zahl eingestellt ist, liegen die Markierungen des „Lineals“ sehr weit auseinander. Wenn der Roboter den Regler nur um einen winzigen Betrag bewegen muss, kann das Lineal dies nicht sehen. Die winzige Bewegung wird auf Null gerundet, und der Roboter denkt: „Ich habe mich gar nicht bewegt!“ Der Roboter bleibt stecken und ist unfähig, den Berg zu erklimmen.
Das Null-Tal-Problem: Andere Methoden versuchten dies zu beheben, indem sie multiplikative Updates verwendeten (wie Madam). Anstatt einen winzigen Wert zu addieren, multiplizieren sie den Regler mit einem Faktor. Das funktioniert hervorragend für große Berge, da die Schrittgröße mit dem Regler wächst. Jedoch, wenn ein Regler exakt bei Null feststeckt, kann man ihn durch Multiplikation nicht in Bewegung setzen. Es ist, als würde man versuchen, ein Auto zu schieben, das keine Räder hat; die Multiplikation von Null mit irgendetwas ergibt immer noch Null. Auch wenn der Regler von positiv nach negativ wechseln muss (die Null kreuzt), werden diese Methoden verwirrt und können diesen Wechsel nicht vollziehen.

Die Lösung: M+Adam (Der Zwei-Werkzeug-Satz)

Die Arbeit stellt M+Adam vor, einen neuen Optimierer, der wie ein kluger Mechaniker fungiert, der gleichzeitig zwei verschiedene Werkzeuge trägt. Er kombiniert das Beste aus beiden Welten, um die „komplementären Ausfallmodi“ zu beheben.

Werkzeug 1: Der additive Schraubenschlüssel (Adam-Stil). Dieses Werkzeug eignet sich gut für kleine, präzise Anpassungen. Es kann einen Regler von Null weg bewegen, das Vorzeichen von positiv nach negativ ändern und winzige Bewegungen am Boden des Tals bewältigen.
Werkzeug 2: Der multiplikative Hebel (Madam-Stil). Dieses Werkzeug ist ideal für die schweren Arbeiten. Wenn der Regler riesig ist und der additive Schraubenschlüssel durch die „Rundung“ wirkungslos wird, tritt der multiplikative Hebel in Kraft. Er skaliert den Regler hoch oder runter und stellt sicher, dass der Roboter weiterhin Fortschritte macht, selbst auf den höchsten Bergen.

M+Adam nutzt beide Werkzeuge gleichzeitig. Wenn das additive Werkzeug aufgrund von Rundungsfehlern stecken bleibt, hält das multiplikative Werkzeug den Roboter in Bewegung. Wenn der multiplikative Hebel die Null nicht verlassen kann, drückt das additive Werkzeug ihn heraus.

Der Beweis: Hat es funktioniert?

Die Autoren haben nicht nur geraten; sie haben dies in einem massiven Maßstab getestet.

Der Test: Sie trainierten „LLaMA-ähnliche“ Sprachmodelle mit einer Größe von 60 Millionen bis 1 Milliarde Parametern.
Das Budget: Sie verwendeten Trainingsbudgets von 1x bis 8x dem Standard-„Chinchilla“-Budget (ein Standardmaß dafür, wie viele Daten ein Modell sieht).
Die Präzision: Sie testeten mit BF16-, FP8- und NVFP4-Mastergewichten.

Die Ergebnisse:
In jedem einzelnen Test schlug M+Adam den Standard-Adam-Optimierer konsequent.

In der extremsten Low-Precision-Einstellung (NVFP4) reduzierte M+Adam die „Perplexity“ (ein Maß dafür, wie verwirrt das Modell ist) beim 350M-Modell im Vergleich zu Adam um 16,6 %.
Selbst mit 1 Milliarde Parametern zeigte M+Adam in allen Präzisionsregimen deutliche Verbesserungen gegenüber Adam.

Die Arbeit beweist mathematisch, dass dieser kombinierte Ansatz garantiert, dass der Trainingsverlust sinkt (ein „monotoner Abstieg“), was bedeutet, dass der Roboter immer lernt und niemals in einer Schleife stecken bleibt.

Was es NICHT ist

Es ist wichtig zu wissen, was diese Arbeit nicht behauptet:

Sie sagt nicht, dass M+Adam ein magisches Mittel ist, das alle Speicherkosten eliminiert. Tatsächlich stellt die Arbeit fest, dass M+Adam einen winzigen zusätzlichen Speicherbedarf hat (einen extra „Zustand“ für das multiplikative Werkzeug), obwohl sie zeigen, dass dieser später komprimiert werden kann.
Sie behauptet nicht, dass Standardmethoden wie Stochastic Rounding (eine Technik, um Rundungsfehler zu beheben) nutzlos sind. Sie haben Adam mit Stochastic Rounding getestet, und M+Adam schnitt dennoch besser ab.
Sie legt nicht nahe, dass wir die Verwendung von High-Precision-Hardware vollständig einstellen sollten. Stattdessen zeigt sie, dass M+Adam der richtige Weg ist, falls wir gezwungen sind, Low-Precision-Speicher zu verwenden.

Das Fazentelemnt

Die Arbeit legt nahe, dass man, wenn man gezwungen ist, „grobe“ Lineale (Low-Precision-Gewichte) zu verwenden, um riesige KI-Modelle zu trainieren, sich nicht nur auf eine Art der Bewegung verlassen kann. Man benötigt einen hybriden Ansatz. M+Adam ist dieser Hybrid, der sowohl additive als auch multiplikative Schritte nutzt, um sicherzustellen, dass der Roboter niemals stecken bleibt – egal, ob er einen riesigen Berg erklimmt oder aus einem Null-Tal entkommt. Es ist ein fundierter Schritt hin zum effizienten Training massiver KI-Modelle, ohne dass wir auf den schweren, teuren High-Precision-Speicher angewiesen sind, auf den wir normalerweise vertrauen.

Technisches Resümee: M+Adam – Niedrigpräzisions-Training mittels additiver–multiplikativer Optimierung

Problemstellung

Das Training großer Sprachmodelle (LLMs) in voller Präzision (FP32) verursacht erhebliche Speicher-, Rechen- und Energiekosten. Während moderne Beschleuniger reduzierte Präzisionsformate wie BF16, FP8 und FP4 unterstützen, behalten Standard-Trainings-Pipelines typischerweise hochpräzise „Master-Gewichte“ (FP32) bei, um die Stabilität zu gewährleisten. Das direkte Training mit Niedrigpräzisions-Mastergewichten führt jedoch häufig zu einer verschlechterten Genauigkeit und Instabilität.

Die Autoren identifizieren einen spezifischen Ausfallmodus in der Niedrigpräzisions-Optimierung: grobe Quantisierungsauflösung bei großen Gewsichtsmagnituden. In Gleitkommasystemen wächst der Abstand zwischen den darstellbaren Werten (Quantisierungsbins) mit der Magnitude der Zahl. Folglich können standardmäßige additive Optimierer (wie Adam) oft keinen Fortschritt erzielen, wenn die Gewichts-Magnituden groß sind, da die berechneten Aktualisierungsschritte unterhalb des lokalen Quantisierungsschritts liegen und auf Null gerundet werden. Umgekehrt versagen rein multiplikative Optimierer (wie Madam), die Gewichte relativ zu ihrer aktuellen Magnitude skalieren, in der Nähe von Null oder wenn Vorzeichenwechsel erforderlich sind, da sie weder eine exakte Null-Initialisierung verlassen noch Vorzeichen effektiv ändern können.

Methodik: M+Adam

Das Paper schlägt M+Adam vor, einen neuartigen Optimierer, der die komplementären Stärken additiver und multiplikativer Aktualisierungsmechanismen kombiniert, um die Einschränkungen der Niedrigpräzisions-Arithmetik zu überwinden.

Kernmechanismus

M+Adam unterhält zwei parallele Aktualisierungszweige, die in jedem Schritt kombiniert werden:

Additiver Zweig (Adam-Stil): Operiert direkt im Gewichtsraum. Er berechnet die standardmäßigen ersten und zweiten Momente des Gradienten ( $g$ ), um ein additives Update $u^{(a)}$ zu erzeugen. Dieser Zweig ist effektiv beim Umgang mit kleinen Magnituden, beim Verlassen von Null-Initialisierungen und beim Ermöglichen von Vorzeichenwechseln.
Multiplikativer Zweig (Madam-Stil): Operiert auf der logarithmischen Skala (Exponent-Raum). Er berechnet den Gradienten bezüglich des Exponenten, $g^{(e)} = (\ln 2) w_t g$ , und verwendet adaptive Momente, um ein relatives multiplikatives Update $u^{(m)}$ zu erzeugen. Dieser Zweig stellt den Fortschritt bei großen Magnituden sicher, wo additive Updates weggerundet würden.

Die Gewichtsaktualisierungsregel ist definiert als:
$w_{t+1} = w_t + w_t u^{(m)}_t + u^{(a)}_t$
Diese Struktur ermöglicht es dem Optimierer, skalenbewusste relative Updates durchzuführen, wenn die Magnituden groß sind (via des multiplikativen Terms), während gleichzeitig die Flexibilität erhalten bleibt, Vorzeichen zu ändern und Werte nahe Null zu aktualisieren (via des additiven Terms).

Theoretische Analyse

Die Autoren liefern eine theoretische Garantie für M+Adam unter Standard-Glattheitsannahmen. Sie modellieren das Update als eine „Skalierungs-dann-Additions“-Operation in lokalen Koordinaten. Theorem 4.1 stellt fest, dass die Methode einen monotonen Abstieg ( $L(w_{t+1}) < L(w_t)$ ) gewährleistet, sofern die Lernraten und Glattheitskonstanten spezifische Bedingungen erfüllen, sofern der Gradient nicht Null ist. Dies beweist, dass die kombinierte Geometrie eine gültige Optimierungsstrategie ist.

Implementierungsdetails

Präzisionsunterstützung: Die Methode ist für die Speicherung von BF16-, FP8- und NVFP4-Mastergewichten konzipiert.
Zustandsverwaltung: M+Adam führt einen zusätzlichen Optimiererzustand ein (den zweiten Moment des Akkumulators für den multiplikativen Zweig). Die Autoren zeigen, dass dieser Zustand mittels Low-Rank-Approximationen (speziell Apollo-E, eine Rank-4-Approximation) komprimiert werden kann, um den Speicher-Overhead zu minimieren, wodurch der Footprint nahe an dem eines Standard-BF16-State-AdamW liegt.
Kein Stochastic Rounding: Im Gegensatz zu einigen früheren Ansätzen erreicht M+Adam Stabilität ohne die Notwendigkeit von Stochastic Rounding (SR) oder Kahan-artiger kompensierter Akkumulation, ist jedoch mit diesen kompatibel.

Zentrale Beiträge

Identifizierung komplementärer Ausfallmodi: Das Paper charakterisiert formal die Ausfallmodi additiver Optimierer (Stagnation bei großen Magnituden durch Rundung) und multiplikativer Optimierer (Stagnation bei Null und Unfähigkeit zur Vorzeichenänderung) und zeigt, dass diese komplementär sind.
M+Adam Algorithmus: Ein neuer Optimierer, der diese beiden Geometrien vereinigt und einen prinzipiierten Ansatz für das Niedrigpräzisions-Training ohne FP32-Mastergewichte bietet.
Theoretische Abstiegsgarantie: Ein Beweis für den monotonen Abstieg der kombinierten additiv-multiplikativen Aktualisierungsregel unter Standard-Glattheitsannahmen.
Empirische Validierung in großem Maßstab: Umfangreiche Experimente an LLaMA-ähnlichen Modellen mit 60M bis 1B Parametern über 1–8× Chinchilla-Trainingsbudgets hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten M+Adam über verschiedene Präzisionsregime hinweg: BF16/BF16, BF16/FP8, FP8/FP8 und NVFP4/FP8.

Konsistente Verbesserung: M+Adam übertraf die abgestimmten AdamW-Baselines konsistent über alle Modellgrößen und Präzisionsregime hinweg.
Perplexity-Reduktionen: In dem aggressivsten Niedrigpräzisions-Szenario (NVFP4/FP8) reduzierte M+Adam die Perplexity im Vergleich zu AdamW erheblich (z. B. eine Verbesserung von 16,6 % beim 350M-Modell). Selbst im BF16/BF16-Training reduzierte M+Adam die Perplexity je nach Modellgröße um 2,8 % bis 13,3 %.
Robustheit: Die Methode blieb ohne Stochastic Rounding stabil. Sie übertraf zudem AdamW kombiniert mit Stochastic Rounding (AdamW+SR) und Kahan-Kompensation.
Skalierung: Die Leistungssteigerungen blieben auch mit zunehmendem Trainingsbudget (bis zu 8× Chinchilla) und steigender Modellgröße auf 1B Parameter bestehen.
Speichereffizienz: Durch den Einsatz der Apollo-E-Kompressionsmethode wurde der zusätzliche Speicherzustand für den multiplikativen Zweig reduziert, was zu einem Optimierer-Zustands-Footprint führte, der nur geringfügig größer als der Standard-BF16-AdamW ist, während die meisten Perplexity-Gewinne beibehalten wurden.

Bedeutung und Behauptungen

Das Paper behauptet, dass kombinierte additive–multiplikative Updates besonders nützlich sind, wenn Niedrigpräzisions-Mastergewichte zu einer dominanten Quelle für Optimierungsfehler werden.

Die Bedeutung dieser Arbeit liegt in der Bereitstellung einer prinzipiierten Lösung für die numerische Instabilität des Niedrigpräzisions-Trainings. Indem M+Adam die Geometrie des Optimierungs-Updates an die nicht-uniforme Struktur von Gleitkommazahlen anpasst, mildert es die Rundungsfehler ab, die Standard-additive Optimierer bei großen Magnituden plagen, sowie die Stagnationsprobleme multiplikativer Optimierer nahe Null.

Die Autoren kommen zu dem Schluss, dass M+Adam einen Schritt in Richtung End-to-End-Niedrigpräzisions-Training darstellt, das nicht auf FP32-Mastergewichten basiert. Diese Fähigkeit ist entscheidend, um moderne KI-Hardware (Tensor Cores) zu nutzen, die für FP8 und FP4 optimiert ist, was potenziell den Speicher-Overhead und die Energiekosten beim Training großskaliger Modelle senkt. Die Arbeit legt nahe, dass zukünftige Optimierer die spezifischen Einschränkungen der Gleitkommadarstellung berücksichtigen sollten, anstatt Niedrigpräzision lediglich als ein Quantisierungsproblem zu behandeln, das durch Rundungstechniken gelöst werden muss.