🤖 AI

Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models

Dieser Beitrag stellt ML-FOP-SOAP vor, ein Optimierungsframework zweiter Ordnung mit mehrstufiger Varianzkorrektur und Fisher-orthogonaler Projektion zur Lösung von Modalitätskonkurrenz in autoregressiven multimodalen Modellen, wodurch ein stabiles Training mit großen Batches ermöglicht und sowohl die Stichprobeneffizienz als auch die Wandzeit im Vergleich zu AdamW erheblich verbessert werden.

Ursprüngliche Autoren: Yishun Lu, Wes Armour

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yishun Lu, Wes Armour

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen einzigen Schüler gleichzeitig zu einem weltklasse Maler und einem brillanten Dichter auszubilden. Sie möchten, dass dieser Schüler ein Bild betrachtet und eine Geschichte dazu schreibt oder eine Geschichte liest und die Szene zeichnet. Genau das tun moderne „multimodale" KI-Modelle: Sie versuchen, Bilder und Text gleichzeitig zu verstehen.

Das Papier von Lu und Armour identifiziert jedoch ein Hauptproblem: Der Schüler wird verwirrt, weil die beiden Fächer unterschiedliche Sprachen sprechen.

Das Problem: Der „lautstarke" Schüler vs. der „leise" Schüler

Im Trainingsprozess der KI ist der Teil für das „Malen" (Bilder) wie ein sehr lauter, chaotischer Schüler, der riesige, unordentliche Antworten herausschreit. Der Teil für die „Dichtung" (Text) ist wie ein ruhiger, präziser Schüler, der kleine, sehr spezifische Antworten gibt.

Wenn der Lehrer (der Computeralgorithmus) versucht, ihre Antworten zu mitteln, um zu entscheiden, was als Nächstes gelernt werden soll, übertönt der laute Schüler den leisen. Die KI wird am Ende wirklich gut darin, unordentliche Bilder zu generieren, vergisst aber, wie man Text richtig versteht. Dies wird „Modalkonkurrenz" genannt.

Der alte Weg: Der schlechte Lehrer

Die meisten KI-Modelle verwenden eine Standard-Lehrmethode namens AdamW. Die Autoren vergleichen dies mit einem Lehrer, der nur auf die Lautstärke der Stimmen der Schüler hört.

Weil der Bildschüler so laut ist, denkt der Lehrer: „Okay, wir konzentrieren uns ganz auf das Malen!"
Der leise Textschüler wird ignoriert, und die KI versagt darin, das notwendige Gleichgewicht zu lernen.

Die neue Lösung: Ein intelligenterer Lehrer

Die Autoren schlagen ein neues, intelligenteres Lehrrahmenwerk namens ML-FOP-SOAP vor. Sie zerlegen es in drei clevere Tricks:

1. Die „zweite Ordnung"-Brille (SOAP)

Zuerst wechseln sie zu einer besseren Art von Brille namens SOAP.

Analogie: Anstatt nur auf die Lautstärke zu hören, betrachtet dieser Lehrer die Form und Richtung der Antworten.
Ergebnis: Der Lehrer erkennt, dass der laute Bildschüler tatsächlich in eine chaotische Richtung schreit, während der leise Textschüler in eine sehr wertvolle Richtung zeigt. Der Lehrer lässt sich nicht mehr von der Lautstärke täuschen und beginnt, die Richtung zu respektieren. Dies hilft der KI, beide Fähigkeiten besser als zuvor zu erlernen.

2. Die „Geräuschunterdrückungs"-Kopfhörer (FOP)

Selbst mit der besseren Brille hat der Lehrer immer noch Schwierigkeiten, weil das Rauschen des Bildschülers so stark ist, dass es versehentlich die Ideen des Textschülers zur Seite drängt.

Analogie: Die Autoren fügen eine Fisher-Orthogonale Projektion (FOP) hinzu. Stellen Sie sich dies als einen speziellen Geräuschunterdrückungskopfhörer vor.
Funktionsweise: Er hört auf den Unterschied zwischen den beiden Schülern. Wenn der Bildschüler etwas schreit, das dem Textschüler widerspricht, nutzt der Lehrer die Kopfhörer, um diesen spezifischen Konflikt auszulöschen, ohne den Schüler ganz zum Schweigen zu bringen.
Ergebnis: Die KI kann nun lernen, sowohl zu malen als auch Gedichte zu schreiben, ohne dass das eine das andere ruiniert. Sie erreicht eine „Pareto-Verbesserung", was bedeutet, dass sie sich in beiden Aufgaben gleichzeitig verbessert, anstatt das eine gegen das andere zu tauschen.

3. Der „teleskopische" Zoom (ML-FOP)

Das Trainieren dieser Modelle erfordert das gleichzeitige Betrachten riesiger Datenmengen (wie 8.192 Beispiele auf einmal). Wenn der Lehrer versucht, jedes einzelne winzige Detail in diesem riesigen Datenhaufen zu analysieren, wird er überwältigt und verlangsamt sich.

Analogie: Die Autoren verwenden eine Multi-Level Hierarchical Folding-Strategie. Stellen Sie sich vor, Sie schauen auf einen Wald. Anstatt jedes einzelne Blatt zu zählen (was ewig dauert), schauen Sie zuerst auf den ganzen Wald, dann zoomen Sie auf ein paar Bäume hinein, dann auf ein paar Äste.
Funktionsweise: Diese Methode erfasst die „grobkörnigen" Unterschiede zwischen den Schülern schnell und zoomt erst dann auf die „feinen" Details, wenn dies notwendig ist.
Ergebnis: Der Lehrer kann massive Datenmengen bewältigen, ohne müde oder langsam zu werden.

Die Ergebnisse

Als die Autoren diese neue Methode an echten KI-Modellen (namens Janus und Emu3) testeten, stellten sie Folgendes fest:

Schnelleres Lernen: Die KI lernte die gleiche Menge an Material 1,4-mal schneller (in Bezug auf die verwendeten Daten) und beendete das Training in der realen Welt 1,5-mal schneller im Vergleich zum alten Standard.
Besseres Gleichgewicht: Die KI wurde nicht nur in einer Sache besser; sie wurde in beidem besser: Text zu verstehen und Bilder zu generieren, gleichzeitig.
Großdaten-tauglich: Es funktionierte perfekt, selbst wenn die Klassengröße riesig war (8.192 Schüler), eine Situation, in der die alten Methoden normalerweise versagten und aufgaben.

Kurz gesagt: Das Papier zeigt, dass wir durch die Verwendung einer intelligenteren Art, auf die „lauten" und „leisen" Teile einer KI zu hören, und durch den Einsatz einer speziellen Technik, um ihre Streitigkeiten auszulöschen, leistungsstarke KI-Modelle trainieren können, die schneller, stabiler und besser darin sind, alles gleichzeitig zu tun.

Technische Zusammenfassung: Zweiter-Ordnung-Mehrebenen-Varianzkorrektur für Modalkonkurrenz in multimodalen Modellen

Problemstellung

Die Vereinheitlichung von Bildgenerierung und Textverständnis unter einem einzigen autoregressiven Next-Token-Vorhersageparadigma hat eine kritische Herausforderung eingeführt, die als Modalkonkurrenz bekannt ist. Während diese architektonische Konvergenz nahtlose multimodale Grundmodelle ermöglicht, führt sie zu schwerwiegender Instabilität während des Vor-Trainings. Das Kernproblem entsteht durch Gradienten-Heterogenität: Visuelle Ziele beinhalten typischerweise hochdimensionale, räumlich diffuse Vorhersagefehler mit hoher Varianz, wohingegen textuelle Ziele sich auf eine kompakte semantische Mannigfaltigkeit mit niedrigerer Varianz konzentrieren.

Unter Standard-Optimierern erster Ordnung wie AdamW, die auf diagonalen Momentenschätzungen basieren, führt diese geometrische Diskrepanz zu einer suboptimalen Optimierungstrajektorie. Der Optimierer versagt darin, die komplexe, nicht-diagonale kovariante Struktur über die Modalitäten hinweg zu modellieren. Folglich üben Modalitäten mit größerer Gradientenvarianz (typischerweise Vision) einen unverhältnismäßigen Einfluss auf Parameteraktualisierungen aus und unterdrücken die semantisch dichten, aber varianzärmeren Signale aus Texten. Dies resultiert in einem Trade-off, bei dem die Verbesserung der visuellen Generierung oft das Textverständnis verschlechtert und umgekehrt. Darüber hinaus verschärfen die Skalierung dieser Modelle auf ultra-große globale Batch-Größen (z. B. 8192) diese Probleme, da Standard-Varianzkorrekturmethoden, die nur an groben Akkumulationsgrenzen angewendet werden, feingranulare Gradientenabweichungen nicht bewahren.

Methodik

Die Autoren schlagen ML-FOP-SOAP vor, ein Optimierungsframework zweiter Ordnung, das darauf ausgelegt ist, die multimodale Ausrichtung durch Mehrebenen-Varianzkorrektur zu stabilisieren. Die Methodik basiert auf drei Säulen:

1. Zweiter-Ordnung-Vorbedingung mit SOAP

Um die Einschränkungen von Methoden erster Ordnung zu adressieren, nutzt das Papier den SOAP-Optimierer. Im Gegensatz zu Shampoo, das unzentrierte zweite Momente verwendet, die anfällig für visuelle Ausreißer in frühen Phasen sind, projiziert SOAP Gradienten in eine verzerrte Eigenbasis und wendet eine koordinatenweise adaptive Normalisierung an. Dies bietet einen speichereffizienten, robusten Surrogatwert für den natürlichen Gradienten ( $P(g) \approx F^{-1}g$ ) und erfasst effektiv die lokale Krümmung ohne die prohibitiven Speicherkosten des Invertierens der vollen Fisher-Informationsmatrix (FIM).

2. Fisher-Orthogonale Projektion (FOP)

Während SOAP eine stabile Basis bietet, löst es den Trade-off zwischen den Modalitäten nicht vollständig. Die Autoren führen die Fisher-Orthogonale Projektion (FOP) ein, um Konflikte zwischen Modalitäten aktiv zu neutralisieren.

Mechanismus: Anstatt die Vorbedingung ausschließlich auf den gemittelten Batch-Gradienten anzuwenden, operiert FOP auf den Gradientendifferenzen ( $g_{diff}$ ) zwischen Mikro-Batches innerhalb eines Akkumulationsfensters.
Projektion: Es konstruiert einen leichten Forward-Metrik-Proxy $M(v) \approx Fv$ unter Verwendung der internen Zustände des Tensor-Vorbedingers. Der Differenzvektor wird orthogonal zur mittleren Abstiegrichtung ( $g_{avg}$ ) in der durch die Fisher-Metrik definierten Riemannschen Mannigfaltigkeit projiziert.
Ergebnis: Dies isoliert die reine Varianz zwischen Modalitäten ( $g_{diff}^\perp$ ), ohne die primäre Optimierungstrajektorie zu stören. Die finale Aktualisierungsrichtung kombiniert den durchschnittlichen Gradienten mit diesem varianzbewussten Residuum und erweitert effektiv den Suchraum über den eindimensionalen Unterraum des Batch-Mittels hinaus.

3. Mehrebenen-Hierarchisches Falten (ML-FOP)

Um FOP unter massiver Gradientenakkumulation (erforderlich für Batch-Größen wie 8192) handhabbar zu machen, schlagen die Autoren einen Mechanismus des Mehrebenen-Hierarchischen Faltens vor, der vom Multi-Level-Monte-Carlo-Paradigma (MLMC) inspiriert ist.

Strategie: Anstatt Projektionen bei jedem Mikro-Schritt anzuwenden (was hohe Wandzeit-Overheads verursacht) oder nur an den Fenstergrenzen (was feingranulare Informationen verliert), diskretisiert die Methode das Akkumulationsfenster in eine dyadische Hierarchie.
Ausführung: Sie fusioniert rekursiv rechnerisch leichte kumulative Schnappschüsse, um segmentweise Durchschnitte wiederherzustellen. Diese Mehrskalen-Zusammenfassungen werden dann von unten nach oben unter Verwendung des FOP-Operators verarbeitet. Dieser Ansatz erfasst feingranulare, zwischenmodalitäre Varianz über die Akkumulationshierarchie hinweg, während die Rechenkosten amortisiert werden.

Hauptbeiträge

Optimierung zweiter Ordnung für Modalkonkurrenz: Das Papier demonstriert systematisch, dass während Methoden erster Ordnung (AdamW) und Standard-Methoden zweiter Ordnung ohne Zentrierung (Shampoo) mit extremen visuellen Gradientenausreißern kämpfen, der SOAP-Optimierer eine robuste Grundlage für multimodale Ausrichtung schafft.
Varianzkontrolle via FOP: Die Einführung eines geometriebewussten Fisher-Orthogonalen Projektions-Mechanismus, der Gradientendifferenzen orthogonal zur primären Abstiegstrajektorie projiziert. Dies eliminiert den konventionellen Trade-off zwischen Textverständnis und visueller Generierung und führt zu strikten Pareto-Verbesserungen.
Effizientes Mehrebenen-FOP: Eine neuartige ML-FOP-hierarchische Faltstrategie, die Varianzkorrektur unter massiver Gradientenakkumulation ohne prohibitiven Rechenoverhead ermöglicht und die mehrskalige Varianz innerhalb von Schritten bewahrt.
Benchmark für ultra-große Batches: Validierung des Frameworks auf vereinheitlichten Architekturen (Janus und Emu3), skaliert auf eine globale Batch-Größe von 8192, einem Regime, in dem bestehende Optimierer katastrophale Verschlechterungen erleiden.

Experimentelle Ergebnisse

Experimente wurden an Janus-400M- und Emu3-600M-Modellen durchgeführt, die auf kombinierten LLaVA-3M- und LLaVA-12M-Datensätzen trainiert wurden.

Proben-Effizienz: Im Vergleich zu AdamW verbessert das ML-FOP-SOAP-Framework die Proben-Effizienz um bis zu 1,4×. Beispielsweise erreicht es bei Janus-400M Konvergenzschwellen bei ca. 3,1 Mrd. Tokens im Vergleich zu 4,5 Mrd. Tokens für AdamW.
Wandzeit: Die Methode beschleunigt das End-to-End-Training um bis zu 1,5× (z. B. Reduzierung der Trainingszeit von 8,3 Stunden auf 5,5 Stunden für Janus-400M).
Modalitätsbalance: Entkoppelte Verlustkurven für Image-to-Text (I2T) und Text-to-Image (T2I) Aufgaben zeigen, dass zwar Standard-SOAP die T2I-Generierung verbessert, es jedoch oft bei I2T stagniert. ML-FOP-SOAP treibt beide Verluste erfolgreich gleichzeitig nach unten und erzielt strikte Pareto-Verbesserungen.
Skalierbarkeit: Bei einer globalen Batch-Größe von 8192 leiden AdamW und Standard-SOAP unter vorzeitigem Stagnieren. Nur ML-FOP-SOAP behält eine kontinuierliche Abwärtstrajektorie bei und demonstriert robuste Stabilität in Regimen mit ultra-großen Batches.

Bedeutung und Behauptungen

Das Papier behauptet, einen robusten Optimierer für die Skalierung multimodaler Grundmodelle bereitzustellen. Seine Bedeutung liegt darin, die Lösung für Modalkonkurrenz von architektonischen Modifikationen (z. B. entkoppelte Encoder) hin zur Optimierungsinfrastruktur selbst zu verschieben.

Die Autoren behaupten, dass durch die Integration von Vorbedingung zweiter Ordnung mit Fisher-bewusster Varianzkorrektur Folgendes möglich ist:

Die Stabilisierung des Trainings vereinheitlichter autoregressiver Modelle gegen die inhärente geometrische Diskrepanz visueller und textueller Gradienten.
Die Auflösung des Trade-offs zwischen Modalitäten, was eine gleichzeitige Verbesserung von Generierungs- und Verständnisaufgaben ermöglicht.
Die Ermöglichung des Trainings bei beispiellosen Batch-Größen (8192) ohne die katastrophale Verschlechterung, die bei Standard-Optimierern zu beobachten ist, wodurch die Hardwareauslastung auf modernen GPU-Clustern verbessert wird.

Die Arbeit legt nahe, dass für zukünftiges großskaliges multimodales Vor-Training die Wahl des Optimierers ebenso kritisch ist wie die Modellarchitektur, wobei Methoden zweiter Ordnung mit Varianzbewusstsein einen notwendigen Weg für stabile, effiziente Skalierung bieten.