How does the optimizer implicitly bias the model merging loss landscape?

Titel: Wie der Optimierer die Loss-Landschaft des Model Mergings implizit verzerrt

Veröffentlicht bei: ICLR 2026
Autoren: Chenxiang Zhang, Alexander Theus, Damien Teney, Antonio Orvieto, Jun Pang, Sjouke Mauw

---

1. Problemstellung

Das Model Merging (Modellverschmelzung) ist eine Technik, um unabhängig voneinander trainierte Modelle mit unterschiedlichen Fähigkeiten in ein einziges Modell zu kombinieren, ohne zusätzliche Inferenzkosten zu verursachen. Gängige Methoden sind die lineare Interpolation (Durchschnitt der Gewichte) und Task Arithmetic (Kombination von Task-Vektoren).

Obwohl diese Methoden in der Praxis erfolgreich sind, bleibt die Frage offen, warum einige Modelle erfolgreich verschmelzbar sind, während andere scheitern, obwohl sie eine ähnliche individuelle Leistung aufweisen. Bisherige Arbeiten haben gezeigt, dass die Optimierungsdynamik die Geometrie der Loss-Landschaft beeinflusst, jedoch wurde nicht verstanden, wie spezifische Hyperparameter des Optimierers (wie Lernrate, Batch-Größe, Weight Decay) die Kompatibilität unabhängiger Lösungen für das Merging beeinflussen.

2. Methodik und Kernkonzept

Die Autoren untersuchen den Einfluss der Optimierungsdynamik auf die Loss-Landschaft und führen das Konzept der effektiven Rauschskala (Effective Noise Scale, $\tilde{S}$) als vereinheitlichenden Faktor ein.

• Effektive Rauschskala ($\tilde{S}$): Diese Größe fasst die stochastischen Fluktuationen im Optimierungsverlauf zusammen. Sie wird definiert als proportional zum Lernraten ($\eta$), umgekehrt proportional zur Batch-Größe ($B$) und skaliert durch den Momentum-Faktor ($\mu$) sowie die Gradienten-Rausch-Kovarianz (beeinflusst durch Data Augmentation).
  $$\tilde{S} \propto \frac{\eta}{B(1-\mu)} \text{tr}(\Sigma_A)$$
• Hypothese: Die Autoren postulieren, dass nicht einzelne Hyperparameter isoliert wirken, sondern deren kombinierte Wirkung über $\tilde{S}$ bestimmt, ob die gefundenen Minima in einer „verschmelzungsfreundlichen" Region der Loss-Landschaft liegen.
• Experimentelles Setup: Die Studie umfasst verschiedene Architekturen (MLP, ResNet, DenseNet, Transformer) und Datensätze (SVHN, CIFAR-10/100, TinyImageNet, TinyStories). Es werden zwei Hauptansätze getestet:
  1. Lineare Interpolation: Verschmelzung von zwei Modellen, die von einem gemeinsamen Startpunkt aus bifurkiert wurden.
  2. Task Arithmetic: Verschmelzung von Task-Vektoren, basierend auf einem vortrainierten Basis-Modell.

3. Wichtige Beiträge und Ergebnisse

A. Nicht-monotone Abhängigkeit von der Rauschskala

Die zentrale Erkenntnis ist, dass der Erfolg des Mergings eine nicht-monotone Funktion der effektiven Rauschskala ist:

• Zu wenig Rausch: Führt zu scharfen Minima, die schwer zu verbinden sind (geringe Verschmelzungsgewinne).
• Zu viel Rausch: Destabilisiert das Training und führt zu schlechter Konvergenz.
• Optimales Rausch: Ein moderat hoher Wert für $\tilde{S}$ maximiert den Verschmelzungserfolg. Dies entspricht einem „kritischen Punkt", an dem die Loss-Landschaft zwischen den Lösungen flach und gut verbunden ist.

B. Einfluss einzelner Optimierer-Komponenten

Die Autoren zeigen, dass verschiedene Komponenten den $\tilde{S}$-Wert unabhängig voneinander modulieren und denselben qualitativen Trend aufweisen:

1. Lernrate ($\eta$): Eine größere Lernrate führt zu besseren Verschmelzungsergebnissen, selbst wenn die Endleistung (Testgenauigkeit) des einzelnen Modells ähnlich ist wie bei kleineren Lernraten. Große Lernraten identifizieren Lösungen in flacheren, kompatibleren Regionen der Loss-Landschaft.
2. Weight Decay ($\lambda$): Bei skalierungsinvarianten Netzwerken (mit Normalisierungsschichten) erhöht ein stärkerer Weight Decay die effektive Lernrate und damit das Rauschen. Dies verbessert die Verschmelzbarkeit signifikant.
3. Batch-Größe ($B$): Kleinere Batch-Größen erhöhen das Gradientenrauschen und verbessern die Verschmelzbarkeit.
4. Momentum ($\mu$): Ein höherer Momentum-Wert (z. B. 0.9) glättet Updates, aber in Kombination mit anderen Faktoren scheint er die Suche nach flacheren Minima zu begünstigen, was die Verschmelzbarkeit erhöht.
5. Data Augmentation: Fügt zusätzliches Rauschen hinzu und verbessert sowohl die Einzelleistung als auch die Verschmelzbarkeit.

C. Task Arithmetic und Transfer Learning

• Initialisierung ist entscheidend: Bei Task Arithmetic hängt die Geometrie der Loss-Landschaft stark von der Initialisierung ab. Bei vortrainierten Modellen (z. B. CLIP) führt eine größere Lernrate zu robusteren Verschmelzungen und flacheren Landschaften. Ohne Vortraining (Training from Scratch) kann eine zu große Lernrate jedoch zu instabilen Minima führen.
• Verschmelzung verschiedener Aufgaben: Das Verschmelzen von Modellen, die auf unterschiedlichen Aufgaben trainiert wurden, funktioniert am besten, wenn beide Modelle mit einem moderat großen Rauschlevel trainiert wurden. Allerdings verlieren Modelle mit extrem hohem Rausch ihre Kompatibilität mit Modellen, die mit niedrigerem Rausch trainiert wurden.

D. Permutationssymmetrie und Feature-Alignment

• Permutationssymmetrie: Größeres Rausch vereinfacht den Prozess des „Rebasings" (Anpassung der Permutationssymmetrie), da die Minima breiter und die Interpolationspfade flacher sind.
• Feature-Diversität: Interessanterweise führt ein höheres Rausch zu einer geringeren Feature-Alignment (gemessen via Linear CKA) zwischen den Zweigen, aber zu höheren Verschmelzungsgewinnen. Dies deutet darauf hin, dass eine gewisse Diversität der Features für das Merging vorteilhaft ist, während zu starkes Alignment (bei niedrigem Rausch) keine synergistischen Vorteile bietet.

4. Signifikanz und Implikationen

• Theoretisches Verständnis: Die Arbeit erweitert das Verständnis der impliziten Verzerrung (Implicit Bias) von Optimierern. Während bisher bekannt war, dass Rausch die Generalisierung einzelner Modelle beeinflusst (flache Minima), zeigt diese Arbeit, dass es auch die globale Geometrie und die Kompatibilität zwischen unabhängigen Lösungen bestimmt.
• Praktische Anwendung: Die Ergebnisse legen nahe, dass das Hyperparameter-Search für Model Merging vereinfacht werden kann, indem man sich auf die Kontrolle der effektiven Rauschskala konzentriert, anstatt einzelne Parameter isoliert zu optimieren.
• Strategische Empfehlung: Um Modelle zu trainieren, die später erfolgreich verschmelzbar sind, sollten Praktiker bewusst größere Lernraten, stärkeren Weight Decay (bei skalierungsinvarianten Netzen) und kleinere Batch-Größen verwenden, um in den optimalen Rauschbereich zu gelangen.

Fazit

Das Paper liefert einen unified framework, um zu verstehen, warum manche Modelle verschmelzbar sind und andere nicht. Es identifiziert die effektive Rauschskala als den entscheidenden Faktor, der durch den Optimierer gesteuert wird. Ein moderat hohes Rauschlevel schafft eine Loss-Landschaft, die nicht nur gute Einzelleistungen, sondern auch robuste Verbindungen zwischen verschiedenen Lösungen ermöglicht. Dies eröffnet neue Wege, um Trainingsdynamiken gezielt zu manipulieren, um besser merge-fähige Modelle zu erzeugen.