🤖 machine learning

Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

Dieses Paper schlägt ein neuartiges Dual-Learning-Framework vor, das funktionserhaltende Gewichtstransformationen anwendet, um unabhängig trainierte Transformer mit Milliarden von Parametern auszurichten, wodurch eine nahezu barrierefreie lineare Modenkonnektivität sowie effektives Modell-Merging sowohl über Sprach- als auch über Visionsdomänen hinweg ermöglicht wird.

Ursprüngliche Autoren: Tianyi Li, Zhiqiang Shen

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tianyi Li, Zhiqiang Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Verschmelzen zweier verschiedener Rezepte

Stellen Sie sich vor, Sie haben zwei Spitzenköche, die jahrelang das exakt gleiche Gericht perfektioniert haben: einen Schokoladenkuchen. Beide wissen, wie man ihn köstlich macht. Sie haben ihre Fähigkeiten jedoch in unterschiedlichen Küchen erlernt, unterschiedliche Messbecher verwendet und ihre Zutaten auf völlig unterschiedliche Weise angeordnet.

Koch A stellt das Mehl in eine Schüssel auf die linke Seite und den Zucker auf die rechte Seite.
Koch B stellt das Mehl auf die rechte Seite und den Zucker auf die linke Seite.

Wenn Sie versuchen, ihre Rezepte einfach zur Hälfte zu „mischen“ (ein Prozess, der als lineare Interpolation bezeichnet wird), endet das Ergebnis in einer Katastrophe. Sie haben vielleicht eine halbe Tasse Mehl und eine halbe Tasse Zucker in derselben Schüssel, aber weil ihre Anweisungen nicht übereinstimmen, fällt der Kuchen in sich zusammen. In der Welt der KI nennt man das eine Loss-Barriere (Verlustbarriere) – ein Punkt, an dem das kombinierte Modell aufhört zu funktionieren und die Fehlerrate in die Höhe schießt.

Das Problem: Die „verborgenen“ Unterschiede

Lange Zeit dachten Wissenschaftler, dass diese beiden Köche einfach nur unterschiedliche Kuchen backen. Aber dieses Paper argumentt, dass sie eigentlich denselben Kuchen backen; sie haben lediglich unterschiedliche Symmetrien.

In der KI bedeutet „Symmetrie“, dass man Dinge umordnen kann, ohne das Ergebnis zu verändern.

Permutation: Man kann die Reihenfolge der Schritte vertauschen (wie Eier vor der Milch oder Milch vor den Eiern zu mischen), solange man die anderen Schritte entsprechend anpasst.
Skalierung: Man kann einen riesigen Löffel oder einen winzigen Löffel verwenden, solieg man die Menge der Zutaten entsprechend anpasst.

Das Problem ist, dass zwei KI-Modelle, die separat trainiert wurden, ganz natürlich in unterschiedliche „Sortierungen“ verfallen. Wenn man versucht, sie zu verschmelzen, ohne diese Sortierungen vorher zu korrigieren, wird die KI verwirrt.

Die alte Lösung: Einseitige Anpassung

Frühere Methoden versuchten dies zu beheben, indem sie das Rezept von Koch B nahmen und es dazu zwangen, wie das von Koch A auszusehen. Sie sagten: „Okay, Koch B, beweg deinen Zucker nach links, um Koch A zu entsprechen.“

Das hilft ein wenig, ist aber so, als würde man versuchen, einen quadratischen Klotz in ein rundes Loch zu pressen. Koch B muss seinen gesamten Stil verbiegen, um in das spezifische Küchenlayout von Koch A zu passen. Es funktioniert, aber das daraus resultierende „halbe“ Rezept birgt immer noch ein hohes Risiko des Scheiterns.

Die neue Lösung: Der „Dualer Tanz“ (LMC-DM)

Dieses Paper führt eine neue Methode namens Dual Learned Matching ein. Anstatt zu versuchen, einen Koch dazu zu zwingen, den anderen zu kopieren, einigen sich beide darauf, sich in der Mitte zu treffen.

Stellen Sie sich eine Tanzfläche vor. Anstatt dass Koch A stillsteht und Koch B versucht, sich anzupassen, tanzen beide Köche aufeinander zu.

Beide lernen neue Wege, ihre Zutaten zu organisieren (sie passen ihre „Symmetrien“ an).
Sie bewegen sich auf ein gemeinsames, neutrales Küchenlayout zu, in dem ihre Schritte perfekt aufeinander abgestimmt sind.
Sobald sie aufeinander abgestimmt sind, können sie ihre Rezepte reibungslos vermischen.

Da beide Köche flexibel sind und sich auf ein gemeinsames Ziel zubewegen, ist der „halbe Weg“ kein Katastrophengebiet mehr. Er wird zu einem glatten, sicheren Pfad, auf dem der Kuchen genauso gut schmeckt wie das Original.

Was sie tatsächlich herausgefunden haben

Die Forscher testeten dies an massiven KI-Modellen (einige mit Milliarden von Parametern, was wie eine Küche mit Millionen von Zutaten ist).

Das Ergebnis: Als sie diese „Dualer Tanz“-Methode anwandten, verschwand die „Katastrophenzone“ (die Loss-Barriere) fast vollständig.
Vision-Modelle: Sie testeten dies auf Bilderkennungsmodellen (wie jene, die Katzen und Hunde identifizieren). Selbst beim Mischen zweier verschiedener Modelle behielt das kombinierte Modell seine hohe Genauigkeit (über 69 %) über den gesamten Zeitraum bei.
Sprachmodelle: Sie testeten dies auf Textgenerierungsmodellen (wie jene, die Geschichten schreiben). Für mittelgroße Modelle lag die Fehlerrate praktisch bei Null. Selbst für riesige Modelle mit Milliarden von Parametern war der Fehler sehr gering.

Das Fazit

Das Paper beweist, dass große KI-Modelle keine isolierten Inseln sind. Sie sind tatsächlich durch verborgene Pfade miteinander verbunden. Wenn man aufhört zu versuchen, ein Modell zu zwingen, das andere zu kopieren, und stattdessen beide Modelle sich selbst anpassen lässt, um sich in der Mitte zu treffen, kann man sie nahtlos verschmelzen.

Das bedeutet, wir können zwei verschiedene, hochtrainierte KI-Modelle zu einem einzigen leistungsstarken Modell kombinieren, ohne sie von Grund auf neu trainieren oder komplexe neue Strukturen aufbauen zu müssen. Es ist, als würde man erkennen, dass zwei verschiedene Sprachen eigentlich nur unterschiedliche Dialekte derselben Sprache sind, und wenn man beide mit ein wenig Flexibilität spricht, kann man sich perfekt verstehen.

Technisches Resümee: Skalierung der Linearen Modus-Konnektivität und des Verschmelzens auf Milliarden-Parameter starke vortrainierte Transformer

Problemstellung
Die Lineare Modus-Konnektivität (Linear Mode Connectivity, LMC) postuliert, dass unabhängig trainierte neuronale Netze über einen pfad mit geringem Verlust im Gewichtraum linear verbunden werden können, was ein effizientes Zusammenführen von Modellen ohne Ensembles oder erneutes Training ermöglicht. Bestehende Methoden haben jedoch Schwierigkeiten, dieses Konzept auf Milliarden-Parameter starke vortrainierte Transformer zu skalieren. Das primäre Hindernis besteht darin, dass unabhängig trainierte Modelle aufgrund von funktionserhaltenden Symmetrien (z. B. Neuron-Permutationen, Gewichtsrotationen) sowie Unterschieden in der Initialisierung oder den Trainingsdynamiken oft in weit entfernten Regionen des Gewichtraums liegen. Eine naive lineare Interpolation zwischen solchen Modellen stößt auf hohe Verlustbarrieren. Während bisherige Alignment-Techniken (Weight Matching, Learned Matching) für kleinere Netzwerke vielversprechend waren, verlassen sie sich typischerweise auf eine einseitige Optimierung (die Ausrichtung eines Modells an einem festen Referenzmodell) und versäumen es oft, die komplexen Symmetriegruppen, die in Transformer-Architekturen inhärent sind, voll auszuschöpfen, was ihre Effektivität bei der Skalierung einschränkt.

Methodik
Die Autoren schlagen Dual Learned Matching (LMC-DM) vor, ein skalierbares Framework, das darauf ausgelegt ist, Pfade mit geringem Verlust in großen vortrainierten Transformern aufzuzeigen, indem die Symmetrietransformationen für beide Endmodelle gemeinsam optimiert werden.

Funktionserhaltende Symmetrien: Die Arbeit formuliert systematisch eine breite Familie von Symmetriespezifika für Transformer, die über einfache Neuron-Permutationen hinausgehen. Dazu gehören:
- Normalization Absorption: Umwandlung von LayerNorm/RMSNorm mit affinen Parametern in parameterefreie Operatoren durch Absorption von Gains und Biases in benachbarte lineare Schichten.
- Globale Residual-Raum-Symmetrie: Anwendung globaler orthogonaler Rotationen und Skalierungen auf den Residual-Stream, welche durch RMSNorm bewahrt werden.
- Attention Head Permutationen: Neuordnung der Attention Heads.
- Circuit Symmetries: Interne invertierbare Transformationen innerhalb der Query-Key (QK) und Value-Output (OV) Schaltkreise der Attention Heads.
- FFN Symmetries: Verborgene Kanal-Permutationen und GLU-Stil Rescaling-Symmetrien.
Parametrisierung: Um diese Symmetrien mittels Gradientenabstieg lernbar zu machen, parametrisieren die Autoren kontinuierliche Transformationen mittels:
- Cayley-Transformation für orthogonale Matrizen (effizient und stabil).
- Polardekomposition (Kombination von Cayley für orthogonale Teile und Cholesky für symmetrische positiv-definitive Teile) für invertierbare Matrizen.
- Diskrete Symmetrien (Head/FFN-Permutationen) werden via Weight Matching initialisiert und während der Lernphase fixiert, um die Effizienz zu gewährleisten.
Dualer Lernprozess: Im Gegensatz zu früheren „einseitigen“ Ansätzen, die ein Modell ( $\Theta_B$ ) an ein festes Ziel ( $\Theta_A$ ) anpassen, führt LMC-DM eine bidirektionale Optimierung ein. Beide Modelle lernen ihre eigenen Transformationsparameter ( $\pi_A$ und $\pi_B$ ) hin zu einem gemeinsamen linearen Interpolationspfad:
$\Theta_{interp} = \lambda \pi_A(\Theta_A) + (1 - \lambda) \pi_B(\Theta_B)$
Die Symmetrieparameter werden direkt optimiert, um den Verlust entlang des Interpolationspfades zu minimieren, was es beiden Modellen ermöglicht, sich zu einem gemeinsamen Niedrig-Verlust-Becken zu bewegen, anstatt eines Modell zu zwingen, sich dem Koordinatensystem des anderen unterzuordnen.

Zentrale Beiträge

Umfassende Symmetrie-Formulierung: Die Arbeit definiert eine breite Familie von funktionserhaltenden Transformationen für Transformer, einschließlich Normalisierungs-Absorption, Rotationen im Residual-Raum und spezifische Attention/FFN-Circuit-Symmetrien.
Dual Learned Matching: Die Einführung eines bidirektionalen Optimierungsframeworks, bei dem beide Endpunkte transformiert werden, was zu einer besser konditionierten Optimierungslandschaft und niedrigeren Interpolationsbarrieren im Vergleich zu einseitigen Methoden führt.
Demonstration der Skalierbarkeit: Die erfolgreiche Anwendung von LMC-basiertem Merging auf Modelle mit bis zu Milliarden von Parametern, eine Skala, die zuvor unerforscht hinsichtlich nahezu barrierefreier Konnektivität war.

Experimentelle Ergebnisse
Die Autoren evaluieren LMC-DM auf Vision Transformern (ViT-S, ViT-B, ViT-L) und Sprachmodellen (Pythia und OLMo) mit einer Spanne von 14M bis 6,9B Parametern.

Verlustbarrieren: Auf WikiText erreicht LMC-DM nahezu Null-Verlustbarrieren für 160M-Parameter-Modelle (0,18) und übertrifft damit signifikant Weight Matching (0,27) und einseitiges Learned Matching (0,27). Für 1B-Parameter-Modelle bleibt die Barriere niedrig (0,23).
Vision-Domäne: ViT-L behält über den gesamten Interpolationspfad eine Top-1-Genauigkeit von über 69 % auf ImageNet bei, was eine erhebliche Verbesserung gegenüber naiver Interpolation (die signifikant abfällt) und einseitigen Methoden darstellt.
Skalierungsverhalten: Während Pythia-Modelle bis zu 6,9B Parameter kleine Verlustbarrieren aufweisen, zeigt OLMo-7B höhere Barrieren, was darauf hindeutet, dass LMC in großen Modellen von Faktoren beeinflusst wird, die über die reine Skalierung hinausgehen, wie etwa Trainingsdaten und Optimierungsdynamiken.
Ablationsstudien: Das Entfernen von QK- oder OV-Symmetrien erhöht die Verlustbarrieren signifikant, insbesondere bei ViTs. Der duale Lernansatz übertrifft konsistent die einseitigen Varianten, und die Cayley-basierte Parametrisierung für orthogonale Symmetrien erweist sich als effektiver als unbeschränkte oder Matrix-Exponential-Ansätze.

Bedeutung und Behauptungen
Die Arbeit behauptet, die erste Demonstration nahezu barrierefreier linearer Konnektivität für Sprachmodelle mittlerer Größe (160M) zu liefern und zu zeigen, dass Milliarden-Parameter starke LLMs mit korrekter Ausrichtung mit nur geringen Verlustbarrieren verbunden werden können.

Die Autoren argumentieren, dass ihre Ergebnisse darauf hindeuten, dass große vortrainierte Transformer keine isolierten Punkte im Gewichtraum sind, sondern „symmetrie-verwandte Repräsentationen“, die effektiv durch einfache lineare Pfade ausgerichtet und verschmolzen werden können. Durch die Auflösung von Parametersymmetrien via dualer Optimierung ermöglicht die Methode ein zuverlässiges Zusammenführen und Komponieren von Modellen in einem Maßstab, der für die lineare Modus-Konnektivität zuvor als unpraktikabel galt. Die Arbeit schließt die Lücke zwischen der theoretischen Geometrie der Verlustlandschaft und der praktischen Wiederverwendbarkeit von Modellen und bietet eine Grundlage für die skalierbare Komposition großer vortrainierter Modelle.