💬 NLP

Transport and Merge: Cross-Architecture Merging for Large Language Models

Die Arbeit stellt einen auf optimaler Transporttheorie basierenden Rahmen vor, der durch das Ausrichten von Aktivierungen und die Ableitung von Neuronen-Korrespondenzen das Wissen von großen, ressourcenstarken Sprachmodellen effizient auf heterogene, ressourcenarme Zielmodelle überträgt.

Ursprüngliche Autoren: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Veröffentlicht 2026-02-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Wie man Wissen von einem riesigen Genie auf einen kleinen Helfer überträgt – ohne sie zu verwechseln

Stell dir vor, du hast zwei sehr unterschiedliche Personen:

Der „Große": Ein riesiges Genie mit einem riesigen Gehirn (ein großes KI-Modell), das alles über die Welt weiß, aber sehr teuer und langsam ist.
Der „Kleine": Ein schlauer, aber kleiner Helfer (ein kleines KI-Modell), der schnell und günstig ist, aber nur wenig Wissen hat, besonders über spezielle Sprachen oder Nischenthemen.

Das Problem: Wir wollen dem „Kleinen" das Wissen des „Großen" schenken, damit er besser wird. Aber sie sprechen nicht dieselbe „Sprache". Der Große hat 1000 Gehirnzellen (Neuronen), der Kleine nur 100. Und sie sind nicht einmal in der gleichen Reihenfolge angeordnet. Wenn man sie einfach so zusammenwirft, entsteht ein Chaos.

Bisherige Methoden waren wie ein Übersetzer, der erst den Text des Großen langsam in den Kopf des Kleinen diktiert (Distillation). Das dauert lange und braucht viel Energie.

Die neue Idee: „Transport und Verschmelzen"

Die Autoren dieses Papers haben eine clevere Methode entwickelt, die wie ein intelligenter Umzug funktioniert. Sie nennen es „Optimal Transport" (Optimaler Transport). Hier ist, wie es funktioniert, einfach erklärt:

1. Der „Tanz der Gedanken" (Aktivitäten abhören)

Statt den Großen und den Kleinen zu zwingen, sich anzusehen, lässt man sie beide denselben Satz lesen (z. B. „Der Hund bellt").

Man schaut nicht auf ihre Wörter, sondern darauf, welche Gehirnzellen in ihnen aufleuchten, wenn sie diesen Satz verarbeiten.
Es stellt sich heraus: Auch wenn der Große 1000 Zellen hat und der Kleine nur 100, leuchten oft die gleichen Zellen auf, um denselben Gedanken zu verarbeiten. Der Große nutzt vielleicht Zelle Nr. 500 und Nr. 501 für „Hund", während der Kleine Zelle Nr. 10 und Nr. 11 nutzt.

2. Der „Umzugsplan" (Optimaler Transport)

Jetzt kommt der mathematische Trick (Optimal Transport).
Stell dir vor, du hast eine Menge Kisten (das Wissen des Großen) und musst sie in einen kleineren LKW (den Kleinen) laden.

Die Methode berechnet einen perfekten Umzugsplan. Sie sagt: „Okay, die Kiste Nr. 500 des Großen passt am besten in den Stauraum Nr. 10 des Kleinen. Und Kiste Nr. 501 passt in Stauraum Nr. 11."
Sie ignoriert dabei die Kisten, die nicht passen, und sucht nur die besten Übereinstimmungen. Das ist wie ein Puzzle, bei dem man die passenden Teile findet, auch wenn die Boxen unterschiedlich groß sind.

3. Das „Einsetzen" (Verschmelzung)

Anstatt den Kleinen neu zu lernen, ersetzt man einfach die wichtigsten Teile seines Gehirns durch die passenden Teile des Großen.

Man nimmt die „Wissens-Kisten" des Großen und schraubt sie direkt in den Kopf des Kleinen.
Wichtig: Man tauscht nur die Teile aus, die wirklich aktiv sind und gut passen. Der Rest des kleinen Gehirns bleibt so, wie er war, damit er seine eigene Persönlichkeit (seine allgemeine Intelligenz) behält.

4. Der „Feinschliff" (Anpassung)

Nach dem Einbau ist der Kleine vielleicht noch etwas steif. Also lässt man ihn ein paar Mal üben (Training), aber nur mit den Teilen, die nicht ausgetauscht wurden. Die neuen Teile (das Wissen vom Großen) bleiben fest verankert. Das Ergebnis ist ein kleiner Helfer, der so schnell ist wie vorher, aber so viel Wissen hat wie der Große.

Warum ist das toll?

Schnell: Man braucht keine riesigen Datenmengen, um den Kleinen neu zu trainieren. Ein paar Beispiele reichen.
Effizient: Man kann Wissen von riesigen Modellen auf kleine Modelle übertragen, die auf Handys oder in Entwicklungsländern laufen, wo Rechenleistung knapp ist.
Vielseitig: Es funktioniert auch, wenn die Modelle völlig unterschiedlich aufgebaut sind (z. B. von einem chinesischen Modell auf ein malaiisches).

Zusammenfassung in einem Satz:
Die Forscher haben eine Methode gefunden, um das Wissen eines riesigen KI-Giganten wie einen perfekten Umzugskarton zu verpacken und direkt in den Kopf eines kleinen KI-Helfers zu schieben, ohne dass beide dabei verrückt werden – und das funktioniert auch, wenn ihre Gehirne völlig unterschiedlich aufgebaut sind.

1. Problemstellung

Große Sprachmodelle (LLMs) erreichen ihre hohen Fähigkeiten durch Skalierung von Modellkapazität und Trainingsdaten. In der Praxis sind jedoch viele Anwendungen auf kleinere Modelle angewiesen, die für ressourcenarme Sprachen (z. B. Malaysisch, Kantonesisch) oder spezialisierte Domänen (z. B. Medizin, Finanzen) trainiert oder angepasst wurden. Diese Modelle leiden oft unter einem Mangel an spezifischem Wissen im Vergleich zu großen, datenreichen Modellen.

Das Hauptproblem besteht darin, Wissen von großen, ressourcenstarken Quellmodellen auf kleinere, ressourcenbeschränkte Zielmodelle zu übertragen.

Herausforderung: Bestehende Methoden zum „Model Merging" (Fusion von Modellparametern) gehen fast ausschließlich davon aus, dass Quell- und Zielmodelle dieselbe Architektur haben.
Limitierung: Bei heterogenen Architekturen (unterschiedliche Layer-Zahlen, unterschiedliche Hidden-Größen) ist eine direkte Gewichtsverschmelzung nicht möglich.
Aktuelle Alternativen: Bisherige Ansätze für heterogene Modelle basieren meist auf Distillation (Wissensvermittlung durch Training), was rechenintensiv ist und große Datenmengen erfordert.

Die zentrale Forschungsfrage lautet: Kann man den Wissenstransfer von ressourcenstarken zu ressourcenarmen Modellen über heterogene Architekturen hinweg durch direktes Modell-Merging ermöglichen?

2. Methodik: Transport and Merge

Die Autoren schlagen einen Framework vor, der auf Optimal Transport (OT) basiert, um Korrespondenzen zwischen Neuronen unterschiedlicher Architekturen herzustellen und diese direkt in den Gewichtsraum zu übertragen.

Der Prozess gliedert sich in folgende Schritte:

A. Aktivationsbasierte Korrespondenz (Optimal Transport)

Anstatt direkt Gewichte zu vergleichen, nutzt das Verfahren die Aktivierungen (Features) der Modelle.

Datengrundlage: Ein kleiner Satz von Eingabedaten ( $D$ ) wird durch das Quellmodell ( $M_B$ ) und das Zielmodell ( $M_A$ ) geführt, um die Aktivierungen in den Transformer-Layern zu extrahieren.
Feature-Level-Alignment: Für jedes Paar von Ziel-Layer $\ell$ und Quell-Layer $m$ wird eine Kostenmatrix basierend auf der Korrelation der Aktivierungskanäle berechnet.
Optimal Transport: Ein entropisch regularisierter Optimal-Transport-Algorithmus (Sinkhorn-Iteration) berechnet eine Transportmatrix $Q_{\ell m}$ . Diese Matrix zeigt, wie sich Aktivierungskanäle des Quellmodells gewichtet kombinieren lassen, um die Aktivierungen des Zielmodells zu approximieren.
Layer-Level-Alignment: Ähnlich wird eine globale Transportmatrix $P$ berechnet, die die Korrespondenz zwischen den gesamten Schichten (Layern) der beiden Modelle bestimmt.

B. Gewichtsverschmelzung (Weight Fusion)

Die aus den Aktivierungen abgeleiteten Transportmatrizen werden genutzt, um eine direkte Übertragung der Gewichte zu ermöglichen:

Interpretation: Die Transportmatrix fungiert als Operator, der Quellgewichte in den Koordinatenraum des Zielmodells transformiert.
Selektive Fusion (Top-k): Um Rauschen zu vermeiden und Interferenzen zu minimieren, wird die Fusion nicht auf alle Neuronen angewendet. Es werden nur die Top-k Neuronen ausgewählt, die auf den Kalibrierungsdaten die stärksten Aktivierungen zeigen.
Fusionsformel: Die neuen Gewichte des Zielmodells werden als gewichtete Summe der ursprünglichen Zielgewichte und der transportierten Quellgewichte berechnet:
$W^{fused} = W^{base} + \alpha \cdot M \odot (\text{Transportierte Gewichte} - W^{base})$
Dabei ist $M$ eine Maske für die Top-k Neuronen und $\alpha$ ein Hyperparameter für die Stärke der Fusion.

C. Residual-Frozen Adaptation

Nach der Fusion wird eine leichte Anpassungsphase durchgeführt:

Die transportierten Gewichtsresiduen werden eingefroren (frozen).
Nur die ursprünglichen Basisgewichte des Zielmodells werden weiter trainiert (Fine-Tuning).
Dies stellt sicher, dass das transferierte Wissen nicht überschrieben wird, während sich das Modell an die spezifische Verteilung der Zielaufgabe anpasst.

3. Wichtige Beiträge

Cross-Architecture Merging Framework: Der erste Ansatz, der Optimal Transport nutzt, um direkte Gewichtsverschmelzungen zwischen Modellen mit völlig unterschiedlichen Architekturen (z. B. unterschiedliche Layer-Anzahl oder Hidden-Size) zu ermöglichen, ohne auf Distillation zurückzugreifen.
Aktivierungsraum-zu-Gewichtsraum-Transfer: Die theoretische Herleitung, dass Korrespondenzen im Aktivierungsraum eine prinzipielle Interpretation im Gewichtsraum zulassen, was eine direkte mathematische Transformation der Parameter erlaubt.
Effizienz: Die Methode benötigt nur einen kleinen Satz an Kalibrierungsdaten (Stimulus-Daten) und keine großen Trainingsmengen oder wiederholte Optimierungsschritte für den Transfer.
Selektive Neuronen-Ersatzstrategie: Durch die Beschränkung auf hochaktive Neuronen wird sichergestellt, dass nur relevantes Wissen übertragen wird, was die Stabilität erhöht.

4. Ergebnisse

Die Methode wurde umfassend in zwei Szenarien getestet:

Transfer von ressourcenstarken zu ressourcenarmen Sprachen:
- Sprachen: Malaysisch, Indonesisch, Kantonesisch, Thai.
- Setup: Fusion von großen LLaMA-3-Modellen (8B/32B) mit kleinen Zielmodellen (1B).
- Ergebnis: Konsistente Verbesserungen gegenüber dem Basis-Zielmodell auf Benchmarks wie MalayMMLU, CMMLU (Kantonesisch) und MGSM (Thai).
- Vergleich: Die Methode übertrifft sowohl reine SFT (Supervised Fine-Tuning) als auch Distillation-Methoden in den meisten Domänen, insbesondere wenn eine leichte Anpassung (Adaptation) nach der Fusion erfolgt.
Transfer von allgemeinen zu spezialisierten Domänen:
- Domänen: Finanzen und Medizin.
- Setup: Fusion von allgemeinen LLMs mit domänenspezifischen Modellen.
- Ergebnis: Die fusionierten Modelle zeigen signifikante Verbesserungen in Fachaufgaben (z. B. Anatomie, Buchhaltung), ohne die allgemeinen Fähigkeiten des Zielmodells zu beeinträchtigen.
Robustheit: Die Methode ist robust gegenüber der Wahl des Quellmodells (z. B. LLaMA vs. Qwen) und der Fusionsstärke ( $\alpha$ ).

5. Bedeutung und Fazit

Das Paper „Transport and Merge" bietet eine praktische und theoretisch fundierte Alternative zu aufwändigen Distillationsverfahren. Es löst das Problem, dass Wissenstransfer bisher oft an der Architekturkompatibilität scheiterte.

Praktischer Nutzen: Ermöglicht es, leistungsstarke Modelle in ressourcenbeschränkten Umgebungen (z. B. Edge Devices, Low-Resource-Sprachen) effizient zu nutzen, ohne massive Rechenkosten für das Nachtrainieren.
Wissenschaftlicher Fortschritt: Es demonstriert, dass heterogene LLMs trotz unterschiedlicher Architekturen stark korrelierte interne Repräsentationen aufweisen, die durch Optimal Transport quantifiziert und genutzt werden können.
Zukunftsausblick: Die Methode öffnet die Tür für effizientes „Model Souping" über verschiedene Modellfamilien hinweg und könnte den Zugang zu State-of-the-Art-Kapazitäten für Nischenanwendungen demokratisieren.

Zusammenfassend stellt dieser Ansatz einen bedeutenden Schritt dar, um die Lücke zwischen großen, teuren Modellen und kleinen, einsetzbaren Modellen zu schließen, indem er die direkte Verschmelzung von Parametern über Architekturgrenzen hinweg ermöglicht.