🤖 machine learning

Model Merging by Output-Space Projection

Dieser Beitrag stellt ein neuartiges Framework zum Zusammenführen von Modellen vor, das die Kombination feinabgestimmter Checkpoints als konvexes quadratisches Programm über Residual-Updates formuliert, eine theoretisch fundierte, geschlossene Diagnose zur Vorhersage der Merge-Qualität bereitstellt und gleichzeitig empirisch bestehende heuristische Methoden über Sprach- und Vision-Benchmarks hinaus übertrifft.

Ursprüngliche Autoren: Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von fünf Expertenköchen. Jeder von ihnen hat Monate damit verbracht, ein bestimmtes Gericht zu perfektionieren: einer ist ein Meister der Pizza, ein anderer des Sushi, ein dritter der Pasta und so weiter. Jetzt möchten Sie einen einzigen „Superkoch" erschaffen, der alle fünf Gerichte perfekt zubereiten kann, aber Sie haben keine Zeit, eine neue Person von Grund auf auszubilden.

Das Problem mit den aktuellen Methoden
Derzeit ist der Standardweg, diese Köche zu kombinieren, wie eine Komitee-Abstimmung.

Task Arithmetic: Sie nehmen einfach den Durchschnitt ihrer Rezepte.
Model Soups: Sie mischen ihre Zutaten in einem großen Topf zusammen und hoffen, dass es gut schmeckt.
TIES/DARE: Sie versuchen, die Zutaten zu entfernen, bei denen sie sich nicht einig sind, oder werfen einige zufällig weg.

Diese Methoden funktionieren einigermaßen, aber sie sind ein wenig wie Raten. Sie verlassen sich auf einfache Regeln (wie „jeder erhält eine gleichberechtigte Stimme") anstatt tatsächlich das perfekte Rezept für den Superkoch zu berechnen. Sie wissen nicht genau, wie viel vom Wissen des Pizzakochs im Vergleich zum Sushi-Koch erhalten bleiben soll.

Die neue Idee des Papiers: Die „Output-Space Projection"
Die Autoren dieses Papiers schlagen einen intelligenteren Weg vor, diese Modelle zu mischen. Anstatt nur Gewichte (Zutaten) zu mitteln, betrachten sie die Ergebnisse (die fertigen Gerichte).

Hier ist die Analogie:
Stellen Sie sich eine „Kalibrierungsküche" vor, in der Sie die Köche testen. Sie geben ihnen eine bestimmte Zutat (Eingabe) und bitten um ein bestimmtes Gericht (Ausgabe).

Das Basis-Modell: Dies ist Ihr „leerer" Koch, der nichts weiß.
Die Residuen: Dies ist der Unterschied zwischen dem, was der leere Koch macht, und dem, was die Expertenköche machen. Es ist der „extra Geschmack", den jeder Experte hinzufügt.
Das Ziel: Sie möchten diese „extra Geschmäcker" mischen, um für jede Eingabe das perfekte Gericht zu erhalten.

Das Papier sagt: „Lassen Sie uns dies wie ein mathematisches Rätsel behandeln."

Sie formulieren das Problem als Quadratische Programmierung (QP). Auf Deutsch ist dies eine elegante Art zu sagen: „Wir können eine perfekte mathematische Gleichung aufstellen, die uns genau sagt, wie viel von jedem Experten 'extra Geschmack' hinzuzufügen ist, um Fehler zu minimieren."

Wie es funktioniert (Die „Projektion"-Metapher)
Stellen Sie sich das „perfekte Gericht" als ein Ziel auf einer Dartbrett vor.

Jeder Experte-Koch wirft einen Dart (seine Aktualisierung), der irgendwo in der Nähe des Ziels landet.
Das „Residuum" ist der Abstand zwischen dem Landepunkt und der Mitte (Bullseye).
Aktuelle Methoden raten einfach, wie diese Darts gemittelt werden sollen.
Die Methode dieses Papiers fragt: „Wenn wir all diese Darts auf eine bestimmte Linie oder Ebene (einen Unterraum) projizieren, welche Kombination bringt uns dem Bullseye am nächsten?"

Sie haben festgestellt, dass man, wenn man die „Energie" der Fehler betrachtet (wie weit die Darts daneben liegen), mathematisch die optimale Richtung berechnen kann, um sie zu mischen.

Die Diagonal-Methode (Die günstige Version): Diese geht davon aus, dass die Fähigkeiten der Experten unabhängig voneinander sind. Es ist, als würde man sagen: „Der Pizzakoch beeinflusst nur Pizza, und der Sushi-Koch beeinflusst nur Sushi." Dies ist schnell und einfach zu berechnen.
Die Optimal-Basis-Methode (Die teure Version): Diese erkennt, dass sich Fähigkeiten überschneiden können. Vielleicht hilft die Saucentechnik des Pizzakochs tatsächlich auch bei der Pasta. Diese Methode findet die bestmögliche Mischung von Richtungen, um die gesamte nützliche „Energie" der Experten zu erfassen.

Wichtige Erkenntnisse

Es ist eine vereinheitlichende Theorie: Das Papier zeigt, dass alle beliebten Methoden, die Menschen derzeit verwenden (Task Arithmetic, Model Soups, TIES), tatsächlich nur spezielle, vereinfachte Versionen dieses neuen mathematischen Rätsels sind. Sie sind „heuristische" (Faustregel-)Raten, während diese neue Methode die tatsächliche mathematische Lösung findet.
Es sagt Erfolg voraus: Bevor die Modelle überhaupt zusammengeführt werden, haben die Autoren ein „Diagnosewerkzeug" erstellt. Indem sie die Kalibrierungsdaten betrachten, können sie einen Score berechnen (den „Anteil der eingefangenen Residuen-Energie"), der vorhersagt, wie gut das zusammengeführte Modell funktionieren wird. Es ist, als würde man die Zutaten vor dem Kochen prüfen, um zu wissen, ob das Gericht gut wird.
Es funktioniert besser: Als sie dies an Bilderkennung (wie die Identifizierung von Autos oder Tieren) und Sprachmodellen (wie LLMs) testeten, übertraf oder erreichte ihre mathematische Methode die bestehenden „Raten"-Methoden.
- Die „günstige" Diagonal-Version war oft gut genug und sehr schnell.
- Die „teure" optimale Version war noch besser, wenn die Fähigkeiten der Experten komplex und überschneidend waren.

Das Fazit
Das Papier sagt nicht nur „mischen Sie diese Modelle". Es liefert einen mathematischen Bauplan, wie man sie perfekt mischt. Es verwandelt die Kunst des Modell-Mergings in ein lösbares geometrisches Problem und zeigt, dass man durch die Projektion der Fehler der Modelle auf den richtigen mathematischen Raum ein einzelnes, super-leistungsfähiges Modell erstellen kann, ohne es von Grund auf neu trainieren zu müssen.

Sie stellen auch fest, dass zwar die perfekte Lösung schwere Mathematik erfordert (Lösen nach Eigenvektoren), die einfachere Version (diagonale Maskierung) jedoch oft ein großartiger, schneller Abkürzungsweg ist, der immer noch besser abschneidet als die alten Methoden.

Technischer Zusammenfassung: Modellverschmelzung durch Projektion im Ausgaberaum

Problemstellung

Die Verbreitung aufgaben spezifisch feinabgestimmter Sprach- und Vision-Modelle hat eine Nachfrage nach Modellverschmelzung geschaffen – dem Prozess, mehrere feinabgestimmte Checkpoints zu einem einzigen Multi-Aufgaben-Modell zu kombinieren, ohne eine Neu-Training durchzuführen. Während bestehende praktische Ansätze wie Task Arithmetic, Model Soups, TIES und DARE empirischen Erfolg gezeigt haben, beruhen sie auf heuristischen Designentscheidungen (z. B. feste skalare Gewichte, stochastische Maskierung oder prunings basierend auf Vorzeichen). Entscheidend ist, dass diese Methoden eine formale mathematische Charakterisierung optimaler Kombinationsgewichte vermissen lassen und keine präzise Verlustfunktion besitzen, für die sie nachweislich optimal sind.

Methodik

Die Autoren schlagen ein Rahmenwerk vor, das Modellverschmelzung als konvexes quadratisches Programm (QP) über Residual-Updates formuliert, das auf einer Perspektive der Projektion im Ausgaberaum basiert.

1. Formulierung als konvexes QP

Die Arbeit beginnt mit der Beobachtung, dass Verschmelzung mittels diagonaler Masken auf feinabgestimmten Residuen als konvexes QP dargestellt werden kann.

Aufbau: Gegeben ein Basis-Modell mit Gewichten $\theta$ und $K$ feinabgestimmte Modelle mit Residual-Updates $\{\delta^{(k)}_N\}$ an einer spezifischen Schicht $N$ , ist das Ziel, ein verschmolzenes Residuum $\delta_{merge}$ zu finden.
Diagonale Maskierung: Die Methode wendet eine diagonale Maske $D_k = \text{diag}(d^{(k)})$ auf jedes Residuum vor der Summation an: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$ .
Zielfunktion: Die Methode minimiert ein quadratisches Ausgabe-Kalibrierungsziel $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ über einem Kalibrierungsdatensatz $\mathcal{K}$ . Hier repräsentiert $b_j$ den Fehler des Basis-Modells bei Eingabe $x_j$ , und $A_j$ kodiert den linearisierten Effekt der Residuen auf die Ausgabe.
Optimalität: Die Lösung dieses QP liefert Gewichte, die den quadratischen Ausgabe-Verlust minimieren. Es wird gezeigt, dass bestehende Methoden (Task Arithmetic, Model Soups, TIES, DARE) bestimmten zulässigen Punkten oder Spezialfällen dieses QP entsprechen (z. B. feste Skalare oder spezifische stochastische Masken), was impliziert, dass die QP-Lösung unter demselben Ziel theoretisch überlegen oder gleichwertig ist.

2. Allgemeine Basis und irreduzibler Fehler

Die Autoren erweitern den Ansatz der diagonalen Maskierung auf eine Formulierung mit allgemeiner Basis, um die Einschränkungen der achsenausgerichteten (diagonalen) Verschmelzung zu adressieren.

Projektionsperspektive: Verschmelzung wird als Approximation der Residualfehler eines Basis-Modells unter Verwendung eines Unterraums potenzieller Korrekturen betrachtet. Die optimale Lösung entspricht der Projektion der Residuen des Basis-Modells auf den von Kandidaten-Updates im Ausgaberaum aufgespannten Unterraum.
Irreduzibler Fehler: Die Arbeit leitet eine geschlossene Diagnose für den irreduziblen Fehler einer gewählten Basis ab. Dieser Fehler wird durch den Anteil der Residualenergie bestimmt, der vom gewählten Unterraum erfasst wird.
Optimale Basis: Die Analyse zeigt, dass die optimale Basis für das relaxierte Projektionsproblem durch die führenden Eigenvektoren der Residual-Energie-Matrix $S = \sum_{j} b_j b_j^\top$ gegeben ist.
Charakterisierung des Trade-offs: Das Rahmenwerk quantifiziert den Trade-off zwischen der Recheneffizienz des diagonalen QP und den Leistungsgewinnen der optimalen Basis. Es stellt fest, dass diagonale Verschmelzung optimal ist, wenn Modell-Updates in einem gemeinsamen Basis in unabhängige Modi zerfallen; andernfalls ist die „Suboptimalitätslücke" über den erfassten Energieanteil messbar.

3. Erweiterung auf mehrere Schichten

Für die Verschmelzung über mehrere Schichten hinweg schlagen die Autoren einen sequenziellen schichtweisen Algorithmus vor. Da die gemeinsame Optimierung über Schichten hinweg aufgrund nichtlinearer Interaktionen nicht-konvex ist, wendet die Methode das ein-Schichten-QP sequenziell an. In jedem Schritt wird das Residuum unter Verwendung des aktuellen verschmolzenen Modells aktualisiert, und das QP wird für die nächste Schicht gelöst, wobei die notwendigen Jacobi-Matrizen neu berechnet werden.

Hauptbeiträge

Einheitliches Rahmenwerk: Die Arbeit fasst bestehende heuristische Verschmelzungsmethoden (Task Arithmetic, Model Soups, TIES, DARE) als Spezialfälle eines diagonal-maskierten QP zusammen und bietet eine einheitliche mathematische Perspektive.
Konvexe Formulierung: Sie stellt fest, dass Modellverschmelzung als konvexes quadratisches Programm über Residual-Updates formuliert werden kann, was ein globales Minimum für die gewählte Basis garantiert.
Geschlossene Diagnose: Die Autoren führen eine berechenbare Diagnose ein – den Anteil der Residualenergie, der von einer gewählten Basis erfasst wird –, die die Qualität des nachgelagerten Verschmelzens unter Verwendung nur des Kalibrierungsdatensatzes vorhersagt, ohne eine vollständige nachgelagerte Evaluation zu erfordern.
Charakterisierung der optimalen Basis: Die Arbeit identifiziert die output-gewichteten Hauptkomponenten der Residual-Aktivierungen als optimale Basis zur Minimierung des quadratischen Ausgabe-Verlusts und klärt auf, wann diagonale Verschmelzung ausreicht und wann eine komplexere Basis erforderlich ist.
Empirische Validierung: Das Rahmenwerk wird über Sprach- (LLaMA 3.1) und Vision-Benchmarks (ViT-B/32, MNIST) validiert und zeigt konsistente Verbesserungen gegenüber bestehenden Heuristiken.

Experimentelle Ergebnisse

Leistung bei ein-Schichten-Verschmelzung: In Experimenten zur ein-Schichten-Verschmelzung an ViT-B/32 (feinabgestimmt auf CIFAR-10, STL-10, Imagenette, EuroSAT) und LLaMA 3.1 erzielt die QP-Lösung den niedrigsten mittleren quadratischen Fehler (MSE) über alle Datensätze hinweg und die beste durchschnittliche Genauigkeit im Vergleich zu Task Arithmetic, Model Soups, TIES, DARE und Fisher-gewichteter Verschmelzung.
Basis-Analyse: Experimente zu MNIST-Ziffern-Klassifizierungsaufgaben zeigen, dass die optimale Basis (oberste Eigenvektoren der Residual-Matrix) konsistent den niedrigsten MSE erreicht. Die Standard-diagonale Basis ist zwar weniger effektiv als die optimale Basis, bleibt jedoch wettbewerbsfähig und übertrifft Benchmark-Heuristiken, was ihre Verwendung als effizienter Proxy validiert.
Gewinne bei mehreren Schichten: Die sequenzielle Erweiterung auf mehrere Schichten an LLaMA 3.1 zeigt konsistente Verbesserungen sowohl im MSE als auch in der Genauigkeit über Code-, Instruktionsbefolgungs- und Mathematik-Aufgaben hinweg im Vergleich zu Baseline-Methoden.
Diagnostischer Nutzen: Die Metrik „erfasste Energie" sagt erfolgreich die Leistungs-Rangfolge verschiedener Basis-Wahlen voraus und bestätigt den theoretischen Zusammenhang zwischen der Erfassung von Residualenergie und dem nachgelagerten Verlust.

Bedeutung und Behauptungen

Die Arbeit behauptet, ein einheitliches theoretisches Rahmenwerk bereitzustellen, das den Erfolg bestehender Heuristiken erklärt und eine prinzipielle Methode zur Verbesserung dieser bietet.

Theoretische Strenge: Im Gegensatz zu früheren Methoden, die auf ad-hoc-Regeln beruhen, bietet dieser Ansatz eine präzise mathematische Vorstellung (Minimierung des quadratischen Ausgabe-Verlusts durch Projektion), für die die Methode optimal ist.
Praktischer Nutzen: Das Rahmenwerk bietet eine berechenbare Diagnose, um zu bestimmen, wann die teure optimale Basis notwendig ist und wann das günstigere diagonale QP ausreicht.
Bescheidenheit: Die Autoren erkennen Einschränkungen an und stellen fest, dass das Rahmenwerk für ein linearisiertes quadratisches Ausgabe-Ziel abgeleitet wurde. Sie geben ausdrücklich an, dass die Erweiterung des Rahmenwerks auf nicht-quadratische Verluste (wie Kreuzentropie) und die Entwicklung skalierbarer Approximationen für die optimale Basis in hochdimensionalen Settings wichtige Richtungen für zukünftige Arbeiten bleiben. Sie stellen zudem fest, dass ein niedrigerer MSE nicht immer perfekt mit einer höheren Aufgaben-Genauigkeit korreliert, eine Einschränkung, die in ihren LLM-Experimenten beobachtet wurde.

Zusammenfassend stellt die Arbeit die Modellverschmelzung von einer heuristischen Kombination von Gewichten zu einem konvexen Optimierungsproblem im Ausgaberaum um, bietet sowohl eine theoretische Begründung für bestehende Methoden als auch einen Weg zu optimierteren Verschmelzungsstrategien.