🤖 machine learning

Model Fusion via Retrofitting

Dieser Beitrag stellt ein neuronenzentriertes Framework zur Modellfusion vor, das die Fusion als Problem der Repräsentationsanpassung behandelt, indem es intermediate Neuronen gruppiert und Attributionsscores verwendet, um saliente Merkmale auszurichten, wodurch eine überlegene Leistung gegenüber bestehenden Methoden – insbesondere in Zero-Shot- und nicht-IID-Szenarien – über diverse Architekturen wie VGGs, ResNets und ViTs hinweg ohne Nachtraining erreicht wird.

Ursprüngliche Autoren: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei erfahrene Köche, die Jahre damit verbracht haben, ihre eigenen einzigartigen Rezepte zu perfektionieren. Koch A ist auf italienische Küche spezialisiert, und Koch B auf japanische Küche. Sie haben nie zusammengearbeitet, verwenden unterschiedliche Werkzeuge und messen möglicherweise sogar Zutaten in verschiedenen Einheiten.

Stellen Sie sich nun vor, Sie möchten einen einzigen „Meisterkoch" erschaffen, der sowohl italienische als auch japanische Gerichte perfekt zubereiten kann, aber Sie dürfen ihn nicht bitten, zurück in die Kochschule zu gehen, um alles von Grund auf neu zu lernen. Sie möchten lediglich ihr bestehendes Wissen sofort in eine Person vereinen.

Dies ist das Problem der Modellfusion. In der Welt der Künstlichen Intelligenz (KI) haben wir oft verschiedene neuronale Netze (die „Köche"), die separat trainiert wurden. Wir möchten sie in ein einziges leistungsstarkes Modell zusammenführen, ohne den teuren und zeitaufwändigen Prozess des erneuten Trainings mit neuen Daten.

Das Problem: Die „Sprachbarriere"

Der Artikel erklärt, dass das einfache Mitteln der Gewichte dieser beiden Modelle (wie das schichtweise Mischen ihrer Rezeptbücher) normalerweise scheitert. Warum? Selbst wenn sie auf ähnlichen Daten trainiert wurden, lernen sie Dinge auf unterschiedliche Weise.

Das „Permutations"-Problem: Stellen Sie sich Koch As „Gewürzregal" vor, bei dem der „Kümmel" in der obersten Schublade liegt, während Koch Bs „Kümmel" in der untersten Schublade ist. Wenn Sie ihre Schubladen einfach mitteln, erhalten Sie ein chaotisches Gemisch, das keinen Sinn ergibt. Die KI-Neuronen (die „Zutaten") befinden sich in unterschiedlicher Reihenfolge und an unterschiedlichen Orten.
Die „Zero-Shot"-Herausforderung: Die meisten bestehenden Methoden funktionieren einigermaßen, wenn die Köche ähnliche Hintergründe haben. Wenn sie jedoch auf völlig unterschiedlichen Daten trainiert wurden (wie einer auf italienischem Essen, einer auf japanischem Essen), versagen die bestehenden Methoden kläglich. Das kombinierte Modell wird verwirrt und performt schlechter als die einzelnen Köche.

Die Lösung: „Retrofitting" mit einem „Ziel"

Die Autoren schlagen eine neue Methode namens Modellfusion via Retrofitting vor. Anstatt die Köche einfach zu mitteln, verwenden sie einen cleveren Zwei-Schritte-Prozess, der wie ein Übersetzer und ein Trainer wirkt.

Schritt 1: Die „Gruppierung" (Finden der Zwillinge)

Zuerst betrachtet der Algorithmus, was die Neuronen (die Neuronen sind wie die einzelnen Neuronen im menschlichen Gehirn oder die spezifischen „Fähigkeiten" der Köche) tatsächlich tun, wenn sie Daten sehen.

Er gruppiert ähnliche Neuronen von Koch A und Koch B zusammen.
Der kreative Twist: Der Artikel führt Neuronen-Zuordnungswerte ein. Stellen Sie sich vor, nicht alle Zutaten sind gleich wichtig. Manche Gewürze sind entscheidend für den Geschmack; andere sind nur Garnitur. Der Algorithmus identifiziert, welche Neuronen die „Starspieler" (hohe Wichtigkeit) und welche die „Bankreserven" (geringe Wichtigkeit) sind.
Anschließend erstellt er ein „Ziel" für jede Gruppe. Stellen Sie sich dies als eine „Goldstandard"-Rezeptkarte vor, die den perfekten Durchschnitt der gruppierten Neuronen darstellt, gewichtet nach ihrer Wichtigkeit.

Schritt 2: Das „Retrofit" (Der Trainer)

Nun baut der Algorithmus den neuen „Meisterkoch" (das fusionierte Modell). Er kopiert nicht einfach die alten Köche; er trainiert die Schichten des neuen Modells so, dass sie mit diesen gerade erstellten „Goldstandard"-Zielen übereinstimmen.

Es ist, als würde man einen neuen Lehrling nehmen und sagen: „Kopiere nicht einfach Koch A oder Koch B. Schau dir dieses spezifische Zielgericht an, das wir entworfen haben. Passe dein Kochen an, bis deine Ausgabe diesem Ziel perfekt entspricht."
Dies geschieht Schicht für Schicht, von der unteren bis zur oberen Ebene des Netzwerks.

Warum dies besser ist (Die Ergebnisse)

Der Artikel testete dies an verschiedenen KI-Architekturen (wie VGG, ResNet und Vision Transformers) und stellte fest:

Es funktioniert, wenn andere scheitern: In „Zero-Shot"-Szenarien (wo Modelle ohne zusätzliches Training auf neuen Daten fusioniert werden) kollabieren bestehende Methoden oft zu zufälligem Raten. Die Methode der Autoren behält eine hohe Genauigkeit bei, selbst wenn die Modelle auf völlig unterschiedlichen, sich nicht überschneidenden Daten trainiert wurden (wie im „Sharded"-Setup, wo ein Modell nur rote Autos sieht und das andere nur blaue Autos).
Es respektiert die Wichtigkeit: Durch die Verwendung dieser „Neuronen-Zuordnungswerte" stellt die Methode sicher, dass die kritischsten Merkmale der ursprünglichen Modelle erhalten bleiben, anstatt im Rauschen weniger wichtiger Merkmale unterzugehen.
Es ist flexibel: Es funktioniert bei verschiedenen Arten von KI-Architekturen, nicht nur bei einer bestimmten Art.

Der Kompromiss

Der Artikel räumt ein, dass diese Methode etwas langsamer und rechenintensiver ist als die „schnellen und schmutzigen" Mittelungsverfahren. Sie argumentieren jedoch, dass dies die Mühe wert ist, weil:

Es sofort ein brauchbares Modell liefert (Zero-Shot), während andere Methoden oft Stunden oder Tage zusätzlichen Feintunings benötigen, um überhaupt zu funktionieren.
Langfristig die Zeitersparnis beim Reparieren kaputter Modelle die zusätzliche Zeit für die initiale Fusion aufwiegt.

Zusammenfassende Analogie

Alter Weg: Sie nehmen zwei verschiedene Sprachen, übersetzen sie wortwörtlich in eine dritte Sprache und hoffen, dass die Bedeutung erhalten bleibt. Dies führt meist zu Kauderwelsch.
Neuer Weg (Retrofitting): Sie identifizieren die Kernkonzepte (die „Ziele"), die beide Köche verstehen, weisen ihnen einen Wert basierend auf ihrer Wichtigkeit zu und lehren dann einen neuen Koch, diese spezifische, vereinheitlichte Sprache perfekt zu sprechen.

Der Artikel kommt zu dem Schluss, dass dieser Ansatz es uns ermöglicht, unabhängige KI-Modelle effektiv zu kombinieren, selbst wenn sie sehr unterschiedlich sind, ohne sie von Grund auf neu trainieren zu müssen.

Technische Zusammenfassung: Modellfusion durch Retrofitting

Problemstellung

Die Modellfusion zielt darauf ab, unabhängig trainierte neuronale Netze ohne Nachtraining in ein einzelnes Modell zu kombinieren und bietet damit eine Lösung für Szenarien, in denen ein Nachtraining aufgrund von Datenschutzbeschränkungen (z. B. Federated Learning) unverhältnismäßig teuer oder unmöglich ist. Diese Aufgabe wird jedoch durch repräsentative Divergenz erschwert, die durch Permutationsinvarianz, zufällige Initialisierung und heterogene Verteilungen der Trainingsdaten verursacht wird.

Bestehende Methoden wie OTFusion (Singh & Jaggi, 2020) und Git Re-Basin (Ainsworth et al., 2023) stützen sich auf die Vermutung der Linearen Modus-Konnektivität (Linear Mode Connectivity, LMC), die besagt, dass unabhängig trainierte Netzwerke im selben Verlustminimum (Low-Loss Basin) liegen. Während die LMC für Modelle gilt, die auf identischen Daten trainiert wurden, deuten frühere Studien darauf hin, dass selbst Modelle, die auf denselben Daten trainiert wurden, divergierende interne Merkmale erlernen können. Folglich kämpfen bestehende Fusionsmethoden in Zero-Shot-Szenarien (Fusion ohne weiteres Training) und unter Non-IID-Datenregimen (nicht unabhängig und identisch verteilt) erheblich und kollabieren häufig auf eine Leistung nahe dem Zufallsniveau. Darüber hinaus fehlt aktuellen Ansätzen oft die Allgemeingültigkeit über Architekturen hinweg (z. B. Schwierigkeiten mit Transformern), und sie verlassen sich auf Basismodelle, die möglicherweise nicht vollständig optimiert sind, wodurch das wahre Potenzial von Fusionsalgorithmen verschleiert wird.

Methodik

Die Autoren schlagen eine neuronenzentrierte Familie von Fusionsalgorithmen vor, die die Modellfusion als ein prinzipielles Repräsentations-Matching-Problem neu fasst. Anstatt lediglich Gewichte zu mitteln oder Permutationsmatrizen zu finden, behandelt die Methode die Fusion als einen zweistufigen Prozess: Gruppierung von Neuronen aus Elternmodellen in Zielrepräsentationen und anschließendes Training der Subnetzwerke des fusionierten Modells, um diese Ziele zu approximieren.

Kernrahmenwerk

Repräsentationskosten: Das Ziel wird durch den quadrierten $L_2$ -Abstand zwischen den Aktivierungen der Neuronen des Basismodells und den nächstgelegenen Neuronen im fusionierten Modell definiert, gewichtet mit Neuronen-Bedeutungswerten (Attributionswerte). Dies bestraft die Fehlrepräsentation salienter Merkmale.
Zerlegung (Theorem 1): Die Autoren führen einen auxiliary Zielvektor $T$ $T$ ein, um die Repräsentationskosten in zwei interpretierbare Komponenten zu zerlegen:
- Gruppierungsfehler: Misst, wie gut Neuronen des Basismodells um gewichtete Schwerpunkte ( $T_k$ ) gruppiert sind.
- Approximationsfehler: Misst, wie gut die Ausgabeneuronen des fusionierten Modells diese Schwerpunkte approximieren.
Zweistufiger Algorithmus:
- Schritt 1 (Gruppierung): Neuronen der Basismodelle werden so geclustert, dass der Gruppierungsfehler minimiert wird. Dies liefert gewichtete Schwerpunkte, die als Ziele dienen.
- Schritt 2 (Retrofitting): Die Gewichte des fusionierten Modells auf der aktuellen Ebene werden optimiert (mittels geschlossener Lösung für lineare Schichten oder SGD für nicht-lineare Schichten), um den Approximationsfehler gegenüber diesen Zielen zu minimieren. Dieser Prozess wird von unten nach oben durch die Netzwerkebenen durchgeführt.

Algorithmus-Varianten

Die Arbeit stellt zwei primäre Algorithmen vor, die auf der Gruppierungsstrategie basieren:

Hungarian Fusion (HF): Entwickelt für Modelle gleicher Größe mit einer-zu-einer-Zuordnung auf Ebene-Ebene. Es wird der Ungarische Algorithmus verwendet, um die optimale Zuordnung zu finden.
K-means Fusion (KF): Entwickelt für den allgemeinen Fall, einschließlich Modelle beliebiger Breiten und Tiefen. Es wird eine heuristische K-means-Clustering-Methode zur Gruppierung von Neuronen verwendet.

Beide Algorithmen verfügen über Lineare (geschlossene Lösung für affine Schichten) und Gradientenbasierte (SGD/Adam für nicht-lineare Schichten) Varianten.

Wichtige Innovationen

Neuronen-Attribution: Im Gegensatz zu früheren Arbeiten integriert dieser Ansatz Neuronen-Bedeutungswerte (z. B. Conductance, DeepLIFT), um die Ausrichtung auf saliente Merkmale zu biasen und die Leistung in heterogenen Settings zu verbessern.
Architektonische Flexibilität: Die Methode ist auf jede Architektur anwendbar, die als gerichteter azyklischer Graph (DAG) von Ebenen modularisierbar ist, und wurde empirisch an VGGs, ResNets und Vision Transformern (ViTs) validiert.
Zero-Shot-Fähigkeit: Durch die explizite Optimierung der Approximation geclusteter Repräsentationen erzielt die Methode starke Leistung ohne das umfangreiche Fine-Tuning, das von früheren Methoden erforderlich ist.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methoden über drei Trainingsregime hinweg: Sharded (disjunkte Klassensätze), Non-IID (verzerrte Klassenverteilungen) und Vollständiger Datensatz.

Sharded/Non-IID-Regime: In extremen Non-IID-Szenarien (z. B. 6-fache Klassenaufteilung auf CIFAR-100) kollabierten bestehende Methoden wie OTFusion und Git Re-Basin auf eine Genauigkeit nahe dem Zufallsniveau (oft <5%). Im Gegensatz dazu behielten KF-Gradient und HF-Gradient eine robuste Zero-Shot-Genauigkeit bei (z. B. 34,7 % auf CIFAR-100 für 6-fache Aufteilungen gegenüber <1,5 % für Baselines).
Vollständiger-Datensatz-Regime: Selbst wenn Modelle auf dem vollständigen Datensatz trainiert wurden, übertrafen die vorgeschlagenen Methoden die Baselines bei der Zero-Shot-Fusion. Auf CIFAR-100 erreichte KF-Gradient beispielsweise eine Zero-Shot-Genauigkeit von 63,0 % im Vergleich zu 4,3 % für Transformer OTFusion. Nach dem Fine-Tuning näherten sich die vorgeschlagenen Methoden konsistent der Ensemble-Leistung an, behielten dabei jedoch die Inferenzkosten eines einzelnen Modells bei.
Kompression und Heterogenität: Die Methode fusionierte erfolgreich Modelle unterschiedlicher Breiten und komprimierte größere Modelle (ResNet-50) in kleinere (ResNet-18) mit deutlich höherer Genauigkeit als die Standard-Wissensdistillation (KD), wenn die Daten begrenzt waren.
Robustheit: Der Ansatz zeigte Robustheit gegenüber variierenden Größen des Fusionsdatensatzes, wobei Daten-Augmentierung die Notwendigkeit großer Fusionsmengen effektiv reduzierte.

Bedeutung und Behauptungen

Die Arbeit behauptet, drei wesentliche Lücken in der vorherigen Forschung zu adressieren:

Reproduzierbarkeit: Bereitstellung einer flexiblen, quelloffenen Neuimplementierung, die systematisches Benchmarking über Architekturen hinweg ermöglicht.
Qualität der Basismodelle: Demonstration, dass Fusionsmethoden signifikante Verbesserungen liefern können, selbst wenn Basismodelle gut trainiert sind, was die Annahme herausfordert, dass schlechte Fusionsergebnisse ausschließlich auf schwache Baselines zurückzuführen sind.
Heterogene Daten: Aufzeigen, dass bestehende Methoden bei der Zero-Shot-Fusion unter Non-IID-Bedingungen versagen, während der vorgeschlagene neuronenzentrierte Ansatz Modelle erfolgreich integriert, die auf disjunkten oder verzerrten Datenverteilungen trainiert wurden.

Die Autoren betonen, dass ihr Ansatz der erste ist, der Neuronen-Bedeutungswerte erfolgreich in die Modellfusion integriert, was zu konsistenten Verbesserungen gegenüber bestehenden Baselines führt, insbesondere in Zero-Shot- und Non-IID-Szenarien, in denen andere Methoden versagen. Sie positionieren die Methode als praktische Lösung für Federated Learning und datenschutzkonforme Modellaggregation, bei denen ein Nachtraining keine Option ist. Obwohl sie anerkennen, dass gradientenbasierte Varianten rechnerisch teurer sind als leichte Baselines, argumentieren die Autoren, dass dieser Overhead durch die Fähigkeit gerechtfertigt ist, in Regimen, in denen Konkurrenten unbrauchbare Ergebnisse liefern, brauchbare fusionierte Modelle zu produzieren.