Technische Zusammenfassung: Bayesian Model Merging (BMM)

Problemdefinition

Model Merging zielt darauf ab, mehrere auf spezifische Aufgaben zugeschnittene Expertenmodelle in eine einzige Architektur zu kombinieren, ohne ein gemeinsames Nachtraining oder Zugriff auf die ursprünglichen Trainingsdaten. Dieses Paradigma adressiert den Speicher- und Bereitstellungsaufwand für die Wartung separater Experten sowie die prohibitiven Kosten des Multi-Task-Lernens unter Daten-Silos oder Datenschutzbeschränkungen.

Bestehende Merging-Methoden stoßen auf zwei Hauptgrenzen:

1. Unterausnutzung der induktiven Verzerrung: Die meisten Methoden schätzen fusionierte Gewichte von Grund auf neu und nutzen dabei das wertvolle Vorwissen, das in starken „Anker"-Modellen eingebettet ist (z. B. bestehende Merging-Lösungen wie Task Arithmetic oder TSV), nicht aus.
2. Fehlende globale Optimierung: Fortgeschrittene Methoden arbeiten oft isoliert modulweise oder verlassen sich auf gemeinsame Hyperparameter über heterogene Netzwerkmodule hinweg, ohne eine Strategie zur globalen Koordination der Regularisierungsstärken zu besitzen, um die End-to-End-Leistung zu maximieren.

Darüber hinaus erfordern viele Methoden auxiliary Kalibrierungsdaten (datenunterstützt), die aufgrund von Datenschutz- oder Speicherbeschränkungen oft nicht verfügbar sind, während datenfreie Methoden häufig die theoretische Fundierung fehlt, um Aktivierungsstatistiken effektiv zu approximieren.

Methodik

Die Arbeit stellt Bayesian Model Merging (BMM) vor, ein Plug-and-Play-Framework für zweistufige Optimierung.

1. Aktivierungsbasierte Bayes'sche Regression (Innerer Loop)

BMM formuliert das modulare Merging als Problem der Bayes'schen linearen Regression.

• Prior-Induktion: Anstatt Gewichte von Grund auf neu zu schätzen, verwendet BMM ein starkes Ankermodell (z. B. TA, TIES, TSV), um einen Prior zu definieren. Der fusionierte Task-Vektor $U$ wird durch einen Anker-Task-Vektor $U^{(0)}$ über einen elementweisen unabhängigen Gaußschen Prior regularisiert.
• Likelihood: Im datenunterstützten Szenario wird die Likelihood aus empirischen Aktivierungsstatistiken ($X$) und Residualausgaben ($Y$) abgeleitet, die von einem kleinen Kalibrierungsdatensatz gesammelt wurden.
• Geschlossene Lösung: Die Maximum-A-Posteriori (MAP)-Schätzung des fusionierten Task-Vektors wird analytisch hergeleitet:
  $$U_{MAP} = (YX^\top + \lambda U^{(0)})(XX^\top + \lambda I)^{-1}$$
  wobei $\lambda$ ein Regularisierungsgewicht ist, das die empirische Anpassung und den Anker-Prior ausbalanciert. Dies liefert eine effiziente geschlossene Lösung für das modulare Merging.

2. Bayes'sche Optimierung für globale Koordination (Äußerer Loop)

Um die Heterogenität von Netzwerkmodulen zu adressieren, verwendet BMM keinen einzelnen gemeinsamen Hyperparameter. Stattdessen setzt es Bayes'sche Optimierung (BO) ein, um modulspezifische Regularisierungsstärken ($\lambda$) global zu suchen.

• Ziel: Der äußere Loop maximiert die prädiktive Evidenz (approximiert durch die Leistung auf einem Validierungsdatensatz) über die Hyperparameter $\lambda$.
• Effizienz: Ein Gauß-Prozess (GP)-Surrogatmodell leitet die Suche und balanciert Exploration und Exploitation aus. Um die rechnerische Komplexität bei großen Modellen (z. B. ViT-L/14) zu bewältigen, schlagen die Autoren eine Strategie zur blockweisen Parameterverknüpfung vor, bei der Module nach Funktion gruppiert werden (z. B. attention-in, MLP-out), um die Dimensionalität des Suchraums zu reduzieren.

3. Datenfreie Variante durch theoretische Ausrichtung

Um Merging ohne auxiliary Kalibrierungsdaten zu ermöglichen, leiten die Autoren eine datenfreie Variante basierend auf einer theoretischen Ausrichtung zwischen Aktivierungsstatistiken und Task-Vektoren ab.

• Theorem 1: Unter milden Annahmen bezüglich der terminalen Phase des Fine-Tunings (neural collapse und Repräsentationsgeometrie) ist die Gram-Matrix der Eingangsaktivierungen ($E[xx^\top]$) positiv korreliert mit der Gram-Matrix der Task-Vektoren ($U^\top U$).
• Approximation: Diese Ausrichtung ermöglicht den Ersatz empirischer Aktivierungsstatistiken durch ein Surrogat, das ausschließlich aus Experten-Gewichten abgeleitet wird: $XX^\top \approx c \sum (U^{(t)})^\top U^{(t)}$.
• Ergebnis: Dies ergibt eine datenfreie MAP-Schätzung, die die geschlossene Lösung beibehält, keine Kalibrierungsdaten erfordert, sondern nur die Task-Vektoren der Experten und des Ankers.

Hauptbeiträge

1. Zweistufiges Optimierungsframework: BMM kombiniert einen MAP-Schätzer mit geschlossener Lösung im inneren Loop (unter Nutzung von Anker-Priors) mit einer Bayes'schen Optimierung im äußeren Loop für die globale Hyperparameter-Koordination.
2. Theoretische datenfreie Herleitung: Die Arbeit stellt eine theoretische Verbindung zwischen Aktivierungsstatistiken und Task-Vektoren her (Theorem 1) und ermöglicht so eine datenfreie Variante des Bayes'schen Mergings, die die geschlossene Lösung bewahrt.
3. Plug-and-Play-Flexibilität: Das Framework ist modular aufgebaut, sodass jede bestehende Merging-Lösung als Anker-Prior dienen kann, und unterstützt sowohl datenunterstützte als auch datenfreie Szenarien.

Experimentelle Ergebnisse

Die Autoren evaluierten BMM an Vision-Benchmarks (ViT-B/32, ViT-L/14) und Language-Benchmarks (Llama-3.2-3B, Llama-3.1-8B) über 8-, 14- und 20-Aufgaben-Merging-Szenarien hinweg.

• Leistungssteigerungen: BMM übertraf konsistent alle Plug-and-Play-Anker-Baselines (TA, TIES, RegMean, TSV, WUDI-Merging, ISO-CTS) sowohl in datenunterstützten als auch in datenfreien Szenarien.
  • Auf dem ViT-L/14 8-Aufgaben-Benchmark erreichte ein einzelnes BMM-fusioniertes Modell 95,1% Genauigkeit (datenunterstützt) und 95,0% (datenfrei), was der durchschnittlichen Leistung der acht einzelnen aufgaben-spezifischen Experten (95,8%) nahekommt.
  • Relative Verbesserungen gegenüber schwächeren Ankern (z. B. TA, TIES) erreichten bis zu 27%.
• Skalierbarkeit: BMM behielt seine Wirksamkeit bei, als die Anzahl der fusionierten Aufgaben zunahm (bis zu 20 Aufgaben), und milderte Task-Interferenzen erfolgreich ab.
• Effizienz: Trotz der BO-Suche blieb BMM rechnerisch wettbewerbsfähig. So übertraf BMM auf ViT-B/32 mit nur 20 BO-Iterationen Baselines, die erschöpfende Gittersuchen (225 Konfigurationen) erforderten, und reduzierte gleichzeitig die Wandzeit erheblich.
• Ablationsstudien:
  • Globale Koordination: Der Ersatz von BO durch shared-$\lambda$ oder zufällige Suche führte zu niedrigerer Leistung und bestätigte die Notwendigkeit einer modul-spezifischen globalen Optimierung.
  • Datenfreie Validität: Die datenfreie Variante performte vergleichbar zur datenunterstützten Variante und validierte die theoretische Ausrichtung zwischen Aktivierungsstatistiken und Task-Vektoren.
  • Unsicherheitskalibrierung: Eine stichprobenbasierte Variante von BMM (unter Verwendung des vollständigen Gaußschen Posterior) zeigte eine verbesserte Expected Calibration Error (ECE) im Vergleich zur Punktschätzung, ohne die Genauigkeit zu beeinträchtigen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BMM einen praktischen und skalierbaren Weg zum Model Merging bietet, wenn auxiliary Kalibrierungsdaten begrenzt oder nicht verfügbar sind. Durch die Kombination von informativen Anker-Priors mit globaler Hyperparameter-Koordination schließt BMM die Lücke zwischen der Leistung einzelner aufgaben-spezifischer Experten und vereinheitlichten Multi-Task-Modellen.

Die Autoren betonen, dass ihr Ansatz kein gemeinsames Nachtraining oder Zugriff auf ursprüngliche Trainingsdaten erfordert, was ihn für Umgebungen mit Daten-Silos oder Datenschutzbeschränkungen geeignet macht. Die Herleitung der datenfreien Variante wird als wesentlicher theoretischer Beitrag hervorgehoben, der zeigt, dass die geometrische Struktur von Task-Vektoren empirische Aktivierungsstatistiken effektiv ersetzen kann. Die Ergebnisse deuten darauf hin, dass die Nutzung bestehender Merging-Lösungen als Priors, anstatt Merging als Zero-Shot-Kombination zu behandeln, ein entscheidender Faktor für das Erreichen von State-of-the-Art-Leistung ist.