Technische Samenvatting: Bayesiaanse Modelsamenvoeging (BMM)

Probleemdefinitie

Modelsamenvoeging heeft tot doel meerdere taakspecifieke expertmodellen te combineren tot één architectuur zonder gezamenlijke hertraining of toegang tot de originele trainingsdata. Dit paradigma adresseert de opslag- en implementatie- overhead van het onderhouden van aparte experts en de prohibitieve kosten van multi-task learning onder data-silo's of privacybeperkingen.

Bestaande samenvoegingsmethoden staan voor twee primaire beperkingen:

1. Onderschatting van Inductieve Bias: De meeste methoden schatten samengevoegde gewichten vanaf nul, waardoor ze het waardevolle voorkennis niet benutten dat is ingebed in sterke "anker"-modellen (bijvoorbeeld bestaande samenvoegingsoplossingen zoals Task Arithmetic of TSV).
2. Gebrek aan Globale Optimalisatie: Geavanceerde methoden opereren vaak modulegewijs in isolatie of vertrouwen op gedeelde hyperparameters over heterogene netwerkmodules, zonder een strategie om regularisatiesterktes globaal te coördineren om de end-to-end prestaties te maximaliseren.

Bovendien vereisen veel methoden auxiliaire kalibratie-data (data-ondersteund), die vaak niet beschikbaar is vanwege privacy- of opslagbeperkingen, terwijl datavrije methoden vaak het theoretische fundament missen om activatiestatistieken effectief te benaderen.

Methodologie

Het artikel introduceert Bayesiaanse Modelsamenvoeging (BMM), een plug-and-play bi-niveau optimalisatiekader.

1. Activeringsgebaseerde Bayesiaanse Regressie (Binnenste Lus)

BMM formuleert modulegewijze samenvoeging als een Bayesiaans lineair regressieprobleem.

• Prior-inductie: In plaats van gewichten vanaf nul te schatten, gebruikt BMM een sterk ankermodel (bijvoorbeeld TA, TIES, TSV) om een prior te definiëren. Het samengevoegde taakvector $U$ wordt geregulariseerd door een anker-taakvector $U^{(0)}$ via een elementsgewijze onafhankelijke Gaussische prior.
• Waarschijnlijkheid: In de data-ondersteunde setting wordt de waarschijnlijkheid afgeleid uit empirische activatiestatistieken ($X$) en residu-uitgangen ($Y$) verzameld uit een kleine kalibratieset.
• Gesloten-vorm Oplossing: De Maximum A Posteriori (MAP) schatting van de samengevoegde taakvector wordt analytisch afgeleid:
  $$U_{MAP} = (YX^\top + \lambda U^{(0)})(XX^\top + \lambda I)^{-1}$$
  waarbij $\lambda$ een regularisatiegewicht is dat de empirische fit en de anker-prior in evenwicht brengt. Dit biedt een efficiënte gesloten-vorm oplossing voor modulegewijze samenvoeging.

2. Bayesiaanse Optimalisatie voor Globale Coördinatie (Buitenste Lus)

Om de heterogeniteit van netwerkmodules aan te pakken, gebruikt BMM geen enkele gedeelde hyperparameter. In plaats daarvan maakt het gebruik van Bayesiaanse Optimalisatie (BO) om module-specifieke regularisatiesterktes ($\lambda$) globaal te zoeken.

• Doel: De buitenste lus maximaliseert de voorspellende evidentie (benaderd door prestaties op de validatieset) over de hyperparameters $\lambda$.
• Efficiëntie: Een Gaussian Process (GP) surrogate-model leidt het zoeken, waarbij exploratie en exploitatie in evenwicht worden gebracht. Om de computationele complexiteit in grote modellen (bijvoorbeeld ViT-L/14) te beheersen, stellen de auteurs een blokgewijze parameterkoppingsstrategie voor, waarbij modules worden gegroepeerd op functie (bijvoorbeeld attention-in, MLP-out) om de dimensionaliteit van de zoekruimte te verminderen.

3. Datavrije Variant via Theoretische Alignering

Om samenvoeging mogelijk te maken zonder auxiliaire kalibratie-data, leiden de auteurs een datavrije variant af op basis van een theoretische alignering tussen activatiestatistieken en taakvectoren.

• Stelling 1: Onder milde aannamen met betrekking tot de terminale fase van fine-tuning (neuraal ineenstorten en representatiegeometrie), is de Gram-matrix van input-activaties ($E[xx^\top]$) positief gecorreleerd met de Gram-matrix van taakvectoren ($U^\top U$).
• Benadering: Deze alignering maakt het vervangen van empirische activatiestatistieken mogelijk door een surrogate die uitsluitend is afgeleid uit expert-gewichten: $XX^\top \approx c \sum (U^{(t)})^\top U^{(t)}$.
• Resultaat: Dit levert een datavrije MAP-schatting op die de gesloten-vorm oplossing behoudt, waarbij geen kalibratie-data nodig is, alleen de taakvectoren van de experts en het anker.

Belangrijkste Bijdragen

1. Bi-niveau Optimalisatiekader: BMM combineert een gesloten-vorm binnenste-lus MAP-schatter (die anker-priors benut) met een buitenste-lus Bayesiaanse optimalisatie voor globale hyperparameter-coördinatie.
2. Theoretische Datavrije Afleiding: Het artikel vestigt een theoretisch verband tussen activatiestatistieken en taakvectoren (Stelling 1), waardoor een datavrije variant van Bayesiaanse samenvoeging mogelijk wordt die de gesloten-vorm oplossing behoudt.
3. Plug-and-Play Flexibiliteit: Het kader is modulair, waardoor elke bestaande samenvoegingsoplossing kan dienen als anker-prior, en ondersteunt zowel data-ondersteunde als datavrije settings.

Experimentele Resultaten

De auteurs evalueerden BMM op visuele (ViT-B/32, ViT-L/14) en taalbenchmarks (Llama-3.2-3B, Llama-3.1-8B) over 8, 14 en 20-taak samenvoegingsscenario's.

• Prestatiewinst: BMM presteerde consequent beter dan alle plug-and-play anker-baselines (TA, TIES, RegMean, TSV, WUDI-Merging, ISO-CTS) in zowel data-ondersteunde als datavrije settings.
  • Op de ViT-L/14 8-taak benchmark bereikte een enkel BMM-gesamenvoegd model 95,1% nauwkeurigheid (data-ondersteund) en 95,0% (datavrij), wat dicht in de buurt kwam van het gemiddelde prestatieniveau van de acht individuele taakspecifieke experts (95,8%).
  • Relatieve verbeteringen ten opzichte van zwakkere ankers (bijvoorbeeld TA, TIES) bereikten tot 27%.
• Schaalbaarheid: BMM behield zijn effectiviteit naarmate het aantal samengevoegde taken toenam (tot 20 taken), en verminderde succesvol taakinterferentie.
• Efficiëntie: Ondanks de BO-zoektocht bleef BMM computationeel concurrerend. Bijvoorbeeld, op ViT-B/32 presteerde BMM met slechts 20 BO-proeven beter dan baselines die uitgebreide grid-zoekopdrachten vereisten (225 configuraties), terwijl de wandkloktijd aanzienlijk werd gereduceerd.
• Ablatiestudies:
  • Globale Coördinatie: Het vervangen van BO door gedeelde-$\lambda$ of willekeurige zoekopdrachten resulteerde in lagere prestaties, wat de noodzaak bevestigt van module-specifieke globale optimalisatie.
  • Datavrije Validiteit: De datavrije variant presteerde vergelijkbaar met de data-ondersteunde variant, wat de theoretische alignering tussen activatiestatistieken en taakvectoren valideert.
  • Onzekerheidskalibratie: Een op steekproeven gebaseerde variant van BMM (met gebruik van de volledige Gaussische posterior) toonde een verbeterde Expected Calibration Error (ECE) aan ten opzichte van de punt-schatting, zonder nauwkeurigheid op te offeren.

Betekenis en Claims

Het artikel beweert dat BMM een praktische en schaalbare weg biedt naar modelsamenvoeging wanneer auxiliaire kalibratie-data beperkt of niet beschikbaar is. Door informatieve anker-priors te combineren met globale hyperparameter-coördinatie, overbrugt BMM de kloof tussen de prestaties van individuele taakspecifieke experts en geünificeerde multi-task modellen.

De auteurs benadrukken dat hun aanpak geen gezamenlijke hertraining vereist en geen toegang tot originele trainingsdata, waardoor het geschikt is voor omgevingen met data-silo's of privacybeperkingen. De afleiding van de datavrije variant wordt geaccentueerd als een belangrijke theoretische bijdrage, die aantoont dat de geometrische structuur van taakvectoren empirische activatiestatistieken effectief kan vervangen. De resultaten suggereren dat het benutten van bestaande samenvoegingsoplossingen als priors, in plaats van samenvoeging te behandelen als een zero-shot combinatie, een kritieke factor is in het bereiken van state-of-the-art prestaties.