BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning

Het artikel introduceert BD-Merging, een bias-bewust, onbewaakt model-merging-framework dat onzekerheid modelleert en bewijsgeleerde contrastieve learning gebruikt om robuuste prestaties te garanderen onder distributieveranderingen.

De kern

Stel je voor dat je een superchef bent die verschillende gerechten kan koken: een Italiaanse pasta, een Japanse sushi en een Mexicaanse taco. Elke gerechten is een "taak" waarvoor je een eigen, gespecialiseerde chef hebt opgeleid.

Het probleem: De "Moeilijke Dineravond"
Normaal gesproken zou je al deze chefs in één grote keuken samenvoegen tot één "superchef". Dit heet in de tech-wereld Model Merging (model samenvoegen). Het is handig omdat je niet alles opnieuw hoeft te leren en minder ruimte nodig hebt.

Maar er is een groot probleem: wat gebeurt er als de klanten (de testdata) plotseling iets vreemds bestellen?

• Misschien komt de klant met een gebroken stem (ruis in de data).
• Misschien is het restaurant plotseling donker (verkeerde verlichting).
• Of misschien vraagt de klant om een gerecht dat je nooit eerder hebt gemaakt (een onbekende taak).

De meeste huidige methoden voor het samenvoegen van chefs gaan er vanuit dat de klanten altijd normaal zijn en precies weten wat ze willen. Als de situatie verandert, raken de chefs in de war, maken ze fouten en wordt het eten slecht. Ze zijn te star en vertrouwen te blind op hun oude training.

De Oplossing: BD-Merging (De Slimme Keukenmanager)
De auteurs van dit papier, Yuhan Xie en Chen Lyu, hebben een nieuwe methode bedacht genaamd BD-Merging. Je kunt dit zien als een slimme, onafhankelijke keukenmanager die de chefs aanstuurt, maar dan met een paar speciale trucs:

1. De "Zekerheidsmeter" (Evidential Head)

Stel je voor dat elke chef een meter heeft die aangeeft hoe zeker hij is van zijn gerecht.

• Als de klant een normale pasta bestelt, zegt de meter: "100% zeker, dit is pasta!"
• Als de klant een raar, vervormd gerecht vraagt (bijvoorbeeld pasta met zout en peper erin gemengd), zegt de meter: "Ik weet het niet zeker... dit voelt raar."

BD-Merging gebruikt deze onzekerheidsmeter om te voelen of de situatie "raar" is. Het leert niet alleen wat het antwoord is, maar ook hoe zeker de chef daarover is.

2. De "Buurtcontrole" (Adjacency Discrepancy Score)

De manager kijkt niet alleen naar één klant, maar naar de hele groep klanten in de buurt.

• Als de meeste klanten in de buurt hetzelfde raar gerecht bestellen, zegt de manager: "Oké, dit is een nieuwe trend, we passen ons aan."
• Maar als één klant iets heel anders vraagt terwijl de rest normaal is, zegt de manager: "Wacht even, deze klant is waarschijnlijk een foutje of een lastige gast. Laten we hem niet te veel vertrouwen."

Dit heet in het papier de ADS-score. Het is alsof de manager checkt of de "buurt" het met elkaar eens is. Als er veel onenigheid is, is er een probleem.

3. De "Slimme Router" (De Debiased Router)

Dit is het hart van het systeem. De manager heeft een magische knop die bepaalt welke chef er mag koken voor welk gerecht.

• Bij een normaal gerecht: "Chef Italiaan, jij doet de pasta!"
• Bij een raar, verstoord gerecht: "Chef Italiaan, jij bent het niet zeker. Chef Japans, jij probeert het maar eens, of misschien een mix van beiden?"

De manager leert continu bij door te kijken welke combinaties werken en welke niet. Hij is onbevooroordeeld (bias-aware), wat betekent dat hij niet blindelings luistert naar de eerste chef die iets zegt, maar kijkt naar de situatie.

Waarom is dit zo goed?

In de proefjes (experimenten) die de auteurs hebben gedaan, zagen ze dit:

• Bij normale situaties: Werkt het net zo goed als de beste andere methoden.
• Bij moeilijke situaties (verkeerde data, ruis, onbekende taken): De andere methoden zakken hard door, maar BD-Merging blijft stabiel. Het is als een chef die niet in paniek raakt als de stroom uitvalt, maar gewoon doorgaat met wat hij wel kan.
• Snelheid: Het is niet traag. Het is een slimme oplossing die niet veel extra energie kost.

Samengevat in één zin:
BD-Merging is een slimme manier om verschillende AI-modellen samen te voegen die niet alleen kijkt naar het antwoord, maar ook voelt of de situatie "raar" is, en daarop aanpast wie er de leiding neemt, zodat het systeem nooit in de war raakt als de wereld verandert.

Technische samenvatting

Probleemstelling

Model Merging (MM) is een schaalbaar paradigma voor Multi-Task Learning (MTL) dat het mogelijk maakt om meerdere taak-specifieke modellen te integreren zonder de oorspronkelijke trainingsdata opnieuw te gebruiken. Hoewel veelbelovend, vertonen bestaande MM-methoden een aanzienlijke kwetsbaarheid bij test-time distributieshift (veranderingen in de data-distributie tijdens het testen).

De huidige methoden gaan er vaak ten onrechte van uit dat testdata schoon is en statistisch overeenkomt met de trainings- en hulpbronnen. In de praktijk treedt dit echter zelden op. De auteurs identificeren twee hoofdvormen van distributieshift die de prestaties ondermijnen:

1. Test-time bias: Intra-taak corruptie (bijv. ruis, vervorming) en domein-specifieke heterogeniteit die de invoer verschuift ten opzichte van de merge-distributies.
2. Generalisatie naar onzichtbare taken: Inter-taak discrepanties wanneer het gemerged model taken tegenkomt die niet vertegenwoordigd waren tijdens het merge-proces.

Bestaande methoden falen vaak omdat ze geen fijne, sample-level discrepanties kunnen vastleggen, wat leidt tot vooringenomen integratie en beperkte robuustheid.

Methodologie: BD-Merging

De auteurs stellen BD-Merging voor, een onbewaakte, bias-bewuste framework dat dynamisch het modelgedrag aanpast tijdens de testfase. De kerninzicht is het gebruik van evidentiële onzekerheid om distributieverschillen te detecteren en adaptieve representatie-uitlijning te sturen. Het framework bestaat uit drie hoofdcomponenten:

1. Joint Evidential Head (Gecombineerde Evidentiële Kop)

Om de onzekerheid te modelleren, wordt een joint evidential head geïntegreerd in een voorgeöefende backbone (bijv. ViT). Deze kop werkt over een verenigde labelruimte van alle taken.

• Dirichlet-based Evidential Deep Learning (EDL): In plaats van alleen class-kans, levert het model evidence (bewijs) op voor elke klasse, geparametriseerd door een Dirichlet-verdeling. Dit resulteert in een maatstaf voor geloof (belief), onzekerheid (uncertainty) en voorspelde waarschijnlijkheid.
• Inter-class Evidential Contrast (IEC): Om semantische ambiguïteiten tussen taken aan te pakken, introduceert de methode een IEC-maatstaf die de concurrentie tussen klassen en hun semantische afhankelijkheden meet.
• Verliesfunctie: Een combinatie van een entropie-gebaseerd onbewaakt doel en een inverse correlation loss die de onzekerheid en de IEC in evenwicht houdt.

2. Adjacency Discrepancy Score (ADS)

Gebaseerd op de output van de evidentiële kop, wordt de Adjacency Discrepancy Score (ADS) gedefinieerd om de lokale uitlijning van buren in de kenmerkruimte te kwantificeren. De ADS voor een steekproef $x_i$ wordt berekend als het product van drie factoren:

• Prediction Sharpness: De concentratie van het bewijs binnen de buurt (hoe zeker is de voorspelling?).
• Semantic Divergence: De distributie-afwijking tussen de doelsteekproef en zijn buren op klasseniveau.
• Opinion Conflicts: De mate van meningsverschil in geloof tussen de doelsteekproef en een specifieke buur, gewogen op wederzijds vertrouwen.

De ADS fungeert als een indicator voor corruptie of distributieshift: een hoge score wijst op conflicterende of onbetrouwbare buren.

3. Discrepancy-Aware Contrastive Merging

Deze module gebruikt de ADS om een debiased router te trainen die dynamisch gewichten toewijst aan taak-specifieke of laag-specifieke parameters op basis van individuele steekproeven.

• Contrastive Learning: De nabijheidsset van een steekproef wordt opgesplitst in positieve (betrouwbare, lage ADS) en negatieve (conflicterende, hoge ADS) paren. Een contrastieve verliesfunctie trekt betrouwbare steekproeven dichter naar elkaar en duwt conflicterende steekproeven uit elkaar.
• Router: Een onbewaakte router leert dynamische gewichten ($w_k$) om de taakvectors ($\tau_k$) te combineren. Dit zorgt ervoor dat het model zich aanpast aan de specifieke distributie van de invoer, waardoor overfitting op zichtbare domeinen wordt verminderd en generalisatie naar onzichtbare taken wordt verbeterd.

Belangrijkste Bijdragen

1. Probleemherdefinitie: De auteurs herzien de betrouwbaarheid van MM onder test-time distributieshift en identificeren "conflicterende kennis" en "beperkte cross-taak generalisatie" als fundamentele uitdagingen.
2. BD-Merging Framework: Een nieuw, bias-bewust framework dat sample-level bias expliciet modelleert via evidentiële onzekerheid. Dit omvat een gezamenlijke evidentiële kop, de ADS-maatstaf en een discrepantie-bewuste contrastieve leerstrategie.
3. Adaptieve Routering: De introductie van een debiased router die per steekproef dynamisch gewichten toewijst, waardoor het model robuust blijft tegen corruptie en goed generaliseert naar onzichtbare taken.

Resultaten

Uitgebreide experimenten zijn uitgevoerd op acht beeldclassificatie-datasets (zoals SUN397, Cars, MNIST) met verschillende niveaus van kunstmatige corruptie (ruis, wazigheid, kleurverschuiving) en variërende aantallen zichtbare en onzichtbare taken.

• Robuustheid tegen Bias: BD-Merging vertoont aanzienlijk minder prestatieverlies bij corruptie (tot 2,6% minder daling dan state-of-the-art methoden zoals AdaMerging en Ties-Merging) en behoudt hoge nauwkeurigheid zelfs bij zware corruptie (niveau L3).
• Generalisatie naar Onzichtbare Taken: Waar bestaande methoden sterk presteren op zichtbare taken maar instorten op onzichtbare taken (bijv. AdaMerging daalt van ~90% naar ~50%), behoudt BD-Merging een sterke prestatie op beide (94,53% op zichtbare, 55,01% op onzichtbare taken).
• Efficiëntie: In vergelijking met methoden die hoge nauwkeurigheid bereiken door zware computercosts (zoals AdaMerging met Surgery), biedt BD-Merging een optimale balans tussen prestatie en rekentijd, met een lagere tijdskost dan de meeste concurrenten.
• Ablatie Studies: Het verwijderen van de router of de ADS-componenten leidt tot een drastische daling in prestaties, wat aantoont dat beide componenten essentieel zijn voor het verminderen van distributieshift.

Betekenis en Impact

BD-Merging biedt een cruciale oplossing voor de praktische toepassing van Model Merging in real-world systemen waar data-distributies zelden stabiel zijn. Door onzekerheid expliciet te modelleren en dynamisch te reageren op sample-level discrepanties, maakt deze methode het mogelijk om meerdere modellen te combineren zonder de hoge kosten van hertraining of de noodzaak van toegang tot de originele data. Het framework verbetert niet alleen de betrouwbaarheid van AI-systemen in onvoorspelbare omgevingen, maar biedt ook een schaalbare en efficiënte aanpak voor multi-task learning, wat essentieel is voor de deploy van complexe AI-modellen in privacy-gevoelige of dynamische domeinen.