Resolving Interference (RI): Disentangling Models for Improved Model Merging

Probleemstelling: Kruistaken-Interferentie

Modelmerging (het samenvoegen van parameters van onafhankelijk getrainde specialistische modellen) is een veelbelovende techniek om multitask-modellen te creëren zonder extra training. Echter, wanneer modellen die op verschillende taken zijn getraind direct worden samengevoegd, treedt er vaak kruistaken-interferentie (cross-task interference) op.

• Definitie: Dit fenomeen treedt op wanneer de representaties van het samengevoegde model afwijken van die van de oorspronkelijke expert-modellen. De parameters die nuttig zijn voor taak A, kunnen de kenmerken voor taak A verstoren wanneer ze worden gecombineerd met parameters voor taak B.
• Huidige beperkingen: Bestaande methoden om interferentie te verminderen vallen in twee categorieën:
  1. Gradient-free: Werken direct op parameters zonder data, maar missen de interactie tussen parameters en invoerdata.
  2. Gradient-based: Vereisen toegang tot de originele trainingsdata van elke taak, wat vaak onrealistisch is in data-schaarse of privacy-gevoelige scenario's.
  3. Routing-methoden: Voegen extra capaciteit en inferentiekosten toe.

De kernvraag van het paper is: Is er een lichtgewicht, gradient-gebaseerde aanpak die kruistaken-interferentie vermindert zonder extra inferentiekosten en zonder toegang tot de oorspronkelijke taakdata?

Methodologie: Resolving Interference (RI)

De auteurs stellen Resolving Interference (RI) voor, een lichtgewicht adaptatiestandaard die expert-modellen functioneel orthogonaal maakt ten opzichte van de ruimte van andere taken.

1. Formele Definitie van Interferentie ($\xi$)
De auteurs definiëren kruistaken-interferentie als de afwijking tussen de representaties van het samengevoegde model en die van de individuele expert-modellen wanneer geëvalueerd op hun respectieve taken. Het doel is om deze afstand te minimaliseren.

2. Het RI Framework
In plaats van het samengevoegde model direct te trainen, past RI elk individueel expert-model aan voordat ze worden samengevoegd. Het doel is om een aangepaste taak-vector $\tau^*_i$ te vinden die:

• Taakbehoud (Task-preservation): De output van het model behoudt voor de eigen taak (gebruikmakend van de eigen head $h_i$).
• Interferereductie (Interference-reduction): Geen invloed heeft op de output van andere taak-heads ($h_j$ waar $j \neq i$).

3. Loss Functie en Adaptatie
Omdat de oorspronkelijke taakdata niet beschikbaar is, gebruikt RI onbekende, algemene hulpdata (auxiliary data, bijv. ImageNet) om dit te bereiken. De loss functie ($L_{RI}$) bestaat uit twee componenten:

• $L_1$ (Taakbehoud): Minimaliseert de afstand tussen de output van het oorspronkelijke expert en het aangepaste expert op de eigen head.
• $L_2$ (Interferereductie): Minimaliseert de afstand tussen de output van het aangepaste expert (op de eigen head) en de output van het oorspronkelijke pretrained model (zonder taak-specialisatie) op de andere taak-heads. Dit dwingt de aangepaste vector om "stil" te zijn voor andere taken.

De totale loss is: $L_{RI} = L_1 + \frac{\alpha}{N-1} L_2$.

4. Werkingsproces

1. Neem een set van getrainde expert-modellen.
2. Pas elk model individueel aan met behulp van de RI loss op willekeurige, ongelabelde hulpdata.
3. Gebruik bestaande merging-methoden (zoals Weight Averaging, TIES, Task-Arithmetic) om de aangepaste vectors te samenvoegen.
4. Het resultaat is een samengevoegd model met minder interferentie.

Belangrijkste Bijdragen

1. Formalisatie van Interferentie: Een nieuwe metriek die kruistaken-interferentie kwantificeert en dient als diagnose voor de kwaliteit van merging.
2. Het RI Framework: Een efficiënt adaptatiestandaard dat interferentie minimaliseert met behulp van enkel ongelabelde hulpdata, zonder toegang tot de oorspronkelijke trainingsdata van de taken.
3. Lichtgewicht en Schaalbaar: De methode voegt geen extra inferentiekosten toe en is "embarrassingly parallel" (elk expert wordt onafhankelijk aangepast).
4. Robuustheid: De methode is minder gevoelig voor het fijnafstemmen van hyperparameters dan bestaande methoden.

Resultaten

De auteurs evalueren RI op diverse visuele benchmarks (8, 14 en 20 taken) met CLIP-modellen (ViT-B/32, ViT-B/16, ViT-L/14).

• In-Performance: RI verbetert de prestaties van state-of-the-art (SOTA) merging-methoden met tot 3,8% (bijvoorbeeld +9,6% voor WUDI en +3,9% voor TSV-M op 20 taken).
• Out-of-Distribution (OOD) Generalisatie: Op de DomainNet-benchmark (onbekende domeinen) verbetert RI de generalisatie met tot 2,3%. Dit suggereert dat het verminderen van interferentie de positieve transfer tussen taken versterkt.
• Hulpdata Effectiviteit: RI werkt met diverse hulpdata-bronnen (synthetisch, ImageNet, MSCOCO). Hoewel taakspecifieke data het beste werkt, levert zelfs willekeurige visueel diverse data (zoals "Leaves" of "Shapes") significante verbeteringen op.
• Hyperparameter Sensitiviteit: Modellen die met RI zijn aangepast, zijn veel minder gevoelig voor het tunen van merging-hyperparameters. De prestatieverschillen tussen standaard en getuned settings zijn minimaal (0,4% vs 1,8% bij niet-aangepaste modellen).
• Berekeningskosten: Het aanpassen van één expert kost slechts enkele minuten (bijv. ~7-9 minuten op een A40 GPU voor 2500 stappen) en de geheugengebruik blijft constant, ongeacht het aantal taken.

Significantie en Conclusie

Dit paper biedt een praktische oplossing voor een fundamenteel probleem in modelmerging: de afname van prestaties door kruistaken-interferentie. De belangrijkste doorbraak is dat geen toegang tot de oorspronkelijke trainingsdata nodig is. Dit maakt de techniek toepasbaar in real-world scenario's waar data schaars, privé of niet beschikbaar is.

Door expert-modellen vooraf te "ontwarren" (disentangle) in functioneel orthogonale subruimtes, kunnen bestaande merging-technieken aanzienlijk beter presteren. RI fungeert dus niet als een vervanging, maar als een krachtige voorverwerkingsstap die de effectiviteit van de gehele ecosysteem van modelmerging verbetert, met name voor schaalbare en data-schaarse toepassingen.