OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging

Dit paper introduceert OptMerge, een nieuw benchmark en een robuust model-merging-algoritme dat noise verwijdert uit taakvectoren, waarmee multimodale LLM's zonder trainingsdata worden geünificeerd en prestaties worden verbeterd door de complementariteit van verschillende modaliteiten.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met boeken. Sommige boeken zijn gespecialiseerd: één is alleen over wiskunde, één alleen over het lezen van handgeschreven teksten, en één alleen over het begrijpen van kaarten en grafieken.

In de wereld van kunstmatige intelligentie (AI) zijn deze "boeken" eigenlijk Multimodale Large Language Models (MLLM's). Dit zijn slimme computers die kunnen kijken, lezen en praten. Het probleem is dat het maken van zo'n boek enorm duur en tijdrovend is. Daarom maken verschillende mensen hun eigen gespecialiseerde versies.

Maar wat als je één super-boek wilt dat alles kan? Dat is waar dit nieuwe onderzoek, genaamd OptMerge, om de hoek komt kijken.

Hier is de uitleg, vertaald naar alledaags taal:

1. Het Probleem: De "Koffie- en Thee-Drankjes"

Stel je voor dat je een perfecte kop koffie hebt (een model dat goed is in wiskunde) en een perfecte kop thee (een model dat goed is in het lezen van kaarten).

• De oude manier: Als je beide wilt, moet je een nieuwe, gigantische machine bouwen om ze samen te zetten. Dat kost veel geld, tijd en energie.
• De nieuwe manier (Model Merging): Wat als je de koffie en de thee gewoon in één grote kan kunt gieten, zonder dat je een nieuwe machine nodig hebt? Je wilt de beste smaak van beide houden, zonder dat het een smakeloze soep wordt.

Vroeger was dit "gieten" moeilijk. Als je twee modellen samenvoegde, verloor het vaak zijn scherpte. Het werd als een "smakeloze soep" in plaats van een heerlijke mix.

2. De Oplossing: OptMerge (De "Slimme Barista")

De auteurs van dit paper hebben een nieuwe methode bedacht, OptMerge. Ze noemen het een "data-vrije" methode, wat betekent dat ze geen nieuwe training nodig hebben. Ze hoeven geen duizenden nieuwe foto's of vragen te verzamelen. Ze nemen gewoon de bestaande modellen en "mixen" ze slim.

Hoe doen ze dit? Ze gebruiken een creatieve analogie die in het paper wordt gebruikt: ruis verwijderen.

• Het idee: Elke gespecialiseerde AI heeft kleine "foutjes" of "ruis" in zijn hersenen die alleen nodig zijn voor die ene specifieke taak. Als je ze zomaar samenvoegt, versterken die foutjes elkaar.
• De truc van OptMerge: Het is alsof je een filter gebruikt. OptMerge kijkt naar de verschillen tussen de modellen, haalt de "ruis" (de overbodige details) eruit en houdt alleen de pure, sterke kennis over. Vervolgens voegt hij deze schone kennis op een slimme manier samen.

Het resultaat? Een model dat niet alleen alles kan, maar soms zelfs beter presteert dan de individuele experts, zonder dat er een cent aan extra training is uitgegeven.

3. De "Omni-Model" Droom

Het paper gaat nog een stap verder. Tot nu toe konden AI's meestal alleen kijken en praten (beeld + taal). Maar wat als je ze ook luisterte (audio) en beweging (video) wilt laten begrijpen?

Stel je voor:

• Een model dat alleen naar foto's kijkt.
• Een model dat alleen naar geluid luistert.
• Een model dat alleen video's ziet.

Met OptMerge kunnen ze deze drie modellen samenvoegen tot één "Omni-Model". Dit is een AI die een film kan kijken, het geluid kan horen, de tekst in de film kan lezen en daarover kan praten. En het mooiste? Ze hoeven hiervoor geen nieuwe, dure datasets te verzamelen. Ze "hergebruiken" gewoon de kennis die al in de losse modellen zat.

4. Waarom is dit belangrijk?

• Snelheid en Kosten: Het duurt maanden om een AI te trainen. Met OptMerge kun je in een paar uur een nieuw, supermodel maken door bestaande modellen te "koppelen".
• Privacy: Omdat je geen nieuwe data nodig hebt, hoef je geen gevoelige informatie te delen. Je kunt je eigen gespecialiseerde modellen maken en ze later veilig samenvoegen.
• Samenwerking: Het moedigt mensen aan om hun eigen kleine, gespecialiseerde modellen te maken, wetende dat ze later samen een krachtig team kunnen vormen.

Samenvatting in één zin

OptMerge is als een slimme kok die verschillende perfecte gerechten (gespecialiseerde AI-modellen) in één grote, heerlijke maaltijd (een alles-kunnen AI) verandert, zonder dat hij nieuwe ingrediënten hoeft te kopen of een nieuwe keuken hoeft te bouwen.

Het onderzoek laat zien dat we in de toekomst niet meer hoeven te wachten tot één gigantisch bedrijf een "alles-in-één" AI bouwt, maar dat we zelf, door slimme samenwerking en het samenvoegen van bestaande kennis, onze eigen super-intelligente modellen kunnen creëren.

Technische samenvatting

Probleemstelling

Foundation modellen (zoals Multimodal Large Language Models of MLLMs) hebben langzame ontwikkelcycli vanwege de enorme rekenkracht die nodig is voor training. Daarentegen evolueren domeinspecifieke modellen (bijvoorbeeld voor wiskunde, OCR of geometrie) snel via fine-tuning door verschillende ontwikkelaars op open-source platforms zoals Hugging Face.
De huidige uitdagingen zijn:

1. Opslag en Kosten: Het bijhouden van meerdere gespecialiseerde modellen is duur en inefficiënt.
2. Gebrek aan Benchmarks: Er bestond geen gestandaardiseerde benchmark voor modelmerging die MLLM-taken duidelijk categoriseert en zowel visuele als auditieve/video-taken omvat.
3. Data-afhankelijkheid: Bestaande methoden voor het combineren van modaliteiten vereisen vaak nieuwe multimodale instructiedata, wat resource-intensief is.
4. Interferentie: Het samenvoegen van modellen leidt vaak tot prestatieverlies door interferentie tussen taken (task interference), vooral wanneer modellen te ver van het basismodel zijn gefinetuned.

Methodologie

De auteurs introduceren OptMerge, een nieuwe methode voor het samenvoegen van modellen, en een bijbehorende benchmark.

1. De MLLM Merging Benchmark

De paper presenteert de eerste benchmark specifiek voor het mergen van MLLMs, met de volgende kenmerken:

• Categorisatie: Taken zijn onderverdeeld in vijf domeinen: VQA (Visual Question Answering), Geometrie, Diagrammen (Chart), OCR en Grounding.
• Modellen: Er worden twee basismodellen gebruikt: InternVL2.5 (full fine-tuning) en Qwen2-VL (LoRA fine-tuning).
• Multimodaliteit: De benchmark test ook het samenvoegen van verschillende modaliteiten (visueel, auditief, video) naar een "Omni-language model" zonder extra trainingdata.
• Data: Voor elke taak zijn er datasets verzameld met minimaal 100.000 samples om effectief supervised fine-tuning mogelijk te maken.

2. OptMerge: De Nieuwe Methode

OptMerge is een data-vrije methode die de optimalisatie van "task vectors" (het verschil in parameters tussen een gefinetuned model en het basismodel) verbetert. De kern van de methode bestaat uit twee onderdelen:

• A. Ruisverwijdering via Laag-Rang Benadering (SVD):
  Task vectors bevatten vaak redundantie en ruis. OptMerge gebruikt Singular Value Decomposition (SVD) om de kern van de taak-specifieke kennis te isoleren. Door alleen de belangrijkste singuliere waarden (top-k) te behouden en de rest te verwijderen, wordt de interferentie tussen taken verminderd. Dit wordt wiskundig geformuleerd als een optimalisatieprobleem waarbij de loss wordt geminimaliseerd over de geoptimaliseerde task vectors.

• B. Specifieke Strategieën per Type Fine-tuning:

  • Voor Full Fine-tuning: De methode centering de task vectors en past SVD toe om ruis te elimineren.
  • Voor LoRA (Low-Rank Adaptation): Omdat LoRA-vectors inherent laag-rang zijn, treden er specifieke optimalisatieproblemen op (zoals het "shortcut" nemen door de norm van de vector te vergroten). OptMerge lost dit op door:
    1. Het gebruik van SGD in plaats van Adam (voor stabiliteit in vlakke lokale optima).
    2. Het initialiseren van de merged vector met het gemiddelde van de task vectors.
    3. Het toepassen van directe SVD-truncatie om de Frobenius-norm te beperken en stabiliteit te garanderen.

Belangrijkste Bijdragen

1. Eerste MLLM Merging Benchmark: Een uitgebreide benchmark met gedetailleerde categorisatie van MLLM-capaciteiten en een focus op het integreren van meerdere modaliteiten (visueel, auditief, video) in één model.
2. OptMerge Algoritme: Een nieuwe, eenvoudige maar effectieve methode die ruis uit task vectors verwijdert en de robuustheid van de optimalisatie verbetert. De methode vereist geen extra trainingsdata.
3. Theoretische Inzichten: De auteurs bewijzen een bovengrens voor de foutmarge bij het mergen, wat aantoont dat de leer-snelheid en het aantal iteraties tijdens fine-tuning cruciaal zijn. Te veel fine-tuning (te grote parameterdrift) kan de merging-prestaties schaden.

Resultaten

De experimenten tonen aan dat OptMerge state-of-the-art prestaties levert:

• Prestatieverbetering: OptMerge behaalt een gemiddelde prestatieverbetering van 2,48% ten opzichte van andere merging-methoden (zoals TIES-Merging, Task Arithmetic en WUDI Merging).
• Superioriteit t.o.v. Mix-training: In veel gevallen presteert het gemerged model beter dan een model dat is getraind op een mix van alle datasets (mixture training), maar dan zonder de enorme rekentijd en GPU-geheugenkosten.
  • Voorbeeld: Voor InternVL2.5 kostte het mergen slechts 0,22 uur met 2,62 GB GPU-geheugen, terwijl mix-training 25,38 uur en 240 GB vereiste.
• Complementariteit van Modaliteiten: Het samenvoegen van visuele, auditieve en video-modellen resulteert in een "Omni-model" dat beter presteert dan modellen die op slechts één modaliteit zijn getraind. Dit bevestigt de complementaire aard van multimodale informatie.
• Generalisatie: De methode werkt effectief op zowel kleine (1B) als grotere (7B, 32B) modellen en op modellen die door derden op Hugging Face zijn gepubliceerd.

Significantie

Deze paper is significant voor de AI-gemeenschap omdat het:

1. Een schaalbare route biedt naar "Omni-models" (modellen die alle modaliteiten begrijpen) zonder de noodzaak van dure, nieuwe multimodale datasets.
2. De decentralisatie van AI-onderzoek ondersteunt: Onafhankelijke ontwikkelaars kunnen gespecialiseerde modellen bouwen die later door anderen worden samengevoegd tot een krachtig, universeel model.
3. Kosten en tijd reduceert: Het biedt een alternatief voor traditionele fine-tuning, waarbij nieuwe capaciteiten kunnen worden toegevoegd aan bestaande foundation modellen met een fractie van de rekentijd en het energieverbruik.
4. Theoretisch inzicht biedt in de relatie tussen fine-tuning en merging, wat helpt bij het selecteren van de juiste modellen voor merging (namelijk modellen die niet te ver van het basismodel zijn afgeweken).

Kortom, OptMerge demonstreert dat modelmerging een krachtige, data-vrije techniek is om de capaciteiten van multimodale modellen te verenigen en te verbeteren.