Technische Samenvatting: Curvature-Guided Mixing voor MLLM Adaptatie

Probleemstelling

Multimodale Large Language Models (MLLM's) bezitten brede, algemene kennis verworven door web-schaal pre-training. Echter, het aanpassen van deze modellen aan gespecialiseerde downstream-taken via fine-tuning leidt vaak tot catastrofale vergetelheid (catastrophic forgetting), waarbij het model zijn fundamentele algemene capaciteiten verliest ten gunste van nieuwe taakspecifieke vaardigheden. Bestaande oplossingen, zoals heuristische model-merging (bijv. Spider) of parameter-efficiënte fine-tuning, falen vaak in het effectief balanceren tussen taakanpassing en kennisbehoud. Veel van deze methoden vertrouwen op handmatig ontworpen scoring-functies zonder een solide theoretische basis of optimaliseren uitsluitend voor downstream-prestaties, waarbij het behoud van pre-trained kennis wordt verwaarloosd.

Methodologie

De auteurs stellen Curvature-Guided Mixing (CGM) voor, een theoretisch gefundeerd framework dat pre-trained ($w_{pt}$) en fine-tuned ($w_{ft}$) modellen samenvoegt door de geometrie van hun respectieve loss-landschappen te analyseren.

1. Approximatie van het Loss-landschap

De methode modelleert de lokale geometrie van de loss-functies voor zowel de pre-training ($\ell_{pt}$) als de fine-tuning ($\ell_{ft}$) taken met behulp van een tweede-orde Taylor-expansie rond hun optimale gewichten.

• Aannames: De gradiënten bij de geconvergeerde optima zijn nul ($\nabla \ell = 0$), en de samengevoegde oplossing ligt binnen de gezamenlijke laag-loss regio, waardoor hogere-orde termen genegeerd kunnen worden.
• Approximatie: De loss wordt benaderd als een kwadratische functie die de Hessian-matrix ($H$) betreft, welke de lokale kromming (curvature) vastlegt. Om computationele werkbaarheid te garanderen, maakt de methode gebruik van de diagonale elementen van de Hessian-matrices ($h_{pt}$ en $h_{ft}$), wat de complexiteit vermindert van $O(d^2)$ naar $O(d)$.

2. CGM: Soft Mixing (Closed-Form Oplossing)

Het framework formuleert een gezamenlijk optimalisatie-objectief om de gewogen som van de losses voor beide taken te minimaliseren. Door de samengevoegde gewichten te parametriseren als een lineaire interpolatie ($w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$), leiden de auteurs een closed-form optimale mengverhouding ($\lambda_i^*$) af voor elke parameter:

$$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$$

Waarbij:

• $h_{pt,i}$ en $h_{ft,i}$ de diagonale Hessian-elementen (krommingen) zijn voor de pre-training en fine-tuning taken, respectievelijk.
• $\alpha$ een hyperparameter is die de twee objectieven balanceert.
• Interpretatie: Parameters met een hoge pre-training kromming (scherp loss-landschap voor algemene taken) worden dichter bij de pre-trained waarden behouden, terwijl parameters met een hoge fine-tuning kromming dichter bij de fine-tuned waarden worden behouden. Dit "soft mixing" is een dense update die alle parameters mengt.

3. CGM†: Hard Mixing (Sparse Selectie)

In het besef dat dense updates verstorend kunnen zijn, introduceren de auteurs CGM†, een "hard mixing" variant die het probleem herformuleert als een sparse parameter selectie taak.

• Mechanisme: In plaats van gewichten te mengen, neemt de methode een binaire beslissing voor elke parameter: ofwel het fine-tuned gewicht ($w_{ft}$) behouden, ofwel terugkeren naar het pre-trained gewicht ($w_{pt}$).
• Scoring: Een kromming-bewuste score $c_i$ wordt afgeleid om parameters te rangschikken:
  $$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$$
  waarbij $\Delta_i = w_{pt,i} - w_{ft,i}$.
• Selectie: De methode keert de top $K\%$ van de parameters met de laagste $c_i$-scores (wat aangeeft dat ze cruciaal zijn voor algemene kennis maar minder cruciaal voor de nieuwe taak) terug naar hun pre-trained waarden. Dit legt een impliciete $L_0$-constraint op, wat zorgt voor minimale, gerichte modificatie.

Belangrijkste Bijdragen

1. Theoretisch Gefundeerd Framework: Het paper introduceert CGM, dat een optimale mengregel afleidt direct uit een gezamenlijk optimalisatie-objectief met behulp van tweede-orde informatie over het loss-landschap, waarmee het verder gaat dan heuristische scoring.
2. Sparse Hard Mixing (CGM†): Een robuuste variant die model-merging behandelt als een sparse selectieprobleem, waarbij een nieuwe kromming-bewuste score wordt gebruikt om alleen de meest kritieke parameters voor het behoud van algemene kennis te identificeren en terug te draaien.
3. Empirische Validatie: Uitgebreide experimenten op LLaVA-1.5-7B en Qwen-2.5VL-3B over meerdere downstream-taken (OKVQA, Flickr30k, LaTeX-OCR) tonen aan dat CGM en CGM† consistent beter presteren dan bestaande baselines (Tailor, DARE, Grafting, Wanda) in het balanceren van taakspecialisatie en algemeen kennisbehoud.

Experimentele Resultaten

• Prestatie-metrieken: De auteurs evalueren met behulp van Hscore (harmonisch gemiddelde van de target-taak prestatie en de pre-trained gemiddelde) en Avg (arithmetisch gemiddelde).
• Belangrijkste Bevindingen:
  • Op LLaVA-1.5 gefinetuned op OKVQA, behaalde CGM† de hoogste Hscore (62.8) en behield het een hoge Pre-Avg (65.7), waarmee het de Fine-tuned Model (Hscore 53.9) en andere merging baselines significant overtrof.
  • Op Qwen-2.5VL behaalden de voorgestelde methoden consistent superieure trade-offs, waarbij ze vaak bijna de originele pre-trained prestaties op algemene benchmarks herstelden terwijl ze sterke taakspecifieke scores behielden.
  • Ablatie Studies: Het verwijderen van ofwel de fine-tuning kromming of de pre-training kromming uit de scoring-functie leidde tot suboptimale resultaten (ofwel overfitting of excessieve vergetelheid), wat de noodzaak van de gezamenlijke kromming-formulering bevestigt.
  • Hyperparameter Gevoeligheid: De sparsity ratio $K$ bleek robuust; zelfs met slechts 10% van de parameters teruggezet, werd algemene kennis grotendeels behouden. De balans-coëfficiënt $\alpha$ beïnvloedde primair de target-taak prestatie, waarbij een optimaal evenwicht werd gevonden bij kleine waarden ($\approx 0.1$).
  • Selectie Structuur: Visuele analyse van de selectie-masks onthulde dat CGM† coherente, gestructureerde parametergroepen selecteert (verticale banden in attention layers), terwijl baselines zoals Magnitude en Tailor diffuse, ongestructureerde ruis produceren.

Betekenis en Claims

Het paper claimt dat Curvature-Guided Mixing een principiële oplossing biedt voor catastrofale vergetelheid in MLLM's door gebruik te maken van de geometrie van loss-landschappen. Door analytisch mengverhoudingen af te leiden op basis van relatieve krommingen, vermijdt de methode de valkuilen van heuristische benaderingen. De auteurs stellen dat hun werk een nieuwe state-of-the-art vestigt voor model-merging, waarbij wordt aangetoond dat tweede-orde informatie effectief kan worden ingezet om modellen te creëren die zowel hoog gespecialiseerd zijn voor nieuwe taken als robuust zijn in hun fundamentele algemene intelligentie. Het werk suggereert dat de "soft mixing" afgeleid van gezamenlijke optimalisatie en de "hard mixing" sparse selectie complementaire strategieën zijn voor effectieve MLLM adaptatie.