Technische Samenvatting: Voorbij Routing-verzadiging in Multimodale Continue Instructie-afstemming

Probleemstelling

Multimodale Continue Instructie-afstemming (MCIT) heeft als doel om Multimodale Grote Taalmodellen (MLLM's) in staat te stellen nieuwe taken sequentieel te leren terwijl ze eerdere capaciteiten behouden. Recente benaderingen maken vaak gebruik van een "routing–compositie–inferentie"-paradigma, waarbij taakspecifieke Low-Rank Adaptation (LoRA)-experts worden onderhouden en een router de experts selecteert of weegt tijdens de inferentie.

De auteurs identificeren een kritieke, onderbelichte beperking in de huidige MCIT-evaluatie: Expert Routing Verzadiging. Op veelgebruikte benchmarks (bijv. CoIN, UCIT, TriGap) bereiken routingmechanismen een bijna perfecte nauwkeurigheid (vaak >96% overeenkomst), niet omdat ze robuuste taakrepresentaties hebben geleerd, maar door twee verwarrende factoren:

1. Textuele Vingerafdrukken: Oppervlakkige instructiepatronen (bijv. unieke sjablonen, specifieke velden zoals "Reference OCR token", of afwijkende optie-indelingen) stellen routers in staat om de identiteit van de dataset te identificeren op basis van tekst alleen, waardoor de noodzaak voor visueel begrip of diepe semantische analyse wordt omzeild.
2. Korte Horizonnen: Bestaande benchmarks bevatten doorgaans slechts 6–10 taken. Dit beperkt het aantal concurrerende LoRA-experts, waardoor het probleem van taakidentificatie triviaal wordt, zelfs voor eenvoudige, tekst-dominante routers.

Gevolgelijk blijft de schaalbaarheid van expert routing in langdurige, real-world scenario's ongetest, en wordt de moeilijkheid van het onderscheiden van semantisch vergelijkbare taken met diverse visuele domeinen vertroebeld.

Methodologie

1. FLEX: Een Nieuwe Benchmark

Om de werkelijke moeilijkheid van expert routing bloot te leggen, introduceren de auteurs FLEX (Fingerprint-reduced Long-horizon Expert eXamination).

• Schaal: FLEX bestaat uit 34 taken, wat de pool van experts aanzienlijk vergroot vergeleken met vorige benchmarks.
• Ontwerp: Het groepeert datasets met vergelijkbare instructie/antwoordformaten maar diverse visuele en kennisdomeinen (bijv. 5 ImageNet-200 splits, 2 captioning, 7 multiple-choice, 20 short-answer VQA).
• Reductie van Vingerafdrukken: De benchmark normaliseert externe antwoord-template-formaten en verwijdert unieke interface-aanwijzingen die als "shortcuts" fungeren. Dit dwingt routers om te vertrouwen op echt multimodale begrip in plaats van oppervlakkige tekstpatronen.
• Compositie: De taken beslaan classificatie, captioning, multiple-choice en short-answer VQA, wat zorgt voor een mix van visuele en tekstuele complexiteit.

2. Theoretische Herformulering: Soft Task-as-Class MCIL

De auteurs stellen een nieuw theoretisch perspectief voor: Progressive-LoRA routing kan worden geformuleerd als Soft Task-as-Class Multimodale Class-Incremental Learning (MCIL).

• Mapping: In een progressive LoRA-pool komt elke inkomende taak $t$ overeen met een unieke LoRA-expert $t$. Het routingprobleem wordt het identificeren van de juiste klasse (taak) binnen een uitbreidende set van $t$ klassen.
• Soft vs. Hard: In tegen tegenstelling tot standaard MCIL, dat doorgaans een harde argmax-voorspelling geeft, vereist MCIT meestal een soft distributie van scores om meerdere LoRA-experts simultaan te wegen.
  • Hard Routing: Equivalent aan standaard incrementele classificatie ($\alpha_{k} = \mathbb{I}[k = \arg\max]$).
  • Soft Routing: Een continue relaxatie waarbij de volledige scoreverdeling dient als menggewichten ($\alpha_{k} \propto \exp(\tau s_k)$).
• Implicatie: Deze herformulering maakt het mogelijk om gevestigde Class-Incremental Learning (CIL) methoden direct aan te passen als "plug-in" routers voor MCIT-frameworks zonder de LoRA-experts te hertrainen of de generatiepipeline te wijzigen.

3. PureLoRA Baseline en Router Adaptatie

Om het effect van routing te isoleren, introduceren de auteurs PureLoRA, een gecontroleerde baseline die:

• Onafhankelijke taakspecifieke LoRA-experts traint.
• Een bevroren multimodale prototype router gebruikt (CLIP-gebaseerd).
• Soft LoRA compositie uitvoert.
• Geen gedeelde experts, gating-netwerken of replay-buffers bevat.

De auteurs passen vervolgens vier bestaande CIL/MCIL methoden aan om als routers te dienen voor PureLoRA, HiDe-LLaVA, DISCO, en SAME:

• HC (Hierarchical Clustering): Gebruikt hiërarchische clusterprototypes en cosinus-gelijkenis.
• HC-SOINN: Laat dynamisch prototype-nodes groeien via een zelforganiserend netwerk.
• RanPAC: Gebruikt willekeurige projecties en een closed-form ridge-regressie classifier.
• DDAS: Gebruikt taakspecifieke autoencoders en routingscores gebaseerd op reconstructiefout.

Belangrijkste Resultaten

Routing Verzadiging op FLEX

Evaluatie op FLEX laat zien dat routing verre van verzadigd is:

• Ground-Truth Gewicht (G): FLEX verlaagt het macro ground-truth LoRA gewicht aanzienlijk vergeleken met bestaande benchmarks (bijv. een daling van ~99% op UCIT naar ~53–80% op FLEX, afhankelijk van de methode).
• Strict Matching (R): Strict taak-LoRA matching daalt van bijna perfecte niveaus naar ~64–84%, wat wijst op een echte taak-identificatie uitdaging.
• Textuele Shortcuts: Ablatie-studies bevestigen dat het herstellen van "sterke" textuele vingerafdrukken (unieke suffixen) op FLEX de hoge matching-percentages onmiddellijk herstelt, wat bewijst dat de moeilijkheid in FLEX voortkomt uit de verwijdering van deze shortcuts.

Prestatieverbeteringen

Het aanpassen van CIL-methoden als plug-in routers levert consistente verbeteringen op:

• Routing Kwaliteit: Alle 12 CIL-transfers op routing-gevoelige frameworks (DISCO, SAME, PureLoRA) verbeterden zowel de MacroScore (M) als het Ground-Truth Gewicht (G).
• MacroScore Winsten:
  • DISCO: Verbeterde met tot wel +4,61 punten (met DDAS).
  • SAME: Verbeterde met tot wel +4,05 punten (met RanPAC).
  • PureLoRA: Verbeterde met tot wel +1,54 punten (met RanPAC).
• Oracle Gap Recovery: De beste routers herstelden tussen de 28,3% en 50,2% van het prestatie-gat tussen de baseline router en de "Oracle" (perfecte routing) upper bound.
• HiDe-LLaVA Insensitiviteit: HiDe-LLaVA vertoonde minimale downstream prestatieverbeteringen ondanks verbeteringen in routing. Analyse wijst uit dat dit komt door de architecturale bottleneck: een gedeelde "remain" laag die alle historische experts middelt, ongeacht de top-layer routing beslissing, wat de impact van verbeterde taakidentificatie beperkt.

Kalibratie en Soft Routing

Het paper demonstreert dat gekalibreerde soft mixtures beter presteren dan harde top-1 selectie. Zelfs wanneer de top-1 expert correct wordt geïdentificeerd, levert een soft mixture die compatibele LoRAs van gerelateerde taken hergebruikt hogere prestaties op (tot +2,01 punten boven harde routing in PureLoRA).

Betekenis en Claims

Het paper claimt drie primaire bijdragen:

1. Diagnose van Verzadiging: Het onthult dat huidige MCIT-benchmarks lijden aan "routing-verzadiging" veroorzaakt door textuele vingerafdrukken en korte taaksequenties, wat de werkelijke schaalbaarheidsuitdagingen van expert routing maskeert.
2. FLEX Benchmark: Het introduceert FLEX, een 34-taken benchmark met verzwakte textuele vingerafdrukken, die succesvol een uitbreidend taak-identificatieprobleem blootlegt en een rigoureus testbed biedt voor de schaalbaarheid van routing.
3. Theoretische Brug: Het vestigt een directe verbinding tussen expert routing en Multimodale Class-Incremental Learning (MCIL). Door routing te formuleren als "soft task-as-class MCIL", demonstreren de auteurs dat gevestigde CIL classifiers effectief kunnen worden overgedragen als plug-in routers, wat zowel de routingkwaliteit als de downstream taakprestaties substantieel verbetert zonder de onderliggende LoRA-experts te wijzigen.

De auteurs concluderen dat toekomstige MCIT-systemen zowel langdurige taakidentificatie (via methoden zoals die aangepast uit CIL) als compatibiliteitsbewuste expert compositie (via gekalibreerde soft mixtures) moeten adresseren om de beperkingen van huidige routing-paradigma's te overwinnen.