Multimodal Continual Learning with MLLMs from Multi-scenario Perspectives

Dit paper introduceert UNIFIER, een continu leerframework voor multimodale grote taalmodellen dat, ondersteund door het nieuwe MSVQA-dataset, catastrofale vergeetachtigheid aanpakt en prestaties verbetert door kennis te accumuleren en visuele inconsistenties te beperken bij het leren van verschillende scenario's zoals hoogtevlieg, onderwater en binnenomgevingen.

De kern

De Uitdaging: Een Vergetelijke Camera

Stel je voor dat je een slimme camera hebt die op je telefoon of drone zit. Deze camera is zo getraind dat hij heel goed kan tellen hoeveel vogels er in de lucht vliegen (een hoogte-scenario). Maar dan moet je ineens met diezelfde camera onderwater gaan duiken om vissen te tellen, of door een drukke stad lopen om auto's te herkennen.

Het probleem? Als je de camera traint om onderwater te kijken, vergeet hij plotseling hoe hij vogels in de lucht moet zien. Dit fenomeen noemen onderzoekers "catastrophic forgetting" (catastrofale vergeetachtigheid). De camera is als een student die zo goed is in wiskunde, dat als hij begint te leren voor geschiedenis, hij alle wiskunderekenregels uit zijn hoofd raakt.

Bestaande slimme camera's (zogenaamde Multimodale Large Language Models of MLLM's) lijden vaak aan dit probleem. Ze zijn gewend aan één soort omgeving en raken in de war als de wereld verandert.

De Oplossing: UNIFIER (De Slimme Verkenner)

De onderzoekers van dit papier hebben een nieuwe methode bedacht, genaamd UNIFIER. Je kunt dit zien als het bouwen van een slimme bibliotheek in plaats van één enkel, groot brein.

Hier is hoe het werkt, stap voor stap:

1. De Bibliotheek met Speciale Vakken (VRE)

In plaats van één groot brein dat alles probeert te onthouden, maakt UNIFIER voor elke nieuwe omgeving een nieuw, apart vakje in de bibliotheek.

• De Analogie: Stel je voor dat je een koffer hebt. Als je naar het strand gaat, doe je je zwemkleding in vak A. Als je naar de sneeuw gaat, doe je je ski-outfit in vak B. Je gooit je ski-outfit niet bij je zwemkleding, anders wordt alles een rommeltje en vind je niets meer.
• In de techniek: UNIFIER maakt voor elke situatie (hoogte, onderwater, binnen) een apart "LoRA-branch" (een soort speciaal vakje). Zo blijft de kennis over vogels veilig, terwijl de camera leert over vissen in een nieuw vakje.

2. De Gouden Draad (VCC)

Maar er is een risico: als elk vakje te losjes hangt, vergeet de camera misschien dat het dezelfde camera is die overal mee naartoe gaat. Hij zou kunnen vergeten wat "een auto" is, omdat hij in het onderwater-vakje alleen maar vissen ziet.

Om dit te voorkomen, gebruiken ze een gouden draad (de Vision Consistency Constraint).

• De Analogie: Stel je voor dat je in elk vakje een spiegel hebt. De spiegel in het "strand-vakje" en de spiegel in het "sneeuw-vakje" kijken naar elkaar en zeggen: "Hé, we zijn allebei nog steeds dezelfde camera, toch? Laten we zorgen dat we niet te veel van elkaar afwijken."
• In de techniek: Dit zorgt ervoor dat de camera wel nieuwe dingen leert, maar niet vergeet wat hij al wist. Het is een zachte waarschuwing, geen harde straf, zodat de camera flexibel blijft.

Het Nieuwe Speelveld: MSVQA

Om te testen of hun idee werkte, hebben de onderzoekers een nieuw testpakket gemaakt, genaamd MSVQA.

• Vroeger: Testvragen waren makkelijk en saai, zoals "Wat is de kleur van deze auto?" op een witte achtergrond.
• Nu: De test is als een echte avonturenfilm. De camera moet vogels tellen in een wazige onderwaterwereld, vliegtuigen vinden in een wazige luchtfoto, of objecten herkennen in een drukke keuken. Het is een echte uitdaging voor een slimme camera.

Wat is het Resultaat?

De resultaten zijn indrukwekkend. De nieuwe methode (UNIFIER) werkt veel beter dan de beste bestaande methoden.

• De Vergelijking: Als je een andere methode gebruikt, vergeet de camera na 20 verschillende omgevingen ongeveer 10% van wat hij eerder wist. UNIFIER vergeet bijna niets en wordt zelfs steeds beter.
• De Prestatie: In plaats van te vergeten, bouwt UNIFIER kennis op. Het is alsof je een student hebt die na elke nieuwe les niet alleen de nieuwe stof leert, maar ook zijn oude kennis weer opfrist en versterkt.

Samenvatting in één zin

UNIFIER is als een slimme reisgids die voor elke nieuwe bestemming (onderwater, lucht, stad) een apart dagboekje bijhoudt, maar die de dagboeken zo koppelt dat hij nooit vergeet wie hij is, waardoor hij in elke situatie perfect blijft presteren zonder iets te vergeten.

Technische samenvatting

Probleemstelling

Multimodale Large Language Models (MLLMs) die op apparaten worden ingezet, moeten zich aanpassen aan continu veranderende visuele scenario's (bijvoorbeeld variaties in achtergrond, perspectief, verlichting en omgeving). Bestaande onderzoek richt zich vaak op taalmodellen of op enkelvoudige modaliteiten, en negeert de "catastrophic forgetting" (catastrofale vergetelheid) die optreedt in de visuele componenten van MLLMs wanneer nieuwe scenario's worden geleerd.

In klassieke Visual Question Answering (VQA) taken zijn de achtergronden vaak eenvoudig en de vragen generiek. In real-world toepassingen (zoals onderwater, vanuit een drone, of hoog in de lucht) zijn de achtergronden complex, zijn objecten klein of verduisterd, en vereisen taken fijnmazige informatie-extractie (zoals het lokaliseren van coördinaten). Wanneer een model een nieuw scenario leert, verliest het vaak de vaardigheid om eerdere scenario's correct te interpreteren, wat leidt tot ernstige fouten zoals het missen van objecten of het verkeerd lokaliseren van ze. Er ontbreekt momenteel een benchmark om deze prestatieveranderingen onder complexe scenario-verschuivingen te evalueren.

Methodologie: UNIFIER

Om dit probleem aan te pakken, stellen de auteurs UNIFIER voor (mUltimodal coNtInual learning with MLLMs From multi-scenarIo pERspectives). Dit is een framework dat is ontworpen om visuele discrepanties aan te pakken terwijl verschillende scenario's worden geleerd, zonder dat er extra inferentiekosten ontstaan.

De kern van de methode bestaat uit twee belangrijke componenten:

1. Vision Representation Expansion (VRE):

   • In plaats van één enkel model te finetunen (wat leidt tot parameter-drift), of volledig aparte LoRA-branches te gebruiken (wat inefficiënt is voor inferentie), introduceert UNIFIER een Cross-Scenario Representation (CSR) module in de visuele encoder.
   • Deze module voegt parallelle takken toe aan de bestaande vision blocks. Voor elk nieuw scenario wordt een nieuwe tak geactiveerd en getraind, terwijl de parameters van de eerdere takken bevroren blijven.
   • Een projector projecteert de features van deze verschillende takken naar een gedeelde subruimte. Dit zorgt ervoor dat het model één uniforme representatie kan genereren via één enkele inferentiestap, terwijl de kennis voor specifieke scenario's fysiek wordt gescheiden om interferentie te voorkomen.

2. Vision Consistency Constraint (VCC):

   • Hoewel VRE parameters isoleert, kan het nog steeds leiden tot drift in de interne representaties, waardoor de consistentie tussen taken verloren gaat.
   • In plaats van harde distillatie (die de plasticiteit van het model beperkt), gebruikt UNIFIER een zachte consistentie-beperking.
   • Het berekent een "scenario-prototype" (gemiddelde representatie van alle takken) en straft afwijkingen van dit prototype af met behulp van relatieve entropie (KL-divergentie) in plaats van strikte $L_2$-afstanden.
   • Dit straft globale veranderingen in de representatie af, maar staat het model toe om zich lokaal aan te passen, waardoor een evenwicht wordt gevonden tussen stabiliteit (niet vergeten) en plasticiteit (leren van nieuwe taken).

Dataset: MSVQA

De auteurs hebben een nieuwe dataset ontwikkeld, MSVQA (Multi-Scenario Visual Question Answering), specifiek voor het evalueren van continu leren in multimodale modellen.

• Scenario's: De dataset omvat vier distincte scenario's met verschillende perspectieven:
  1. Hoogte: Remote sensing (satellietbeelden van vliegvelden).
  2. Onderwater: Creaturen en objecten in een onderwateromgeving.
  3. Laagte: Drone-beelden van voertuigen en mensen.
  4. Indoor: Eerste-persoons video's (bijv. koken).
• Taken: De dataset bevat complexe taken zoals tellen, classificeren, waar/niet-waar vragen, en vooral Visual Grounding (het lokaliseren van objecten met bounding boxes), wat veel uitdagender is dan standaard VQA.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd op het MSVQA-dataset met verschillende stappen (5, 10 en 20) en vergeleken met state-of-the-art methoden zoals QUAD, PODNet, EWC en Finetuning.

• Prestatieverbetering: UNIFIER overtreft de beste bestaande methode (QUAD) significant.
  • Bij een 20-staps cross-scenario taak verbeterde UNIFIER de laatste VQA-score met 2,70% tot 10,62%.
  • De laatste F1-score (voor objectdetectie) verbeterde met 3,40% tot 7,69%.
• Kennisaccumulatie: In tegenstelling tot andere methoden die prestaties verliezen bij het leren van nieuwe scenario's, toont UNIFIER een continue verbetering in zowel bekende als nieuwe scenario's. Het slaagt erin kennis op te bouwen zonder vergetelheid.
• Efficiëntie: De methode introduceert geen extra inferentiekosten. Omdat de VRE-module alleen de visuele encoder beïnvloedt en de tekst-decoder (die de meeste tijd kost bij generatieve modellen) ongewijzigd blijft, is de vertraging bij het genereren van tokens verwaarloosbaar. De parametergroei is ook minimaal (ongeveer 2-6% afhankelijk van het basismodel).
• Visualisatie: Visualisaties tonen aan dat UNIFIER de aandacht (attention) stabiel houdt voor oude scenario's, terwijl standaard finetuning leidt tot grote verschuivingen in aandacht en veel fouten (false positives/negatives).

Significantie en Bijdragen

1. Nieuwe Benchmark: De paper introduceert MSVQA als de eerste benchmark die specifiek is ontworpen om catastrophic forgetting in MLLMs te evalueren onder realistische, multi-scenario omstandigheden.
2. Unieke Architectuur: UNIFIER biedt een elegante oplossing voor het dilemma tussen isolatie (om vergetelheid te voorkomen) en gedeelde representatie (voor efficiëntie), door gebruik te maken van een expandable vision encoder met een zachte consistentie-beperking.
3. Praktische Toepasbaarheid: De methode is ontworpen voor apparaten (on-device learning) waar rekenkracht en geheugen beperkt zijn. Het vermijden van extra inferentiekosten maakt het zeer geschikt voor real-time toepassingen in robots, drones en mobiele apparaten.
4. Inzicht in Visueel Vergeten: Het paper benadrukt dat visuele vergetelheid een kritiek probleem is dat vaak wordt genegeerd in multimodaal onderzoek, en biedt een robuuste oplossing die de plasticiteit van het model behoudt terwijl het kennis uit het verleden behoudt.

Kortom, UNIFIER stelt multimodale modellen in staat om zich continu aan te passen aan een dynamische wereld zonder hun eerdere visuele vaardigheden te verliezen, wat een belangrijke stap is naar echt levenslang leren voor AI-systemen in de echte wereld.