Continual Learning with Vision-Language Models via Semantic-Geometry Preservation

Dit paper introduceert SeGP-CL, een exemplaarvrije methode voor continu leren van vision-language modellen die catastrofaal vergeten voorkomt door de kruismodale semantische geometrie te behouden via het gebruik van adversariële ankers en geometrische distillatie.

De kern

Stel je voor dat je een zeer slimme, vooraf getrainde robot hebt die foto's en teksten perfect aan elkaar kan koppelen. Deze robot (een zogenaamd Vision-Language Model) kan bijvoorbeeld een foto van een hond zien en direct weten dat het een "hond" is, omdat hij dit in zijn training heeft geleerd.

Het probleem is continu leren: wat gebeurt er als je deze robot nieuwe taken geeft, zoals het leren van foto's van katten, paarden en vogels, één voor één?

Vaak vergeten deze robots wat ze eerder hebben geleerd. Als ze leren wat een "kat" is, beginnen ze soms te twijfelen over wat een "hond" is. Dit noemen onderzoekers catastrophical forgetting (catastrofale vergetelheid). De robot herschrijft zijn geheugen zo agressief voor de nieuwe taak, dat de oude kennis vervormt of verdwijnt.

De auteurs van dit paper hebben een slimme oplossing bedacht genaamd SeGP-CL. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Grijze Zone"

Stel je voor dat de kennis van de robot een grote kaart is.

• De oude kennis (honden) zit in het ene gebied.
• De nieuwe kennis (katten) zit in het andere gebied.
• Tussen deze twee gebieden ligt een grijze zone: foto's die er een beetje uitzien als een hond, maar misschien ook wel als een kat.

Wanneer de robot leert wat een kat is, duwt hij deze grijze zone vaak onbedoeld naar de kant van de kat. Hierdoor denkt de robot opeens dat een hond die op een kat lijkt, eigenlijk een kat is. De oude "hond-kennis" wordt verdraaid.

2. De Oplossing: De "Valse Getuigen" (Adversarial Anchors)

De robot heeft geen toegang tot oude foto's meer (dat is een strikte regel: geen "exemplars"). Hoe kun je dan het geheugen beschermen zonder de oude foto's te zien?

De auteurs gebruiken een slim trucje: ze maken valse getuigen.

• Ze nemen een nieuwe foto (bijvoorbeeld van een kat) en veranderen deze heel, heel subtiel (zoals een digitale filter) zodat de robot er even aan denkt: "Oh, dit lijkt wel op een hond!"
• Dit is een adversarial anchor (een tegenstrijdige anker). Het is een foto die er visueel nog steeds als een kat uitziet, maar voor de robot even in de "hond-gebied" valt.

3. De Training: De "Tijdmachine"

Nu komt het slimme deel. De robot traint op deze valse getuigen.

• De robot krijgt de opdracht: "Kijk naar deze foto die op een hond lijkt, en zorg dat je niet vergeten hoe een hond eruitziet."
• Het is alsof je een tijdmachine gebruikt: je haalt de robot even terug naar de oude kennis (de hond), zodat hij zijn "hond-geheugen" kan opfrissen terwijl hij toch bezig is met de nieuwe taak.
• Ze noemen dit Anchor-guided Distillation. Het is alsof je de robot dwingt om zijn oude kennis te bewaren op de plekken waar hij het meest kwetsbaar is (de grens tussen oud en nieuw).

4. De "Woordenboeken" (Text Semantic Geometry)

De robot heeft ook een woordenboek (tekst) en een fotoalbum (beeld). Soms verandert de robot zijn woordenboek zo, dat de betekenis van woorden verschuift.

• Stel, het woord "dier" verschuift in het woordenboek. Dan kunnen alle dieren in het fotoalbum ook verwarren.
• Om dit te voorkomen, houden ze een stabiel referentiekader aan. Ze zorgen dat de relaties tussen woorden (bijv. dat "hond" en "kat" beide "dieren" zijn) niet veranderen, zelfs niet als de foto's veranderen. Dit is de Text Semantic Geometry Regularization.

5. De Twee Ogen (Dual-Path Inference)

Als de robot uiteindelijk een foto moet herkennen, gebruikt hij twee manieren om te kijken:

1. De Taal-bril: Hij kijkt naar de tekst en de foto (zoals een mens die een plaatje bekijkt en denkt: "Dit is een hond").
2. De Visuele-bril: Hij kijkt puur naar de visuele details (de vorm, de vacht), zonder te denken aan het woord "hond".

Door deze twee te combineren, is de robot veel stabieler. Als de taal-bril twijfelt, kan de visuele-bril helpen.

Samenvatting in één zin

In plaats van de robot zijn geheugen te laten overschrijven door nieuwe taken, maken ze slimme "testvragen" (valse getuigen) die precies op de kwetsbare plekken van zijn geheugen duwen, zodat hij zijn oude kennis kan beschermen terwijl hij nieuwe dingen leert, zonder dat hij oude foto's hoeft op te slaan.

Het resultaat? De robot vergeet veel minder snel wat hij eerder leerde, en wordt zelfs slimmer in het overdragen van kennis naar nieuwe situaties.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Continual Learning with Vision-Language Models via Semantic-Geometry Preservation" in het Nederlands.

Probleemstelling

Continu leren (Continual Learning - CL) bij vooraf getrainde Vision-Language Models (VLMs), zoals CLIP, lijdt vaak onder catastrofaal vergeten (catastrophic forgetting). Bestaande methoden passen zich aan nieuwe taken aan zonder expliciet de cross-modale semantische geometrie (de ruimtelijke relatie tussen visuele en tekstuele representaties) te behouden die tijdens het pre-trainen is aangeleerd.

De auteurs identificeren een specifiek probleem:

• Geometrische vervorming: Bij het toevoegen van nieuwe taken treedt de grootste drift niet uniform op in de embedding-ruimte, maar concentreert deze zich in kwetsbare buurten nabij de interface tussen oude en nieuwe semantiek.
• Mechanisme: Visuele patronen die gedeeld worden tussen oude en nieuwe klassen worden door de supervisie van de nieuwe taak "opgetrokken" naar nieuwe tekstuele semantics. Hierdoor wordt de bestaande visueel-taalkundige uitlijning van de oude taken verstoord, wat leidt tot vergeten.
• Beperking: Veel huidige oplossingen zijn te conservatief (bijv. vroege stopzetting) of vereisen referentiedata (exemplaren) uit het verleden, wat vaak niet beschikbaar is (exemplar-free constraint).

Methodologie: SeGP-CL

De auteurs stellen SeGP-CL (Semantic Geometry Preservation for Continual Learning) voor. Dit is een raamwerk dat drie kerncomponenten combineert om de geometrie te behouden zonder oude data op te slaan:

1. Ankerconstructie via Dual-targeted Projected Gradient Descent (DPGD)

Om de kwetsbare gebieden te identificeren zonder oude data, construeert het model een compacte set van adversariële ankers.

• Doel: Nieuwe steekproeven (seeds) worden zo geperturbeerd dat ze dichter bij de semantiek van oude klassen komen, maar visueel trouw blijven aan de oorspronkelijke beelden.
• Dual-target: De aanpak gebruikt twee doelen:
  1. Tekstueel doel: Duw de sample naar de tekstuele embedding van een oude klasse.
  2. Visueel doel: Houd de sample dicht bij de oorspronkelijke visuele prototype (raw visual prototype) om te voorkomen dat de perturbatie visueel onrealistisch wordt (door de modality gap).
• Dit creëert een set ankers die specifiek de "grensgebieden" (boundaries) tussen oude en nieuwe semantiek bestrijken.

2. Behoud van Geometrie tijdens Training

Tijdens het trainen op de nieuwe taak worden twee verliesfuncties toegepast naast de standaard cross-entropy:

• Anchor-guided Cross-modal Geometry Distillation (ACGD): In plaats van distillatie op ruwe nieuwe data, wordt de cross-modale structuur (de relatie tussen beeld en tekst) gedistilleerd op de adversariële ankers. Dit dwingt het model om de geometrie in de kwetsbare grensgebieden te behouden.
• Text Semantic-Geometry Regularization (TSGR): Om te voorkomen dat de relatieve structuur tussen tekstconcepten (bijv. hiërarchieën en buurten) vervormt, wordt een regularisatieterm toegevoegd. Deze vergelijkt de subgrafieken van de nieuwe klassen met een stabiele referentie (een "teacher" tekst-encoder) om de tekstuele semantische ruimte stabiel te houden.

3. Prototype Transfer en Dual-Path Inference (Na Training)

Na het afronden van een taak wordt het model voorbereid voor de volgende taak:

• Prototype Transfer: Omdat oude data niet beschikbaar is, wordt de drift in de ruwe visuele ruimte geschat aan de hand van de veranderingen in de adversariële ankers. Deze geschatte drift wordt gebruikt om de visuele prototypes van de oude klassen te updaten.
• Dual-Path Inference: Tijdens inferentie worden twee signalen gefuseerd:
  1. De cross-modale scores (CLIP: beeld vs. tekst).
  2. De visuele prototype scores (beeld vs. visuele prototype).
     Deze fusie verhoogt de robuustheid, vooral omdat tekstuele embeddings niet alle discriminatieve visuele details kunnen vastleggen.

Belangrijkste Bijdragen

1. Inzicht in Vervorming: Het paper onthult dat cross-modale geometrische vervorming en vergeten voornamelijk plaatsvinden in de kwetsbare buurten rond de oude-nieuwe semantische interface.
2. Adversariële Ankers: Een nieuwe methode (DPGD) om kwetsbare gebieden te "proberen" door het creëren van ankers die nieuwe data naar oude semantiek duwen, specifiek gericht op de grensgebieden.
3. Geometrie-Bewust Raamwerk: Een combinatie van ACGD (voor cross-modale structuur) en TSGR (voor tekstuele structuur) die stabiliteit garandeert zonder exemplaren.
4. Dual-Path Strategie: Een innovatieve inferentiemethode die cross-modale kennis combineert met bijgewerkte visuele prototypes voor betere prestaties.

Resultaten

De methode is getest op vijf continu leren benchmarks (CIFAR100, ImageNet-R, ImageNet-Sub, CUB-200, UCF101) met een CLIP ViT-B/16 backbone.

• State-of-the-Art Prestaties: SeGP-CL behaalt consistent de beste resultaten (zowel 'Last' als 'Avg' nauwkeurigheid) vergeleken met bestaande methoden zoals MG-CLIP, RAPF, ENGINE en DesCLIP.
  • Voorbeeld: Op CIFAR100 steeg de 'Last' nauwkeurigheid van 80,6% (MG-CLIP) naar 84,6%.
• Verbeterde Transfer: De methode toont de hoogste Forward Transfer (FWT) en Backward Transfer (BWT), en het laagste vergeten (Forgetting).
• Behoud van Zero-Shot Capabiliteit: In tegenstelling tot methoden die taakspecifieke koppen toevoegen (wat de gedeelde embedding-ruimte kan verstoren), behoudt SeGP-CL de oorspronkelijke zero-shot prestaties van CLIP op domeinen die niet tijdens het trainen zijn gezien (zoals Food-101 en Oxford-Pets).
• Efficiëntie: De methode is lichtgewicht (gebruikt LoRA) en voegt slechts een minimale rekentijd toe (<20%) tijdens training, zonder opslag van oude beelden.

Betekenis en Impact

Dit werk is significant omdat het een fundamenteel inzicht biedt in waarom VLMs vergeten tijdens continu leren: de vervorming van de geometrie in de grensgebieden tussen klassen. Door deze specifieke gebieden te beschermen via een slimme combinatie van adversariële aanvalstechnieken (voor het vinden van de kwetsbaarheden) en distillatie, slaagt SeGP-CL erin om de inherente kennis van grote modellen te behouden terwijl ze zich aanpassen aan nieuwe taken.

De aanpak is vooral waardevol voor scenario's waar het opslaan van oude data (exemplaren) niet mogelijk is vanwege privacy of opslagbeperkingen. Het bewijst dat het behoud van de interne structuur van het model (geometrie) cruciaal is voor duurzaam continu leren, en biedt een blauwdruk voor het ontwerpen van toekomstige CL-systemen voor multimodale modellen.