Technische Samenvatting: CMAP – Cross-Modal Adaptive Prompting voor Multi-Domein Taak-Incrementeel Leren

1. Probleemdefinitie

Het artikel behandelt Multi-Domein Taak-Incrementeel Leren (MTIL), een setting waarin een model sequentieel taken moet leren uit visueel diverse domeinen zonder toegang tot eerdere data en zonder kennis van de taakidentiteit op het moment van inferentie. Dit scenario presenteert twee primaire uitdagingen:

• Catastrofaal Vergeten: De neiging van een model om eerder verworven kennis te overschrijven bij het aanpassen aan nieuwe taken.
• Voorwaarts Vergeten: De verslechtering van het vermogen van het model om te generaliseren naar ongezette taken wanneer het te agressief wordt aangepast aan geziene taken.

Hoewel parameter-efficiënte fine-tuning (PEFT)-methoden gebaseerd op bevroren Vision-Language Models (VLM's) zoals CLIP veelbelovend zijn gebleken, lijden bestaande benaderingen onder een fundamentele beperking: ze vertrouwen uitsluitend op visuele kenmerken voor taakrouting, betrouwbaarheidsschatting en encoder-aanpassing. Dit negeert de rijke, semantisch stabiele cross-modale tekst-embeddingsruimte die inherent is aan CLIP, en behandelt een cross-modaal model alsof het een visueel-only model is.

2. Methodologie: CMAP

De auteurs stellen CMAP (Cross-Modal Adaptive Prompting) voor, een raamwerk dat cross-modale bewustzijn integreert in elke fase van het inferentie- en aanpassingsproces. De methode bouwt voort op de IAP-baseline (die per-laag Hard Gumbel-gating en visuele Gaussische betrouwbaarheid gebruikt) door drie specifieke cross-modale mechanismen in te voeren:

2.1 Taakrouting in de Tekstruimte

Bestaande methoden routen taken door de log-kans van visuele kenmerken onder taakspecifieke visuele Gaussians te berekenen. CMAP vervangt dit door cosinus-similariteit met bevroren CLIP-tekstprototypen.

• Mechanisme: Voor elke taak $t$ wordt een tekstprototype $\tau_t$ berekend door het gemiddelde te nemen van de bevroren tekst-embeddings van alle klassennamen in de labelset van die taak.
• Inferentie: Tijdens inferentie wordt het visuele kenmerk van de invoerafbeelding vergeleken met alle $\tau_t$ via cosinus-similariteit om de meest waarschijnlijke taak te selecteren.
• Voordeel: Dit vereist geen extra leerbare parameters, is invariant voor de volgorde van taak-aankomst en blijft robuust zelfs bij schaarse trainingsdata, omdat het vertrouwt op voorgetrainde semantische kennis in plaats van geleerde visuele statistieken.

2.2 Multi-Prototype Visueel-Tekstuele Betrouwbaarheid (MPVTC)

Vorig werk modelleert klassenbetrouwbaarheid met behulp van een enkele visuele Gaussische verdeling en vaste globale drempels. CMAP introduceert een robuustere strategie voor betrouwbaarheidsschatting:

• Multi-Prototype Visuals: In plaats van één centroid wordt elke klasse vertegenwoordigd door $K$ visuele clustercentroïden (via K-means) om multi-modale visuele distributies te hanteren (bijvoorbeeld verschillende objecthoeken).
• Cross-Modale Uitlijning: De betrouwbaarheidsscore voor een klasse combineert de maximale similariteit met visuele prototypen met de similariteit met de tekst-embedding van de klasse.
• Taak-Adaptieve Drempels: In plaats van vaste globale drempels kalibreert CMAP boven- en onderdrempels voor betrouwbaarheid automatisch op basis van de 80e en 20e percentielen van de trainingsdistributie voor elke specifieke taak.
• Output: Een dynamische prompt-gewicht wordt afgeleid van deze gezamenlijke betrouwbaarheidsscore, die bepaalt of prompts worden toegepast (hoge betrouwbaarheid), onderdrukt (lage betrouwbaarheid) of proportioneel worden toegepast.

2.3 Symmetrische Cross-Modale Gating

In de baseline wordt alleen de afbeeldingencoder gated. Als de afbeeldingpoort sluit (bijvoorbeeld bij inputs buiten de verdeling), ontvangt de tekstencoder nog steeds taakspecifieke prompts, waardoor de cross-modale uitlijning die CLIP getraind is om te behouden, wordt verbroken.

• Mechanisme: CMAP breidt het Hard Gumbel-gatingmechanisme symmetrisch uit naar de tekstencoder.
• Conditionering: De gatingbeslissing voor de tekstencoder is geconditioneerd op de gemiddelde afbeeldingskenmerken van de batch.
• Resultaat: Zowel de afbeelding- als de tekstencoder openen of sluiten hun prompt-injectiemechanismen gelijktijdig. Dit zorgt ervoor dat cross-modale coherentie behouden blijft, zelfs wanneer het model inputs buiten de verdeling tegenkomt.

3. Belangrijkste Bijdragen

Het artikel identificeert drie specifieke gaten in de bestaande MTIL-literatuur en adresseert deze als volgt:

1. Taakrouting in de Tekstruimte: Vervangt visuele Gaussische routing door cosinus-similariteit met bevroren tekstprototypen, waardoor order-onafhankelijke routing wordt bereikt zonder extra leerbare parameters.
2. Multi-Prototype Visueel-Tekstuele Betrouwbaarheid (MPVTC): Combineert K-means visuele prototypen met cross-modale uitlijningsscores en taak-adaptieve drempels om betrouwbare betrouwbaarheidsschatting op instance-niveau te bieden.
3. Symmetrische Cross-Modale Gating: Breidt per-laag gating uit naar de tekstencoder, geconditioneerd op afbeeldingskenmerken, waardoor consistente co-aanpassing en co-onderdrukking van beide modaliteiten wordt gewaarborgd.

4. Experimentele Resultaten

De methode werd geëvalueerd op de MTIL-benchmark, die 11 datasets en 1.201 klassen omvat, onder twee taakordeningen (Order-I en Order-II) en een data-schaarse 16-shot setting.

• Prestaties (Order-I): CMAP behaalde 73,6% Transfer, 81,4% Average en 88,9% Last. Dit overtreft de vorige state-of-the-art (IAP) met respectievelijk 4,4, 4,6 en 3,2 procentpunten.
• Data-efficiëntie: In de 16-shot setting verbreedde de Transfer-metriek-gap met de visuele-Gaussian-baseline zich tot 6,2%, wat aantoont dat tekstprototypen elegant schalen waar visuele statistieken verslechteren door beperkte steekproeven.
• Parameter-efficiëntie: De methode introduceert slechts 0,09M extra parameters (voor tekstgating), waardoor het totaal aantal trainbare parameters 2,5M bedraagt. Dit is significant lager dan volledige fine-tuning (211M) of MoE-Adapter (59,8M), terwijl het ze wel overtreft.
• Ablatiestudies:
  • Het verwijderen van routing in de tekstruimte veroorzaakte de grootste daling in Transfer-prestaties.
  • Het verwijderen van symmetrische gating veroorzaakte de grootste dalingen in de Average- en Last-metrieken, wat de rol ervan in kennisbehoud benadrukt.
  • Het combineren van visuele en tekstuele betrouwbaarheidssignalen leverde betere resultaten op dan het gebruik van slechts één modaliteit, wat bevestigt dat ze complementaire informatie bevatten.

5. Betekenis en Claims

Het artikel beweert dat de primaire bron van ongebruikt potentieel in huidige MTIL-methoden het falen is om de cross-modale tekst-embeddingsruimte van voorgetrainde VLM's te benutten. Door CLIP te behandelen als een visueel-only model, missen bestaande methoden de semantische stabiliteit en zero-shot generalisatiecapaciteiten die inherent zijn aan de tekstencoder.

De betekenis van CMAP ligt in het aantonen dat het benutten van voorgetrainde cross-modale uitlijning een meer parameter-efficiënte aanpassingsstrategie is dan het simpelweg schalen van modelcapaciteit of vertrouwen op complexe geheugenbuffers. De auteurs stellen dat hun benadering state-of-the-art prestaties bereikt op alle metrieken met minimale trainbare parameters en zonder externe data, wat bewijst dat cross-modale signalen cruciaal zijn voor robuust, incrementeel leren in data-schaarse en diverse domeinsettings.