AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning

Technische Samenvatting: AOEPT

Probleemstelling
Het implementeren van multimodale systemen in real-world omgevingen vereist vaak het hanteren van scenario's waarin één of meer modaliteiten ontbreken (bijvoorbeeld sensorstoringen, transmissiefouten). Hoewel recente benaderingen deze uitdaging voor Multimodale Transformers (MT's) aanpakken met prompt tuning, identificeren de auteurs een fundamentele beperking die het Implicit Modality-Reduction (IMR) Bottleneck wordt genoemd. Bestaande prompt-tuning-methoden conditioneren prompts doorgaans uitsluitend op de waargenomen modaliteiten (of gebruiken willekeurige initialisatie). Bijgevolg beperken deze methoden onbedoeld het redeneringsbereik van de MT tot de deelruimte van de overgebleven modaliteiten. Dit degradeert effectief een multimodaal probleem tot een unimodaal probleem, waardoor de toegang van het model tot de latente informatiebronnen van de ontbrekende modaliteiten die tijdens het voorvertrouwen zijn geleerd, wordt afgesneden.

Methodologie: AOEPT
Om het IMR-bottleneck te overwinnen, stellen de auteurs AOEPT (Adaptive missing-adaptive modAl-cOntExtualized promPTing) voor, een raamwerk dat het paradigma verschuift van passief aanpassen aan gedegradeerde invoer naar actief compenseren voor ontbrekende informatie. De methode werkt via drie hoofdfasen:

1. Constructie van Modal-Contextualized Prompt (MCP):
   In plaats van willekeurige initialisatie distilleert AOEPT globale, modaliteitsspecifieke prioren uit de trainingsdata. Het stuurt trainingsstalen met beschikbare modaliteiten door bevroren MT-lagen om token-representaties op laagniveau te verzamelen. Deze representaties worden gegroepeerd via K-means clustering om semantische prototypes te vormen, waardoor een lichtgewicht, modaliteitsspecifiek informatiearchief ontstaat (bijvoorbeeld Text-Contextualized Prompts of TCP's). Deze MCP's fungeren als latente archieven die de globale contextuele verdeling van elke modaliteit bevatten.

2. Instantiatie van Instance-Aware Prompts:
   Bij het verwerken van een onvolledig staal (bijvoorbeeld een staal met alleen afbeeldingen) haalt AOEPT adaptief de corresponderende MCP's op. Deze globale prompts worden vervolgens geïnstantieerd tot instance-aware prompts die geconditioneerd zijn op de overige waargenomen modaliteiten. Dit wordt bereikt via een gating-mechanisme (met een MLP en sigmoid-functie) dat selectief de specifieke informatie binnen de MCP's activeert die het meest relevant is voor het huidige staal. Om ervoor te zorgen dat de geïnstantieerde prompts consistent blijven met de modaliteitsruimte, wordt een Intra-Modal Latent Consistency Regularization (LCR) toegepast, die de prompt-representaties afstemt op de latente representaties van de beschikbare modaliteiten.

3. Missing-Adaptive Prompt Tuning:
   De geïnstantieerde prompts worden ingevoegd in de MT-encoderlagen. Voor de eerste lagen worden prompts voor elke laag opnieuw geïnstantieerd; voor de daaropvolgende lagen worden ze doorgegeven. Alleen de MCP's en de classificatiekop worden getuned, terwijl de backbone bevroren blijft. Dit proces supplementeert expliciet informatie van ontbrekende modaliteiten voor elk staal, waardoor het redeneringsbereik van de MT wordt hersteld buiten de deelruimte die uitsluitend bestaat uit waargenomen modaliteiten.

Belangrijkste Bijdragen

• Identificatie van het IMR-bottleneck: Het artikel heroverweegt bestaande prompt-tuning-paradigma's en toont aan dat ze onbedoeld het MT-redeneren beperken tot modaliteit-gereduceerde deelruimtes, waardoor ze niet in staat zijn gebruik te maken van de voorgetrainde multimodale capaciteiten.
• AOEPT-raamwerk: Een conceptueel nieuwe oplossing die expliciet de toegang herstelt tot informatie-archieven van ontbrekende modaliteiten via een lichtgewicht, modaliteit-contextualiserende prompting-stijl. Het breidt het redeneringsbereik van MT's uit buiten de overgebleven modaliteiten zonder zware reconstructienetwerken of externe ophaalmodules te vereisen.
• Diagnostische Maatstaf (NM2I): De auteurs introduceren Normalized Missing-modality Mutual Information (NM2I) om de ernst van het IMR-bottleneck te kwantificeren. Deze maatstaf meet de wederzijdse informatie tussen prompt-tokens en de latente representaties van de ontbrekende modaliteit, en levert empirisch bewijs van hoe goed een methode toegang heeft tot ontbrekende informatie.
• Modality Information Scaling: De studie onthult een "Modality Information Scaling Bottleneck" in bestaande methoden, waarbij de prestaties plateau vormen zelfs wanneer de trainingscondities verbeteren (bijvoorbeeld meer complete data beschikbaar is). Daarentegen profiteert AOEPT van aanvullende trainingsinformatie om uitgebreidere globale archieven te vormen.

Experimentele Resultaten
Experimenten werden uitgevoerd op drie dual-modale benchmarks (MM-IMDb, HateMemes, Food101) en een tri-modale benchmark (IEMOCAP) met verschillende backbones (CLIP, ViLT, MulT).

• Prestaties: AOEPT presteert consistent beter dan sterke baselines (waaronder MAPs, DCP, MemPrompt, SyP en RAGPT) bij verschillende ontbrekende rates (70% en 90%) en ontbrekende scenario's (alleen tekst, alleen afbeelding, of beide ontbrekend).
• Efficiëntie: AOEPT behaalt deze winsten met minimale rekenkundige overhead en een klein aantal leerbare parameters, waardoor het vermijdt de hoge kosten die gepaard gaan met geheugmechanismen of instance-wise ophalen zoals bij andere methoden.
• Ablatie: Het verwijderen van MCP's, instantiatie of consistentieregulering leidt tot significante prestatiedalingen, wat de noodzaak van elk component bevestigt.
• NM2I-analyse: Baseline-methoden vertonen een NM2I van bijna nul, wat bevestigt dat ze geen toegang hebben tot informatie van ontbrekende modaliteiten. AOEPT bereikt een aanzienlijk hogere NM2I, wat zijn vermogen valideert om het IMR-bottleneck te overbruggen.

Betekenis en Beweringen
Het artikel beweert dat AOEPT het leren bij ontbrekende modaliteiten voor MT's herformuleert van een passieve aanpassing aan gedegradeerde invoerstructuren naar een actief informatie-toegangsperspectief. Door een zelfophalend mechanisme te internaliseren dat globale contextuele kennis distilleert in lichtgewicht prompts, stelt AOEPT MT's in staat om impliciet toegang te krijgen tot en gebruik te maken van informatie van ontbrekende modaliteiten zonder de backbone-architectuur te wijzigen of zware reconstructiemodules in te voeren. De auteurs positioneren dit als een principiële en efficiënte oplossing die het standaard lichtgewicht prompt-tuning-paradigma behoudt terwijl het de inherente beperkingen van huidige benaderingen overwint. Het werk wordt ondersteund door de National Natural Science Foundation of China.