Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

Technische Samenvatting: Leren van Betrouwbare Latente Prompts voor Visuele Herkenning met Ontbrekende Modaliteiten

Probleemstelling
Grootschalige Multimodale Modellen (LMM's) hebben superieure prestaties bereikt door informatie te synthetiseren uit diverse, massale schaal gepaarde modaliteiten. Echter, in real-world implementaties zijn inputs frequent incompleet vanwege privacybeperkingen, sensorfalen of beperkingen in dataverzameling. Bestaande modellen die geoptimaliseerd zijn voor modaliteit-complete data, lijden onder een drastische prestatievermindering wanneer ze geconfronteerd worden met ontbrekende modaliteiten. Hoewel recente prompt learning-benaderingen proberen dit te mitigeren door dynamische prompts te genereren die geconditioneerd zijn op instance-level features, zijn deze strategieën fundamenteel gebrekkig onder hoge ontbrekingspercentages. Naarmate het aandeel incomplete modaliteiten toeneemt, worden de instance-level features die de prompts conditioneren onbetrouwbaar, vertekend en instabiel. Dit leidt tot dynamische prompts die instorten naar unimodale observaties, wat de cross-modale uitlijning verstoort en er niet in slaagt om een consistente class-level structuur te behouden.

Methodologie: Learning from Reliable Latent Prompts (LLP)
Om de onbetrouwbaarheid van input-geconditioneerde strategieën aan te pakken, stellen de auteurs Learning from Reliable Latent Prompts (LLP) voor, een paradigma dat prompt learning ontkoppelt van gecorrumpeerde inputs. In plaats van te vertrouwen op instance-level features, modelleert LLP input-agnostische leerbare prompts als stabiele latente ankers die modaliteit-intrinsieke priors inkapselen.

Het framework, gebouwd op een bevroren CLIP-backbone, werkt via drie kernmechanismen:

1. Modaliteit-specifieke Latente Ankers: LLP introduceert leerbare prompt tokens ($P_{I,S}$ voor afbeeldingen en $P_{T,S}$ voor tekst) die input-agnostisch zijn. Deze ankers worden afgeleid van statische prompts via een transformatiefunctie (FC + GELU + LN) en dienen als stabiele fundamenten die modaliteit-niveau priors coderen, onafhankelijk van de specifieke input-sample of de mate van ontbreken.
2. Dual Anchor-Induced Prompts (DAIP): Om robuuste cross-modale interactie mogelijk te maken zonder afhankelijk te zijn van incomplete inputs, gebruikt het framework een dual-path cross-attention mechanisme. De tekst-anker bevraagt de afbeelding-anker (en vice versa) om complementaire informatie uit te wisselen. Deze interactie genereert verfijnde, dual anchor-induced prompts ($P_{I,D}$ en $P_{T,D}$) via een lichtgewicht MLP en normalisatie. Dit proces stelt het model in staat om ontbrekende semantische informatie te benaderen vanuit een stabiele latente ruimte.
3. Layer-wise Prompt Generatie: De uiteindelijke prompts voor elke modaliteit worden geconstrueerd door de latente ankers en de induced prompts te concateneren. Deze worden in elke laag van de encoder geïnjecteerd, wat progressieve verfijning en hiërarchische representatie-lering over de diepte van het netwerk mogelijk maakt.

Tijdens de training worden alleen de prompt-parameters en een taakspecifieke fully connected laag geoptimaliseerd, terwijl de backbone bevroren blijft.

Belangrijkste Bijdragen

• Een Nieuw Paradigma: Het paper stelt LLP voor, een latent prior-gestuurd prompting framework dat prompt learning ontkoppelt van onbetrouwbare inputs, waardoor stabiele modaliteit-niveau priors worden gevangen om de robuustheid onder incomplete observaties te verbeteren.
• Input-Agnostisch Ontwerp: De introductie van modaliteit-specifieke latente ankers en een dual-path cross-attention mechanisme maakt input-onafhankelijke prompt learning en stabiele cross-modale interactie mogelijk, wat semantische compensatie faciliteert, zelfs onder extreme ontbrekingspercentages (bijv. 90%).
• State-of-the-Art Prestaties: De aanpak vertoont superieure prestaties over meerdere benchmarks en missing-modality scenario's, wat de effectiviteit van leren van betrouwbare latente prompts boven input-geconditioneerde methoden valideert.

Experimentele Resultaten
De auteurs evalueerden LLP op drie benchmark datasets: MM-IMDb (filmgenre voorspelling), UPMC Food-101 (voedselclassificatie) en Hateful Memes (haatzaaiende taal detectie). Experimenten werden uitgevoerd onder variërende ontbrekingspercentages ($\eta = 50\%, 70\%, 90\%$) en ontbrekingsscenario's (ontbrekende tekst, ontbrekende afbeelding, ontbrekende beide).

• Prestaties: LLP presteerde consistent beter dan zes state-of-the-art baselines (inclusief CoOp, MMP, MaPLe, DePT, DCP en SyP) over alle datasets en ontbrekingsinstellingen.
• Hoge Ontbrekingspercentages: De prestatiewinsten waren het meest uitgesproken onder hoge ontbrekingspercentages (bijv. $\eta = 90\%$). Zo behaalde LLP op de Hateful Memes dataset een AUROC van 70,90% bij 90% ontbrekende tekst, waarmee het de op één na beste methode (SyP met 69,70%) aanzienlijk versloeg.
• Ablatie-studies: Experimenten bevestigden dat de modaliteit-specifieke latente ankers alleen al substantiële winst boden ten opzien van de baselines, en dat de toevoeging van de dual anchor-induced prompts verdere significante verbeteringen opleverde.
• Generalisatie: Modellen getraind onder "missing-both" scenario's vertoonden sterke generalisatie naar specifieke ontbrekingsscenario's (alleen tekst of alleen afbeelding), wat wijst op een flexibele adaptatie aan diverse ontbrekingspatronen.
• Visualisatie: Feature visualisaties toonden aan dat LLP meer compacte intra-class distributies en een duidelijkere inter-class scheiding produceert vergeleken met input-geconditioneerde methoden, die vaak resulteren in gefragmenteerde, modaliteit-specifieke clusters.

Significantie en Claims
Het paper claimt dat LLP een eenvoudige maar effectieve oplossing biedt voor het missing-modality probleem, een kritieke bottleneck voor het praktische nut van LMM's. Door de focus te verschuiven van onbetrouwbare, instance-level input features naar stabiele, input-agnostische latente priors, biedt de methode een robuust mechanisme voor cross-modale kenniscompensatie. De auteurs benadrukken dat dit paradigma bijzonder waardevol is voor real-world toepassingen waar de integriteit van data niet gegarandeerd kan worden. Bovendien behoudt de aanpak een hoge parameter-efficiëntie door slechts een kleine set leerbare parameters te optimaliseren, wat het praktisch maakt voor implementatie. Het werk vestigt een veelbelovende richting voor robuust multimodaal leren door aan te tonen dat betrouwbare semantische redenering kan worden bereikt, zelfs wanneer tot 90% van de modaliteiten ontbreekt.