AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning

Riepilogo Tecnico: AOEPT

Enunciato del Problema
Il dispiegamento di sistemi multimodali in ambienti reali spesso richiede la gestione di scenari in cui una o più modalità sono assenti (ad esempio, guasti dei sensori, errori di trasmissione). Sebbene gli approcci recenti affrontino questa sfida per i Trasformatori Multimodali (MT) utilizzando il prompt tuning, gli autori identificano una limitazione fondamentale denominata Collo di Bottiglia della Riduzione Implicita della Modalità (IMR). I metodi esistenti di prompt conditioning tipicamente basano i prompt esclusivamente sulle modalità osservate (o utilizzano un'inizializzazione casuale). Di conseguenza, tali metodi restringono involontariamente l'ambito di ragionamento dell'MT al sottospazio delle modalità rimanenti. Ciò degrada efficacemente un problema multimodale in uno unimodale, interrompendo l'accesso del modello alle fonti di informazione latente delle modalità mancanti apprese durante il preaddestramento.

Metodologia: AOEPT
Per superare il collo di bottiglia IMR, gli autori propongono AOEPT (Adaptive missing-adaptive modAl-cOntExtualized promPTing), un framework che sposta il paradigma dall'adattamento passivo agli input degradati alla compensazione attiva delle informazioni mancanti. Il metodo opera attraverso tre fasi principali:

1. Costruzione del Prompt Contestualizzato per Modalità (MCP):
   Invece dell'inizializzazione casuale, AOEPT distilla prior globali specifiche per modalità dai dati di addestramento. Invia campioni di addestramento con modalità disponibili attraverso strati MT congelati per raccogliere rappresentazioni di token a livello di strato. Queste rappresentazioni vengono raggruppate tramite clustering K-means per formare prototipi semantici, creando un repository di informazioni leggero e specifico per modalità (ad esempio, Prompt Contestualizzati al Testo o TCP). Questi MCP fungono da repository latenti contenenti la distribuzione contestuale globale di ciascuna modalità.

2. Istanteizzazione del Prompt Consapevole dell'Istanza:
   Quando si elabora un campione incompleto (ad esempio, un campione solo immagine), AOEPT recupera adattivamente i corrispondenti MCP. Questi prompt globali vengono poi istantizzati in prompt consapevoli dell'istanza condizionati dalle modalità osservate rimanenti. Ciò è ottenuto tramite un meccanismo di gating (utilizzando un MLP e una funzione sigmoide) che attiva selettivamente le informazioni specifiche all'interno dei MCP più rilevanti per il campione corrente. Per garantire che i prompt istantizzati rimangano coerenti con lo spazio della modalità, viene applicata una Regolarizzazione di Coerenza Latente Intra-Modalità (LCR), allineando le rappresentazioni del prompt con le rappresentazioni latenti delle modalità disponibili.

3. Prompt Tuning Adattivo alle Mancanze:
   I prompt istantizzati vengono inseriti negli strati dell'encoder MT. Per gli strati iniziali, i prompt vengono istantizzati di nuovo per ogni strato; per gli strati successivi, vengono propagati. Vengono ottimizzati solo i MCP e l'intestazione di classificazione, mantenendo congelato il backbone. Questo processo integra esplicitamente le informazioni delle modalità mancanti per ogni campione, ripristinando l'ambito di ragionamento dell'MT oltre il sottospazio limitato alle sole modalità osservate.

Contributi Chiave

• Identificazione del Collo di Bottiglia IMR: Il documento ripensa i paradigmi esistenti di prompt tuning, dimostrando che essi confinano involontariamente il ragionamento dell'MT a sottospazi ridotti per modalità, fallendo così nel sfruttare le capacità multimodali preaddestrate.
• Framework AOEPT: Una soluzione concettualmente nuova che ripristina esplicitamente l'accesso ai repository di informazioni delle modalità mancanti tramite una modalità di prompting leggera e contestualizzata per modalità. Estende l'ambito di ragionamento degli MT oltre le modalità rimanenti senza richiedere pesanti reti di ricostruzione o moduli di recupero esterni.
• Metrica Diagnostica (NM2I): Gli autori introducono l'Informazione Mutua Normalizzata per Modalità Mancante (NM2I) per quantificare la gravità del collo di bottiglia IMR. Questa metrica misura l'informazione mutua tra i token del prompt e le rappresentazioni latenti della modalità mancante, fornendo prove empiriche di quanto bene un metodo acceda alle informazioni mancanti.
• Scalabilità delle Informazioni di Modalità: Lo studio rivela un "Collo di Bottiglia della Scalabilità delle Informazioni di Modalità" nei metodi esistenti, dove le prestazioni si stabilizzano anche quando le condizioni di addestramento migliorano (cioè sono disponibili più dati completi). Al contrario, AOEPT trae vantaggio dalle informazioni di addestramento aggiuntive per formare repository globali più completi.

Risultati Sperimentali
Gli esperimenti sono stati condotti su tre benchmark duali (MM-IMDb, HateMemes, Food101) e un benchmark triadico (IEMOCAP) utilizzando vari backbone (CLIP, ViLT, MulT).

• Prestazioni: AOEPT supera costantemente basi solide (inclusi MAPs, DCP, MemPrompt, SyP e RAGPT) in vari tassi di assenza (70% e 90%) e scenari di assenza (solo testo, solo immagine, o entrambi assenti).
• Efficienza: AOEPT ottiene questi guadagni con un sovraccarico computazionale minimo e un numero ridotto di parametri apprendibili, evitando i costi elevati associati ai meccanismi di memoria o al recupero istanza per istanza presenti in altri metodi.
• Ablazione: La rimozione dei MCP, dell'istantizzazione o della regolarizzazione di coerenza porta a cali significativi delle prestazioni, confermando la necessità di ciascun componente.
• Analisi NM2I: I metodi di base mostrano un NM2I vicino allo zero, confermando che non accedono alle informazioni delle modalità mancanti. AOEPT raggiunge un NM2I significativamente più alto, validando la sua capacità di colmare il collo di bottiglia IMR.

Significato e Affermazioni
Il documento afferma che AOEPT riformula l'apprendimento per la mancanza di modalità per gli MT da un adattamento passivo a strutture di input degradati a una prospettiva attiva di accesso alle informazioni. Internalizzando un meccanismo di auto-recupero che distilla la conoscenza contestuale globale in prompt leggeri, AOEPT permette agli MT di accedere e sfruttare implicitamente le informazioni dalle modalità mancanti senza alterare l'architettura del backbone o introdurre pesanti moduli di ricostruzione. Gli autori lo posizionano come una soluzione principiale ed efficiente che mantiene il paradigma standard di prompt tuning leggero, superando al contempo le limitazioni intrinseche degli approcci attuali. Il lavoro è sostenuto dalla Fondazione Nazionale per le Scienze Naturali della Cina.