Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

Sintesi Tecnica: Apprendimento da Prompt Latenti Affidabili per il Riconoscimento Visivo con Modalità Mancanti

Definizione del Problema
I Modelli Multimodali su Larga Scala (LMM) hanno raggiunto prestazioni superiori sinergizzando informazioni attraverso modalità diverse e massicce scale di coppie di dati. Tuttavia, nelle implementazioni nel mondo reale, gli input sono frequentemente incompleti a causa di vincoli di privacy, guasti dei sensori o limitazioni nella raccolta dei dati. I modelli esistenti, ottimizzati per dati con modalità complete, soffrono di un drastico calo delle prestazioni quando si trovano di fronte a modalità mancanti. Sebbene recenti approcci di prompt learning tentino di mitigare questo problema generando prompt dinamici condizionati da feature a livello di istanza, tali strategie sono fondamentalmente difettose in presenza di alti tassi di assenza. All'aumentare della proporzione di modalità incomplete, le feature a livello di istanza utilizzate per condizionare i prompt diventano inaffidabili, distorte e instabili. Ciò porta a prompt dinamici che collassano in osservazioni unimodali, interrompendo l'allineamento cross-modale e fallendo nel mantenere strutture coerenti a livello di classe.

Metodologia: Apprendimento da Prompt Latenti Affidabili (LLP)
Per affrontare l'inaffidabilità delle strategie condizionate dall'input, gli autori propongono l'Apprendimento da Prompt Latenti Affidabili (LLP), un paradigma che disaccoppia l'apprendimento dei prompt dagli input corrotti. Invece di fare affidamento sulle feature a livello di istanza, l'LLP modella prompt apprendibili indipendenti dall'input come ancore latenti stabili che racchiudono i priori intrinseci della modalità.

Il framework, costruito su una backbone CLIP congelata, opera attraverso tre meccanismi centrali:

1. Ancore Latenti Specifiche per Modalità: L'LLP introduce token di prompt apprendibili ($P_{I,S}$ per le immagini e $P_{T,S}$ per il testo) che sono indipendenti dall'input. Queste ancore sono derivate da prompt statici tramite una funzione di trasformazione (FC + GELU + LN) e fungono da fondamenta stabili che codificano i priori a livello di modalità, indipendentemente dal campione di input specifico o dalla sua incompletezza.
2. Dual Anchor-Induced Prompts (DAIP): Per consentire un'interazione cross-modale robusta senza fare affidamento su input incompleti, il framework impiega un meccanismo di cross-attention a doppia via. L'ancora testuale interroga l'ancora d'immagine (e viceversa) per scambiare informazioni complementari. Questa interazione genera prompt raffinati, indotti da doppie ancore ($P_{I,D}$ e $P_{T,D}$), attraverso un modulo MLP leggero e normalizzazione. Questo processo consente al modello di approssimare l'informazione semantica mancante da uno spazio latente stabile.
3. Generazione di Prompt per Livello (Layer-wise): I prompt finali per ogni modalità sono costruiti concatenando le ancore latenti e i prompt indotti. Questi vengono iniettati in ogni livello dell'encoder, permettendo un raffinamento progressivo e un apprendimento gerarchico delle rappresentazioni attraverso la profondità della rete.

Durante l'addestramento, vengono ottimizzati solo i parametri dei prompt e un livello fully connected specifico per il task, mentre la backbone rimane congelata.

Contributi Chiave

• Un Nuovo Paradigma: Il documento propone l'LLP, un framework di prompting guidato da priori latenti che disaccoppia l'apprendimento dei prompt dagli input inaffidabili, catturando stabili priori a livello di modalità per migliorare la robustezza sotto osservazioni incomplete.
• Design Indipendente dall'Input: L'introduzione di ancore latenti specifiche per modalità e di un meccanismo di cross-attention a doppia via consente un apprendimento dei prompt indipendente dall'input e un'interazione cross-modale stabile, facilitando la compensazione semantica anche sotto tassi di assenza estremi (ad esempio, 90%).
• Prestazioni allo Stato dell'Arte: L'approccio dimostra prestazioni superiori attraverso molteplici benchmark e scenari di modalità mancanti, validando l'efficacia dell'apprendimento da prompt latenti affidabili rispetto ai metodi condizionati dall'input.

Risultati Sperimentali
Gli autori hanno valutato l'LLP su tre dataset di riferimento: MM-IMDb (predizione del genere cinematografico), UPMC Food-101 (classificazione del cibo) e Hateful Memes (rilevamento di discorsi d'odio). Gli esperimenti sono stati condotti sotto diversi tassi di assenza ($\eta = 50\%, 70\%, 90\%$) e scenari di assenza (testo mancante, immagine mancante, entrambi mancanti).

• Prestazioni: L'LLP ha superato costantemente sei baseline allo stato dell'arte (tra cui CoOp, MMP, MaPLe, DePT, DCP, SyP) in tutti i dataset e le impostazioni di assenza.
• Alti Tassi di Assenza: I guadagni di prestazione sono stati più pronunciati sotto alti tassi di assenza (ad esempio, $\eta = 90\%$). Ad esempio, sul dataset Hateful Memes, l'LLP ha raggiunto un AUROC del 70,90% con il 90% di testo mancante, superando significativamente il metodo successivo migliore (SyP al 69,70%).
• Studi di Ablazione: Gli esperimenti hanno confermato che le sole ancore latenti specifiche per modalità fornivano guadagni sostanziali rispetto alle baseline, e l'aggiunta dei prompt indotti da doppia ancora ha prodotto ulteriori e significativi miglioramenti.
• Generalizzazione: I modelli addestrati in scenari "entrambi mancanti" hanno dimostrato una forte generalizzazione a scenari di assenza specifici (solo testo o solo immagine), indicando un adattamento flessibile a diversi pattern di assenza.
• Visualizzazione: Le visualizzazioni delle feature hanno mostrato che l'LLP produce distribuzioni intra-classe più compatte e una separazione inter-classe più chiara rispetto ai metodi condizionati dall'input, che spesso risultano in cluster frammentati e specifici per modalità.

Significatività e Rivendicazioni
Il documento sostiene che l'LLP offra una soluzione semplice ma efficace al problema delle modalità mancanti, un collo di bottiglia critico per l'utilità pratica degli LMM. Spostando l'attenzione dalle inaffidabili feature di input a livello di istanza verso stabili priori latenti indipendenti dall'input, il metodo fornisce un meccanismo robusto per la compensazione della conoscenza cross-modale. Gli autori sottolineano che questo paradigma è particolarmente prezioso per le applicazioni nel mondo reale dove l'integrità dei dati non può essere garantita. Inoltre, l'approccio mantiene un'alta efficienza di parametri ottimizzando solo un piccolo set di parametri apprendibili, rendendolo pratico per l'implementazione. Il lavoro stabilisce una direzione promettente per l'apprendimento multimodale robusto, dimostrando che il ragionamento semantico affidabile può essere raggiunto anche quando fino al 90% delle modalità è mancante.