Sintesi Tecnica: Apprendimento Non Supervisionato per Modalità Mancanti nell'Apprendimento Multimodale (UL4M4)

1. Definizione del Problema

L'apprendimento multimodale sfrutta informazioni complementari da diverse fonti di dati (ad es., testo, audio, visione) per migliorare la robustezza e l'accuratezza in compiti come l'analisi del sentiment e la classificazione. Tuttavia, le applicazioni nel mondo reale soffrono frequentemente di modalità mancanti a causa di guasti ai sensori, restrizioni sulla privacy o vincoli di acquisizione. I modelli multimodali tradizionali, che assumono che tutte le modalità siano presenti sia durante l'addestramento che durante l'inferenza, subiscono un grave degrado delle prestazioni quando si trovano di fronte a dati incompleti.

Le soluzioni esistenti rientrano generalmente in due categorie:

1. Metodi generativi: Tentano di ricostruire le modalità mancanti partendo da quelle disponibili (ad es., tramite apprendimento avversario o diffusione).
2. Metodi non generativi: Apprendono rappresentazioni condivise o adattano le strategie di fusione (ad es., mixture-of-experts, apprendimento aumentato dal recupero).

Nonostante i progressi, gli approcci attuali affrontano limitazioni significative: spesso supportano solo un numero fisso di modalità, gestiscono schemi di mancanza specifici (ad es., una sola modalità mancante), sono strettamente accoppiati ai meccanismi di imputazione con i compiti a valle (limitando la generalizzabilità) o mancano di una valutazione rigorosa sotto regimi di dati mancanti severi (ad es., >50% di slot mancanti).

2. Metodologia: Framework UL4M4

Gli autori propongono UL4M4 (Unsupervised Learning for Missing Modalities in Multi-Modal Learning), un framework flessibile e indipendente dal compito che imputa gli embedding delle feature mancanti prima della predizione supervisionata. Il framework opera in due fasi distinte utilizzando encoder pre-addestrati congelati, garantendo che il modulo di imputazione sia leggero e disaccoppiato dal compito a valle.

Fase 1: Clustering Multimodale con Distanza per Parziale Modalità

La prima fase esegue un clustering non supervisionato sull'insieme di addestramento per catturare le strutture cross-modali da osservazioni incomplete.

• Normalizzazione specifica per modalità: Per ogni modalità $m$, il sistema calcola la media ($\mu_m$) e la deviazione standard ($\sigma_m$) sugli embedding disponibili. Le feature vengono normalizzate tramite z-score: $\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$.
• Metrica di Distanza per Parziale Modalità: Viene introdotta una nuova metrica di distanza per gestire campioni con diversi set di modalità disponibili. Per un campione $i$ e un centro di cluster $j$, la distanza $d(i, j)$ è calcolata solo sul set di modalità condivise $M_{i,j}$:
  $$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$$
  dove $d_m$ è la dimensionalità della modalità $m$. Questa metrica garantisce l'invarianza di scala tra dimensionalità variabili e previene il bias verso i centri con più modalità sovrapposte.
• Processo di Clustering: Il clustering K-means viene eseguito iterativamente. I centri dei cluster ereditano le modalità dei loro campioni di inizializzazione. Se un centro manca di una specifica modalità, tale modalità rimane indefinita per quel centro.

Fase 2: Completamento Greedy Iterativo

Una volta stabiliti i centri dei cluster, le modalità mancanti per qualsiasi campione incompleto vengono imputate tramite un processo greedy iterativo:

1. Generazione dei Candidati: Per un campione $i$, viene creato un set di completamenti candidati combinando le modalità disponibili del campione con le corrispondenti modalità di ciascuno dei $k$ centri dei cluster.
2. Selezione Iterativa: In ogni iterazione, l'algoritmo calcola la distanza per parziale modalità tra ogni candidato rimanente e tutti i centri dei cluster.
3. Imputazione: La coppia candidato-centro con la distanza minima viene selezionata. Le modalità mancanti presenti nel candidato selezionato vengono copiate nella rappresentazione del target del campione.
4. Terminazione: Questo processo si ripete finché il campione non possiede gli embedding per tutti i $K$ modalità. Il metodo garantisce la terminazione perché l'unione di tutti i centri dei cluster copre collettivamente tutte le modalità presenti nei dati di addestramento.

Addestramento del Compito a Valle

Dopo l'imputazione, tutti i campioni di addestramento possiedono set di modalità completi. Un modulo di fusione (utilizzando la Multi-Head Self-Attention) combina queste rappresentazioni, seguito da una testa specifica per il compito (ad es., classificazione o regressione). Solo i parametri di fusione e della testa vengono addestrati; gli encoder e gli embedding imputati rimangono congelati. In fase di inferenza, i campioni di test con modalità mancanti subiscono lo stesso processo di imputazione in due fasi utilizzando le statistiche derivate esclusivamente dall'insieme di addestramento.

3. Contributi Chiave

Il documento evidenzia cinque contributi primari:

1. Supporto per Modalità Arbitrarie: Il framework supporta dataset con qualsiasi numero di modalità di input senza richiedere una riprogettazione dell'architettura.
2. Schemi di Mancanza Arbitrari: Gestisce qualsiasi combinazione di modalità mancanti a livello di campione, inclusi i casi estremamente severi in cui >50% degli slot è mancante.
3. Imputazione Indipendente dal Compito: La fase di imputazione non supervisionata è disaccoppiata dal compito supervisionato, consentendo al componente di essere riutilizzato o esteso ad altri problemi multimodali.
4. Valutazione Rigorosa: Gli esperimenti sono condotti sotto regimi altamente incompleti, superando frequentemente il 50% di slot di modalità mancanti.
5. Prestazioni allo Stato dell'Arte: Il metodo raggiunge costantemente punteggi F1-Micro superiori a 0,7 su sfidanti configurazioni mancanti nell'analisi del sentiment multimodale, superando i baseline esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato UL4M4 su tre diversi benchmark: MM-IMDb (classificazione del genere cinematografico), CMU-MOSI (analisi del sentiment multimodale) e Sleep-EDF (stadiazione del sono polisonnografica).

• Prestazioni: UL4M4 ha superato costantemente i forti baseline (inclusi M3Care, ShaSpec, ICL-CA, SimMLM e il modello specifico per il compito MissModal) in tutti i dataset e le configurazioni di mancanza.
  • Su MM-IMDb, ha ottenuto punteggi F-Micro significativamente più alti (ad es., 0,92 rispetto a ~0,58 per il secondo miglior modello) in tutti gli schemi di mancanza.
  • Su CMU-MOSI, ha ottenuto punteggi F1-Micro costantemente superiori a 0,7 anche quando più del 50% degli slot di modalità era mancante, una soglia in cui altri metodi faticavano.
  • Su Sleep-EDF (5 modalità), ha dimostrato un degrado graduale all'aumentare dei tassi di mancanza, superando i baseline nei regimi ad alta mancanza.
• Significatività Statistica: Le differenze sono state confermate come statisticamente significative tramite t-test e test di Wilcoxon signed-rank.
• Robustezza agli Iperparametri: Il metodo ha mostrato una straordinaria stabilità rispetto al numero di cluster ($k$). Le prestazioni sono rimaste coerenti per valori di $k$ compresi tra 10 e 100, suggerendo che non è richiesto un tuning accurato di $k$.
• Analisi Qualitativa: Le visualizzazioni t-SNE degli embedding imputati hanno mostrato che le feature generate si sovrappongono strettamente alle distribuzioni del ground-truth, preservando strutture semantiche realistiche.

5. Significato e Rivendicazioni

Il documento afferma che UL4M4 rappresenta un avanzamento significativo nella gestione di dati multimodali incompleti nel mondo reale. Il suo significato primario risiede nella sua generalità e robustezza:

• Fornisce una strategia di rappresentazione unificata che non dipende da bias induttivi specifici del compito o da complessi modelli generativi.
• È il primo metodo riportato a raggiungere punteggi F1-Micro costanti sopra lo 0,7 sul difficile benchmark CMU-MOSI in condizioni di severa mancanza di modalità.
• Disaccoppiando l'imputazione dal compito a valle, offre una soluzione leggera e plug-and-play che può essere integrata con qualsiasi architettura di fusione, rendendola altamente pratica per ambienti reali eterogenei e inaffidabili dove la completezza dei dati non può essere garantita.

Gli autori concludono che UL4M4 stabilisce un nuovo riferimento per la gestione delle modalità mancanti, offrendo una soluzione scalabile che mantiene alte prestazioni anche quando la maggior parte dei dati di input è mancante.