Riepilogo Tecnico: Deep Multimodal Learning con Modalità Mancante: Un Survey

1. Definizione del Problema

Il documento affronta il Problema della Modalità Mancante nel Deep Multimodal Learning. Negli scenari del mondo reale, i sistemi multimodali incontrano frequentemente dati incompleti a causa di malfunzionamenti dei sensori, limitazioni hardware, vincoli di privacy, perdita di dati o interferenze ambientali. A differenza dell'apprendimento multimodale convenzionale, che assume che tutte le $N$ modalità siano costantemente disponibili durante l'addestramento e il test, il Multimodal Learning with Missing Modality (MLMM) mira a sviluppare modelli che rimangano robusti e performanti quando una o più modalità di input sono assenti. La sfida principale è sfruttare efficacemente le modalità disponibili mantenendo prestazioni comparabili ai sistemi addestrati con informazioni complete, senza degradare a causa dell'assenza di input critici.

2. Tassonomia della Metodologia

Gli autori propongono una nuova tassonomia granulare che categorizza gli esistenti metodi di deep MLMM in due aspetti primari: Elaborazione dei Dati (Data Processing) e Design delle Strategie (Strategy Design). Questi aspetti sono ulteriormente divisi in quattro tipi e dodici sottocategorie (riassunte nella Tabella 1 del documento).

A. Aspetto dell'Elaborazione dei Dati (Data Processing)

Questo aspetto si concentra su come il modello gestisce le informazioni mancanti a livello di dati o di rappresentazione.

1. Imputazione della Modalità (Modality Imputation): Opera a livello di dati grezzi per colmare le informazioni mancanti.

   • Composizione della Modalità (Modality Composition): Sostituisce i dati mancanti con valori nulli o casuali oppure recupera/copia dati da istanze simili (ad es. K-Nearest Neighbors). Sebbene semplici, questi metodi spesso falliscono nei compiti a livello di pixel e possono introdurre overfitting o duplicazione di campioni.
   • Generazione della Modalità (Modality Generation): Utilizza modelli generativi (Auto-Encoder, GAN, Modelli di Diffusione) per sintetizzare le modalità mancanti partendo da quelle disponibili. I generatori individuali sono addestrati per singola modalità, mentre i generatori unificati tentano di produrre simultaneamente tutte le modalità mancanti. Questi metodi migliorano la diversità dei dati ma aumentano i costi computazionali e di archiviazione.

2. Modelli Focalizzati sulla Rappresentazione (Representation-Focused Models): Opera a livello di rappresentazione delle caratteristiche (feature).

   • Rappresentazione Coordinata (Coordinated-Representation): Impone vincoli (ad es. Regolarizzazione del Rango Tensoriale, Analisi di Correlazione Canonica Profonda) per allineare le modalità disponibili in uno spazio semantico condiviso, garantendo la coerenza semantica anche con input mancanti.
   • Composizione della Rappresentazione (Representation Composition): Fonde le rappresentazioni disponibili utilizzando operazioni aritmetiche (pooling, addizione) o metodi basati sul recupero per formare una rappresentazione completa senza parametri apprendibili.
   • Generazione della Rappresentazione (Representation Generation): Utilizza modelli generativi per creare direttamente le rappresentazioni delle caratteristiche mancanti.
     • Indiretto-al-Compito (Indirect-to-Task): Tratta la ricostruzione della modalità come un compito ausiliario durante l'addestramento (spesso usando architetture Encoder-Decoder) ma scarta il generatore durante l'inferenza.
     • Diretto-al-Compito (Direct-to-Task): Mappa direttamente le rappresentazioni disponibili su quelle mancanti utilizzando piccole reti generative (ad es. Hallucination Networks, apprendimento Bayesiano) senza un esplicito passaggio di ricostruzione.

B. Aspccio del Design delle Strategie (Strategy Design)

Questo aspetto si concentra sugli aggiustamenti architettonici e sulle combinazioni di modelli per adattarsi a diverse condizioni di input.

1. Modelli Focalizzati sull'Architettura (Architecture-Focused Models): Progettano architetture flessibili che si adattano al numero di modalità disponibili.

   • Basati sull'Attenzione (Attention-Based): Utilizzano meccanismi di auto-attenzione (intra- e inter-modalità) e strategie di masking per fondere dinamicamente le modalità disponibili. Include il Joint Representation Learning (JRL) basato su Transformer e i metodi di Parameter-Efficient Learning (PEL) come il Prompt e l'Adapter tuning.
   • Basati sulla Distillazione (Distillation-Based): Trasferiscono la conoscenza da un modello "insegnante" (addestrato su modalità complete) a un modello "studente" (che gestisce modalità mancanti). Include la distillazione della risposta (logits), la distillazione delle caratteristiche intermedie e i metodi basati sul processo come il Mean Teacher e la Self-Distillation.
   • Basati sul Graph Learning (Graph Learning-Based): Modellano le relazioni tra modalità e campioni utilizzando le Graph Neural Networks (GNN) per fondere dinamicamente le caratteristiche disponibili e compensare quelle mancanti tramite completamento del grafo o passaggio di messaggi.
   • Modelli Linguistici Multimodali di Grandi Dimensioni (MLLMs): Sfruttano i modelli di base (ad es. LLaVA, AnyGPT) dove l'LLM funge da elaboratore di caratteristiche capace di accettare un numero variabile di token di modalità, gestendo naturalmente gli input mancanti attraverso la loro architettura flessibile.

2. Combinazioni di Modelli (Model Combinations): Impiega strategie che sfruttano molteplici modelli specializzati.

   • Metodi Ensemble (Ensemble Methods): Combina le predizioni di più modelli (multimodali o unimodali) tramite voto o media ponderata.
   • Addestramento Dedicato (Dedicated Training): Addestra modelli specifici per specifiche combinazioni di modalità mancanti (ad es. un modello solo per Modalità 1+3) e seleziona quello appropriato durante l'inferenza.
   • Scheduler Discreto (Discrete Scheduler): Utilizza un LLM come controllore per orchestrare e selezionare i moduli a valle in base alle modalità disponibili e alle istruzioni del compito.

3. Contributi Chiave

Il documento presenta tre contributi primari:

1. Survey Esaustivo: Fornisce la prima revisione estesa dei metodi di deep MLMM in diversi domini (Affective Computing, Medicina, Remote Sensing, Robotica, ecc.), accompagnata da una compilazione di dataset rilevanti.
2. Nuova Tassonomia: Introduce un framework di classificazione fine-grained basato su Elaborazione dei Dati (Imputazione vs. Rappresentazione) e Design delle Strategie (Architettura vs. Combinazioni), offrendo un modo strutturato per analizzare la letteratura esistente.
3. Analisi Critica: Offre un'analisi approfondita degli approcci attuali, evidenziando i loro compromessi (ad es. metodi generativi vs. efficienza, recupero vs. non-recupero) e identificando sfide aperte e direzioni di ricerca futura.

4. Risultati e Statistiche

Il survey analizza 354 articoli significativi pubblicati tra il 2012 e l'agosto 2025. Le principali scoperte statistiche includono:

• Distribuzione dei Metodi: Circa il 75,5% delle opere si concentra sul recupero delle informazioni della modalità mancante (recupero precoce, intermedio o tardivo), mentre il 24,5% si concentra sull'inferenza senza recupero (non-recovery).
• Stadi di Recupero: Il recupero allo stadio intermedio (livello di feature) è il più diffuso (45,8%), seguito da quello precoce (20,3%) e tardivo (4,7%).
• Vincoli dei Dati di Addestramento: Esiste un divario significativo nella gestione di dataset di addestramento incompleti. Solo il 36,4% dei lavori esaminati è stato addestrato su dataset in cui i dati della modalità mancante non erano disponibili durante l'addestramento; la maggioranza (63,6%) ha assunto l'accesso ai dati completi durante l'addestramento e ha simulato la mancanza solo durante il test.
• Evoluzione Tecnica: Il campo si è evoluto dai primi correttivi euristici a livello di dati e dai metodi ensemble verso l'apprendimento della rappresentazione, il design di architetture flessibili (attenzione, distillazione) e, recentemente, approcci basati su modelli di fondazione.

5. Significato e Rivendicazioni

Gli autori affermano che questo survey è la prima revisione completa focalizzata specificamente sul deep multimodal learning con modalità mancanti. La sua importanza risiede nel:

• Unificare il Campo: Fornire una tassonomia strutturata che colleghi metodi disparati dalla computer vision, NLP ed elaborazione dei segnali.
• Evidenziare la Rilevanza nel Mondo Reale: Sottolineare che le modalità mancanti non sono solo sfide sintetiche ma intrinseche ai deployment del mondo reale (ad es. guasti dei sensori nell'esplorazione spaziale, privacy nell'IA medica).
• Identificare Lacune Critiche: Il documento punta in modo modesto ma fermo il fatto che i benchmark attuali spesso non riescono a modellare pattern di mancanza realistici (ad es. guasti asincroni dei sensori) e che la maggior parte dei metodi fatica a gestire dataset di addestramento incompleti.
• Direzioni Future: Richiede lo sviluppo di benchmark unificati (simili a MultiBench), modelli più efficienti e leggeri per dispositivi edge, e metodi robusti per dati in streaming e applicazioni scientifiche dove i dati sono intrinsecamente incompleti.

Il documento conclude che, sebbene siano stati fatti progressi, il campo richiede protocolli di valutazione più rigorosi, benchmark standardizzati e architetture esplicitamente progettate per la mancanza strutturale e persistente tipica degli ambienti del mondo reale.