LIMSSR: LLM-Driven Sequence-to-Score Reasoning under Training-Time Incomplete Multimodal Observations

1. Definizione del Problema

Il paper affronta un divario critico nell'Apprendimento Multimodale Incompleto (IML): la dipendenza dall'assunzione irrealistica che dati completi (tutte le modalità presenti) siano disponibili durante la fase di addestramento.

• Il Divario della Realtà: In scenari reali (ad esempio, guasti dei sensori, vincoli di privacy, corruzione dei dati), i dati di addestramento soffrono spesso di una mancanza sistemica. I metodi esistenti utilizzano tipicamente un addestramento con "visione onnisciente" (dati completi) per generare obiettivi di ricostruzione o distillare prior, il che fallisce quando i dati completi non sono disponibili durante l'addestramento.
• La Sfida: Gli autori definiscono il problema delle Osservazioni Incompleti al Tempo di Addestramento, dove il modello deve apprendere rappresentazioni robuste utilizzando solo modalità parziali ($X_{obs}$) e una maschera di assenza ($m$) sia durante l'addestramento che durante l'inferenza, senza accesso a dati completi ground-truth per la ricostruzione o la distillazione.
• Compito Target: Il framework è istanziato per la Valutazione della Qualità dell'Azione (AQA), un compito che richiede una comprensione temporale a lungo termine e un'analisi semantica fine (ad esempio, punteggio sportivo, valutazione medica), dove le modalità mancanti (RGB, Audio, Flusso Ottico) sono comuni.

2. Metodologia: Framework LIMSSR

Gli autori propongono LIMSSR (LLM-Driven Incomplete Multimodal Sequence-to-Score Reasoning), che riformula l'IML come un compito di ragionamento sequenziale condizionato piuttosto che come un compito di ricostruzione. Sfrutta la conoscenza del mondo e le capacità di ragionamento dei Large Language Models (LLM).

Il framework è composto da tre fasi principali (illustrate nella Figura 2):

A. Imputazione della Modalità Consapevole del Contesto Guidata dal Prompt (PCMI)

Invece di riempire i dati mancanti con zero-padding, LIMSSR tratta l'assenza come una variabile da inferire.

• Tokenizzazione: Le modalità disponibili sono convertite in sequenze di token con token di confine speciali (ad esempio, <visual_start>, <visual_end>).
• Token Mancanti: Le modalità mancanti sono rappresentate da token speciali mancanti apprendibili (ad esempio, <missing_audio>) ripetuti per la lunghezza della sequenza.
• Prompting: Un prompt strutturato descrive esplicitamente lo stato del compito (ad esempio, "Date le caratteristiche {disponibili}, {mancante} è assente. Inferisci le rappresentazioni latenti..."). Questo guida l'LLM a "immaginare" le semantica mancanti basandosi sul contesto disponibile e sui suoi prior pre-addestrati, piuttosto che sulla ricostruzione a livello di pixel.

B. Fusione della Rappresentazione Multidimensionale Guidata dall'LLM (LMRF)

Per integrare le informazioni inferite senza interrompere il flusso generativo dell'LLM:

• Token di Fusione: Vengono aggiunti alla sequenza token di fusione speciali (ad esempio, <emb_dim_1>, ..., <emb_dim_K>).
• Istruzione: Il prompt istruisce l'LLM ad aggregare le caratteristiche multimodali in questi slot specifici.
• Ponderazione Consapevole del Ruolo: Il modello apprende pesi per combinare gli output di questi $K$ token di fusione in un vettore di rappresentazione principale ($z_{main}$), permettendo all'LLM di comprimere criteri di valutazione diversi (ad esempio, difficoltà, esecuzione, artisticità) in slot latenti distinti.

C. Aggregazione a Doppio Percorso Consapevole della Maschera (MDA)

Per mitigare le allucinazioni dell'LLM causate da una grave assenza, l'output viene elaborato attraverso due percorsi paralleli:

1. Percorso 1 (Ragionamento Calibrato sull'Incertezza): Utilizza il ragionamento semantico di alto livello dell'LLM ($z_{main}$). Un meccanismo di gating regola dinamicamente questo in base alla maschera di assenza per calibrare la confidenza.
2. Percorso 2 (Recupero del Pattern Cross-Modale): Un percorso statistico che esegue il pooling temporale e l'auto-attenzione sulle modalità disponibili per recuperare pattern di caratteristiche a basso livello.

• Decodifica Collaborativa: Il punteggio finale è una somma ponderata del percorso di ragionamento semantico e del percorso di recupero del pattern, controllata da un coefficiente di sinergia apprendibile ($\lambda_{syn}$). Questo bilancia l'inferenza di alto livello con prove basate sui dati.

D. Strategie di Ottimizzazione

• Apprendimento della Coerenza ($L_{con}$): Impone l'allineamento tra il percorso di ragionamento di alto livello e il percorso di recupero del pattern a basso livello.
• Regolarizzazione della Metrica a Livello di Token ($L_{reg}$): Previene il collasso delle caratteristiche tra i $K$ token di fusione imponendo la diversità (massimizzando la distanza tra le rappresentazioni dei token).

3. Contributi Chiave

1. Nuovo Paradigma: Il primo lavoro ad affrontare sistematicamente le Osservazioni Incompleti al Tempo di Addestramento nell'apprendimento multimodale, rompendo la dipendenza da dati di addestramento completi o supervisione di ricostruzione.
2. LLM come Motore di Ragionamento: Propone una nuova formulazione dell'IML come compito di ragionamento sequenziale-condizionato-a-punteggio, utilizzando gli LLM per inferire semantica latente per le modalità mancanti tramite consapevolezza del contesto guidata dal prompt.
3. Architettura Robusta: Introduce il meccanismo di Aggregazione a Doppio Percorso Consapevole della Maschera (MDA) per bilanciare dinamicamente il ragionamento semantico e il recupero statistico dei pattern, mitigando efficacemente le allucinazioni.
4. Prestazioni all'Avanguardia: Dimostra che il metodo supera le baseline SOTA esistenti (che si basano sull'addestramento con modalità complete) anche nel contesto più impegnativo delle osservazioni incomplete al tempo di addestramento.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark AQA a lungo termine: FS1000 (Pattinaggio Artistico), Fis-V (Pattinaggio Artistico) e Ginnastica Ritmica (RG).

• Prestazioni: LIMSSR ha ottenuto risultati State-of-the-Art (SOTA) su tutti i dataset e i pattern di assenza.
  • Su FS1000, ha migliorato la Correlazione di Spearman media dello 0,9% e ridotto l'MSE dell'8,4% rispetto al metodo concorrente migliore (MCMoE).
  • Su Fis-V, ha migliorato la Sp. Corr. media dell'1,2% e ridotto l'MSE dell'11,3%.
  • Crucialmente, LIMSSR ha superato i metodi che avevano accesso a dati di addestramento completi, dimostrando l'efficacia dell'approccio basato sul ragionamento rispetto agli approcci basati sulla ricostruzione.
• Studi di Ablazione:
  • La rimozione dell'LLM backbone ha causato cali significativi delle prestazioni.
  • La rimozione di PCMI (utilizzando lo zero-padding invece dei token mancanti) ha degradato le prestazioni, validando l'importanza dell'inferenza guidata dal prompt.
  • La rimozione di MDA ha portato a instabilità, confermando la necessità della calibrazione a doppio percorso.
• Efficienza: Il framework utilizza un LLM con meno di 1 miliardo di parametri (Qwen3-0.6B) con fine-tuning LoRA, rendendolo fattibile per il deployment edge mantenendo la scalabilità.

5. Significato e Impatto

• Applicabilità nel Mondo Reale: Rimuovendo la richiesta di dati di addestramento completi, LIMSSR si allinea ai vincoli reali di acquisizione dei dati dove i sensori falliscono o la privacy limita la raccolta dei dati.
• Cambiamento di Prospettiva: Il paper sposta il paradigma IML dal "ricostruire pixel mancanti" al "ragionare su semantica mancante", sfruttando la conoscenza intrinseca del mondo degli LLM.
• Generalizzabilità: Sebbene testato su AQA, il framework è progettato per essere generalizzabile ad altri compiti multimodali (ad esempio, riconoscimento delle emozioni, diagnosi medica) dove i dati sono intrinsecamente incompleti.
• Efficienza dei Dati: Dimostra che l'apprendimento multimodale ad alte prestazioni è possibile con una supervisione dei dati significativamente inferiore, offrendo una nuova direzione per l'AI efficiente nei dati.

In conclusione, LIMSSR stabilisce un nuovo standard per la gestione di dati multimodali incompleti trasformando il problema in un compito di ragionamento risolvibile dagli LLM, ottenendo robustezza e accuratezza superiori senza la necessità di dataset di addestramento completi idealizzati.