Riepilogo Tecnico: Mixture of Probes (MoP) per Modalità Privilegiate in MLLM

1. Formulazione del Problema: L'Impostazione della Modalità Privilegiata

I Modelli Linguistici Multimodali Grandi (MLLM) sono tipicamente progettati sotto l'assunto che tutte le modalità disponibili durante l'addestramento (ad es., video, profondità, audio) siano accessibili anche durante l'inferenza. Tuttavia, l'implementazione nel mondo reale spesso viola questo assunto. Un modello può essere addestrato con flussi ausiliari ricchi (modalità privilegiate) ma deve operare utilizzando una singola modalità, più economica o più affidabile, al momento del test. Questo scenario è definito come impostazione della modalità privilegiata (privileged modality setting).

Gli attuali MLLM faticano in questa impostazione perché trattano principalmente le modalità come input intercambiabili da allineare in uno spazio di rappresentazione condiviso. Essi non riescono a sfruttare efficacemente le modalità ausiliarie disponibili solo durante l'addestramento per migliorare le prestazioni sulla modalità target durante l'inferenza. Gli autori identificano due limitazioni chiave negli approcci attuali:

1. Rappresentazioni di modalità sub-ottimali: Le nuove modalità vengono spesso incorporate tramite encoder condivisi con un adattamento limitato agli strati finali, trascurando le caratteristiche intermedie che catturano segnali a basso livello e specifici della modalità.
2. Rappresentazioni cross-modali non strutturate: I metodi esistenti mancano di meccanismi espliciti per disgiungere l'informazione generale della modalità (trasferibile tra le modalità) dall'informazione specifica della modalità, ostacolando un efficace trasferimento di conoscenza.

2. Metodologia: Mixture of Probes (MoP)

Per affrontare queste limitazioni, gli autori propongono Mixture of Probes (MoP), un framework progettato per disgiungere i segnali specifici della modalità da quelli generali della modalità all'interno di un MLLM. L'intuizione centrale, ispirata alle neuroscienze e alla Modality Focusing Hypothesis, è che un efficace trasferimento cross-modale richiede la preservazione delle strutture uniche della modalità isolando al contempo le astrazioni condivise.

2.1 Architettura

MoP aumenta una standard architettura MLLM unificata (composta da tokenizer specifici per modalità, un encoder di modalità universale, un connettore e un LLM) con un meccanismo di probing strutturato:

• Encoder di Modalità Universale: Un encoder Transformer condiviso elabora gli input tokenizzati da tutte le modalità in uno spazio latente comune.
• Probe Apprendibili: Invece di fare affidamento esclusivamente sull'ultimo strato dell'encoder, MoP introduce due famiglie di token apprendibili (probe) che interagiscono con le rappresentazioni intermedie dell'encoder:
  • Probe Specifiche della Modalità ($P^m_s$): Un set di probe condizionato solo su una specifica modalità $m$. Questi catturano i segnali unici di tale modalità.
  • Probe Generali della Modalità ($P_g$): Un set condiviso di probe condizionato su tutte le modalità. Questi catturano le informazioni strutturali comuni tra le modalità.
• Interazione per Strato: Entrambi i set di probe vengono aggiornati ad ogni strato $l$ dell'encoder tramite cross-attention con gli stati nascosti dell'encoder ($H^m_l$). I probe agiscono come query, estraendo indizi salienti dalle rappresentazioni intermedie che potrebbero andare perduti nello strato finale.
• Integrazione: Dopo l'ultimo strato dell'encoder, i token dei probe vengono proiettati nello spazio di embedding dell'LLM e concatenati con i token della modalità standard prima di essere inviati all'LLM.

2.2 Addestramento Cross-modale MoP (MoP-X)

Per garantire che i probe apprendano rappresentazioni distinte e facilitino il trasferimento cross-modale, gli autori introducono una specifica strategia di addestramento:

1. Perdita di Disgiunzione dei Probe ($\mathcal{L}_{dis}$): Una funzione di perdita che penalizza esplicitamente la similarità tra i probe specifici della modalità e quelli generali della modalità, nonché tra diversi probe specifici della modalità. Ciò previene il "collasso dei probe" (dove i probe convergono verso rappresentazioni identiche) e incoraggia il modello a imparare caratteristiche specializzate e ortogonali.
2. Batching Intervallato tra le Modalità: A differenza dei metodi che addestrano le modalità in modo sequenziale o isolato, MoP-X costruisce i mini-batch campionando esempi da più modalità simultaneamente. Ciò assicura che i componenti condivisi (come i probe generali della modalità) siano esposti a segnali eterogenei all'interno di un singolo step di ottimizzazione, facilitando l'interazione cross-modale indiretta.

L'obiettivo totale di addestramento combina la standard perdita di modellazione del linguaggio autoregressiva ($\mathcal{L}_{AR}$) con la perdita di disgiunzione:
$$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$$

3. Valutazione Sperimentale

Gli autori valutano MoP attraverso due domini, otto task e quattro modalità sotto un protocolo rigoroso in cui ogni modalità è trattata come l'unico input al momento dell'inferenza.

3.1 Domini e Benchmark

• Attività della Vita Quotidiana (ADL): Valutato sul benchmark Ego-in-Exo Perception. L'addestramento utilizza video egocentrici, video esocentrici e profondità (depth). L'inferenza viene testata separatamente sulle modalità egocentrica, esocentrica e di profondità.
• Comprensione Musicale: Valutato su Music-AVQA. L'addestramento utilizza dati audio-visivi accoppiati. L'inferenza viene testata separatamente sulle modalità audio e video.

3.2 Baseline

MoP viene confrontato con:

• MLLM Unimodale: Addestrato solo sulla modalità di inferenza target.
• MLLM Naive: Addestrato congiuntamente su tutte le modalità senza meccanismi cross-modali strutturati.
• MLLM allo Stato dell'Arte: Inclusi X-InstructBLIP e OneLLM, che si concentrano sull'allineamento multimodale.

3.3 Risultati Chiave

• Prestazioni Superiori: MoP supera costantemente tutte le baseline in tutte le modalità di inferenza. Nel dominio ADL, raggiunge fino al 65% di miglioramento relativo rispetto alle forti baseline in configurazioni specifiche (ad es., inferenza di profondità).
• Apprendimento Privilegiato Efficace: A differenza del MLLM Naive, che spesso non riesce a migliorare rispetto alle baseline unimodali quando addestrato su più modalità, MoP sfrutta con successo le modalità ausiliarie per potenziare le prestazioni della singola modalità.
• Studi di Ablazione:
  • Tipi di Probe: Rimuovere o i probe specifici della modalità o quelli generali della modalità degrada le prestazioni, confermando la necessità di entrambi.
  • Perdita di Disgiunzione: La perdita è critica; senza di essa, la varianza dei probe collassa e le prestazioni calano significamente.
  • Profondità di Probing: Il probing in ogni strato dell'encoder produce i risultati migliori, suggerendo il beneficio dell'estrazione di segnali attraverso tutta la profondità del modello.
  • Scalabilità dei Dati: MoP dimostra guadagni di prestazione costanti al crescere dei dati di addestramento, mentre i MLLM Naive mostrano rendimenti decrescenti.

4. Contributi e Significato

Il paper rivendica i seguenti contributi:

1. Formalizzazione dell'Impostazione della Modalità Privilegiata: Gli autori formalizzano lo scenario in cui le modalità ausiliarie arricchiscono l'addestramento ma sono assenti durante l'inferenza, dimostrando che l'addestramento multimodale standard non riesce a sfruttare questa asimmetria.
2. Mixture of Probes (MoP): Una nuova architettura che apprende rappresentazioni disgiunte attraverso un probing strutturato attraverso la profondità di un encoder universale, separando i segnali specifici della modalità dalle astrazioni generali della modalità.
3. Addestramento Cross-modale MoP (MoP-X): Una strategia di addestramento caratterizzata da una perdita di disgiunzione dei probe e batching intervallato per imporre la separazione delle rappresentazioni e promuovere l'interazione cross-modale.
4. Validazione Empirica: Una valutazione completa che mostra come le modalità ausiliarie, se correttamente sfruttate tramite MoP, possano migliorare sostanzialmente le prestazioni di inferenza della singola modalità, superando sia i modelli unimodali che i metodi di allineamento multimodale esistenti.

Significato: Il lavoro sfida il paradigma prevalente di trattare le modalità semplicemente come input intercambiabili per l'allineamento. Al contrario, esso postula che la chiave per sfruttare le informazioni privilegiate risieda nel strutturare esplicitamente il modello per separare ciò che è unico per una modalità da ciò che è condiviso. Ciò consente agli MLLM di "imparare da" dati ricchi, non disponibili all'inferenza, per diventare più robusti e capaci in scenari di implementazione a singola modalità con vincoli.

Limitazioni: Gli autori notano che MoP attualmente assume un encoder di modalità universale e non si estende direttamente a encoder specifici per modalità eterogenee. Inoltre, lo studio si concentra strettamente sull'impostazione di inferenza a singola modalità, lasciando l'inferenza multimodale come lavoro futuro.