XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models

1. Il Problema

I modelli linguistici di grandi dimensioni omni-modali (OLLM) mirano a unificare la comprensione di testo, visione e audio in un unico framework. Tuttavia, nonostante i progressi, rimane un interrogativo fondamentale: questi modelli ragionano in modo invariante rispetto alla modalità (cioè, comprendono lo stesso contenuto semantico indipendentemente dal fatto che sia presentato come testo, immagine o audio), o mostrano bias specifici legati alla modalità di input?

I benchmark esistenti valutano principalmente le capacità generali di risposta alle domande cross-modali, ma spesso trascurano la coerenza cross-modale. Non è chiaro se un modello produca la stessa risposta corretta quando lo stesso concetto è espresso in forme diverse (es. un suono di cane che abbaia vs. la scritta "cane che abbaia"). La mancanza di strumenti diagnostici per misurare questa invarianza limita la comprensione dei veri limiti dei modelli OLLM attuali.

2. Metodologia: XModBench

Gli autori introducono XModBench, un benchmark su larga scala progettato specificamente per misurare la coerenza cross-modale.

• Design Bilanciato e Tri-Modale: Il cuore della metodologia è la costruzione di istanze basate su triplette allineate (testo-immagine-audio) che condividono lo stesso contenuto semantico. Ogni domanda è formulata come un quiz a scelta multipla con un contesto e quattro candidati.
• Configurazioni Modali: Per ogni istanza semantica, il benchmark genera 6 configurazioni modali diverse permutando le modalità di contesto e di candidato (es. Testo $\to$ Audio, Audio $\to$ Testo, Visione $\to$ Testo, ecc.). Questo permette di testare tutte le direzioni possibili tra le tre modalità.
• Copertura dei Compiti: Il benchmark copre 5 famiglie di compiti e 17 sottocompiti, per un totale di 61.320 coppie domanda-risposta:
  1. Percezione: Riconoscimento di oggetti, attività, suoni e scene (es. strumenti musicali, suoni naturali).
  2. Ragionamento Spaziale: Disposizione 2D, localizzazione 3D e comprensione del movimento (es. direzione di un veicolo).
  3. Ragionamento Temporale: Ordine degli eventi, conteggio di azioni ripetute e calcoli temporali.
  4. Comprensione Linguistica: Riconoscimento di testo (OCR/ASR), traduzione e classificazione delle emozioni.
  5. Conoscenza Esterna: Riconoscimento di film, generi musicali e cantanti.
• Metriche Diagnostiche: Oltre all'accuratezza generale, XModBench introduce due metriche chiave:
  • Disparità Modale (Modality Disparity): Misura quanto le prestazioni variano quando la stessa domanda è presentata in modalità diverse (es. Audio vs Testo come contesto).
  • Squilibrio Direzionale (Directional Imbalance): Confronta le prestazioni in configurazioni inverse (es. Contesto Visivo $\to$ Candidati Testuali vs. Contesto Testuale $\to$ Candidati Visivi) per rilevare asimmetrie nell'ancoraggio semantico.

3. Risultati Sperimentali

Gli autori hanno valutato numerosi modelli OLLM, inclusi modelli closed-source (serie Gemini) e open-source (Qwen2.5-Omni, EchoInk-R1, Baichuan Omni, ecc.).

• Prestazioni Generali: Anche il modello più potente, Gemini 2.5 Pro, ottiene un'accuratezza media del 70.6%, ma mostra grandi variazioni a seconda della configurazione modale.
• Debolezze nei Compiti Complessi: I modelli eccellono nei compiti di percezione e linguistici (fino al 76-89%), ma le prestazioni crollano drasticamente nel ragionamento spaziale e temporale (sotto il 60% per il migliore modello).
• Il Debolezza dell'Audio: L'audio si rivela la modalità più debole. Le prestazioni crollano quando l'audio è coinvolto, specialmente in compiti di ragionamento spaziale e temporale. C'è un divario significativo (fino a 25 punti) tra le prestazioni basate su testo e quelle basate su audio.
• Disparità e Asimmetria:
  • Esiste una forte disparità modale: i modelli performano molto meglio quando il contesto è testo rispetto all'audio.
  • Si osserva un squilibrio direzionale: i modelli sono spesso più accurati quando il contesto è visivo e le opzioni sono testuali, rispetto alla configurazione inversa. Questo suggerisce un bias nei dati di addestramento verso il testo come modalità di output dominante.
• Input Multi-Modale: L'aggiunta simultanea di contesto audio e visivo (dual-context) porta a guadagni modesti e non sempre additivi, indicando che i modelli attuali non sfruttano appieno i segnali complementari.

4. Contributi Chiave

1. Primo Benchmark Tri-Modale per la Coerenza: XModBench è il primo benchmark a coprire sistematicamente tutte le 6 combinazioni modali (Audio, Visione, Testo) per valutare l'invarianza modale.
2. Copertura Completa e Diagnosi Fine: Con 61k domande su 5 domini, offre una diagnosi granulare delle capacità dei modelli, andando oltre la semplice accuratezza media.
3. Nuove Metriche Diagnostiche: Introduce "Disparità Modale" e "Squilibrio Direzionale" per quantificare la robustezza e l'allineamento bidirezionale.
4. Insight per lo Sviluppo: I risultati rivelano che l'uso di dati interleaved (testo, audio e video mescolati durante l'addestramento) riduce lo squilibrio direzionale, mentre la mancanza di dati specifici per certi domini (es. suoni non parlati, ragionamento spaziale) crea punti ciechi.

5. Significato e Implicazioni

XModBench dimostra che gli OLLM attuali sono ancora lontani da un vero ragionamento invariante rispetto alla modalità. I modelli tendono a fare affidamento su segnali superficiali specifici di una modalità (specialmente il testo) piuttosto che su rappresentazioni semantiche condivise.

Il lavoro evidenzia che:

• L'audio è il "anello debole" nella catena di comprensione omni-modale.
• Le strategie di addestramento devono includere dati interleaved di alta qualità e coprire compiti di ragionamento spaziale e temporale per migliorare la coerenza.
• XModBench funge da strumento diagnostico essenziale per guidare lo sviluppo di architetture e strategie di addestramento più robuste verso un'intelligenza omni-modale veramente agnostica rispetto alla modalità.

Il dataset, il codice e gli strumenti di valutazione sono disponibili pubblicamente per la comunità di ricerca.