Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

1. Enunciato del Problema

I Modelli Multimodali Unificati (uMM) mirano a eseguire sia la comprensione visiva (percezione) che la generazione visiva (sintesi) all'interno di uno spazio architettonico e rappresentativo condiviso. Sebbene i benchmark attuali valutino queste capacità in modo indipendente (ad esempio, VQA per la comprensione, punteggi FID/CLIP per la generazione), essi non riescono a valutare la coerenza semantica tra le due attività.

Il Problema Centrale: Un modello potrebbe eccellere nel rispondere a domande su un'immagine (comprensione) ma fallire nel generare gli stessi dettagli quando sollecitato (generazione), o viceversa. Ciò indica un'asimmetria strutturale nella rappresentazione interna del modello. Punteggi elevati su compiti isolati possono mascherare una fondamentale mancanza di allineamento semantico unificato, dove il modello impara a "allucinare" in modo coerente tra i compiti piuttosto che radicare entrambi in una realtà condivisa.

2. Metodologia: XTC-Bench

Gli autori introducono XTC-Bench, un framework di valutazione basato su grafi di scena progettato per misurare la coerenza semantica visiva cross-task.

A. Pipeline di Costruzione dei Dati

• Fonte: 2.000 immagini curate manualmente da COCO 2017 e Visual Genome.
• Estrazione del Grafo di Scena: Viene utilizzata una pipeline a due stadi per creare un "Grafo di Scena di Riferimento" ($G$) per ogni immagine:
  1. Rilevamento e Segmentazione degli Oggetti: Utilizza kMaX-DeepLab per la segmentazione panottica.
  2. Predizione delle Relazioni: Utilizza Fair-PSG per predire le relazioni a coppie.
  3. Raffinamento:
     • Filtraggio: Vengono applicate soglie ad alta confidenza per rimuovere relazioni spurie.
     • Verifica VLM: Un grande Modello Visivo-Linguistico (Qwen3-VL-235B) verifica le relazioni e gli attributi utilizzando le annotazioni dei riquadri di delimitazione.
     • Generazione degli Attributi: Utilizza un approccio "Dual-View" (Spotlight Semantico + Ritaglio Dettagli) per garantire un riconoscimento accurato degli attributi per oggetti specifici.
• Generazione di Prompt e Query:
  • Prompt di Generazione: Il grafo di scena viene linearizzato in un prompt in linguaggio naturale per la generazione di immagini.
  • Query di Comprensione: Vengono generate domande VQA allineate ai fatti per ogni fatto atomico (oggetto, attributo, relazione) nel grafo di scena.

B. Protocollo di Valutazione

Per un dato modello $M$:

1. Generazione: Il modello genera un'immagine ($\hat{I}$) dal prompt. Questa immagine viene analizzata nuovamente in un grafo di scena predetto ($\hat{G}$) utilizzando la stessa pipeline di estrazione.
2. Comprensione: Il modello risponde alle domande VQA basandosi sull'immagine originale.
3. Corrispondenza: Un algoritmo di corrispondenza di grafi semantici a due stadi (utilizzando l'algoritmo ungherese) allinea nodi e archi tra il grafo di verità fondamentale $G$ e il grafo predetto $\hat{G}$.

C. Metriche

Il framework introduce tre metriche chiave:

1. Punteggio di Generazione ($G$) e Punteggio di Comprensione ($U$): Valutati utilizzando un LLM-as-Judge (Qwen3-235B) che assegna un punteggio di equivalenza semantica (scala 0–5) tra l'output del modello e la verità fondamentale, piuttosto che un matching esatto delle stringhe.
2. Accordo Cross-Task Continuo (CCTA):
   • Misura la coerenza tra le risposte di generazione e comprensione per gli stessi fatti atomici.
   • Formula: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$.
   • Limitazione: Un modello che è costantemente sbagliato (allucinando lo stesso errore in entrambi i compiti) otterrà un punteggio elevato su CCTA.
3. CCTA Ponderato per l'Accuratezza (AW-CCTA):
   • Affronta il difetto dell'"allucinazione coerente" scalando il termine di coerenza per la media dell'accuratezza congiunta.
   • Formula: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$.
   • Questa metrica penalizza i modelli che sono simmetricamente errati, premiando solo quelli che sono simmetricamente corretti.

3. Contributi Chiave

1. Formalizzazione della Coerenza Cross-Task: Definizione della coerenza come proprietà misurabile distinta dall'accuratezza autonoma, introducendo CCTA e AW-CCTA per quantificare la simmetria rappresentazionale.
2. Framework XTC-Bench: Un benchmark completamente automatizzato e basato su grafi di scena che valuta congiuntamente generazione, comprensione e il loro allineamento sotto una rappresentazione strutturata condivisa.
3. Scoperta Empirica: Dimostrazione che gli attuali uMM esibiscono un'asimmetria strutturale sistematica. Un'alta prestazione in un compito non garantisce l'allineamento nell'altro, e l'unificazione architettonica da sola non assicura la coerenza semantica.

4. Risultati Sperimentali

Gli autori hanno valutato 8 modelli open-source (ad esempio, BAGEL, OmniGen, Show-o, Janus-Pro) e 2 modelli commerciali (Gemini, GPT-5).

• Correlazione Debole: Esiste una debole relazione predittiva tra la prestazione autonoma del compito ($G$ o $U$) e la coerenza cross-task (AW-CCTA). Un modello può avere punteggi di generazione elevati ma un allineamento basso.
• Modalità di Fallimento "Allucinazione Coerente":
  • Modelli come MMaDA-8B hanno mostrato un alto CCTA grezzo (0,630) ma un AW-CCTA vicino allo zero (0,144). Ciò indica che il modello genera e comprende gli stessi fatti errati, una modalità di fallimento invisibile alle metriche standard.
  • BAGEL-7B e Gemini-2.5 Flash hanno ottenuto il più alto AW-CCTA, indicando una prestazione più equilibrata.
• Insight Architettonici:
  • I modelli Puramente Autoregressivi (AR) (ad esempio, OmniGen, Janus-Pro) hanno mostrato il più alto AW-CCTA medio, suggerendo che un obiettivo unificato di previsione del token successivo accoppia naturalmente i compiti in modo migliore.
  • I modelli AR + Diffusione hanno mostrato il divario più ampio tra generazione e comprensione, indicando sensibilità alla calibrazione tra i due componenti.
  • I modelli Puramente a Diffusione hanno mostrato un'alta coerenza grezza ma una bassa coerenza ponderata per l'accuratezza.
• Comprensione > Generazione: La maggior parte dei modelli ha ottenuto punteggi più alti nella comprensione rispetto alla generazione, suggerendo che gli attuali obiettivi di formazione favoriscono il radicamento percettivo rispetto alla fedeltà generativa.

5. Significato e Direzioni Future

• Oltre le Metriche Isolate: XTC-Bench dimostra che la valutazione degli uMM richiede di andare oltre l'accuratezza isolata per misurare la coerenza della rappresentazione interna.
• Strumento Diagnostico: La divergenza tra CCTA e AW-CCTA funge da diagnosi critica per le "allucinazioni coerenti", una modalità di fallimento pericolosa nelle applicazioni critiche per la sicurezza.
• Guida per l'Addestramento: I risultati suggeriscono che unificare semplicemente le architetture è insufficiente; la ricerca futura deve concentrarsi sull'accoppiamento degli obiettivi di apprendimento tra le modalità per garantire che percezione e sintesi condividano lo stesso terreno semantico.
• Limitazioni: Il framework si basa attualmente su modelli teacher automatizzati (che possono ereditare bias) e immagini statiche. Il lavoro futuro dovrebbe esplorare il probing white-box per localizzare i punti di divergenza nell'architettura e estendere il framework a video e audio.

In conclusione, XTC-Bench fornisce un metodo rigoroso e riproducibile per esporre il "divario semantico" nei modelli multimodali unificati, offrendo un percorso concreto verso lo sviluppo di modelli che comprendono e generano davvero una realtà coerente.