Sintesi Tecnica: Ragionamento Visivo Fedele e Radicato tramite Proxy-Token Appresi

1. Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) hanno ottenuto un successo significativo nel Visual Question Answering (VQA), ma operano secondo un paradigma "black-box", mappando direttamente gli input verso le risposte senza esporre i processi decisionali. Questa mancanza di trasparenza ostacola l'implementazione in domini critici.

Per affrontare questo problema, gli approcci di Grounded Visual Reasoning (GVR) tentano di accoppiare i ragionamenti testuali con informazioni di grounding visivo, tipicamente sotto forma di coordinate di bounding box testuali $(x, y, w, h)$. Tuttavia, il paper sostiene che gli attuali metodi basati su coordinate soffrano di un fondamentale "gap semantico-spaziale". Trattando le posizioni spaziali come stringhe di testo arbitrarie, questi metodi mancano di un legame semantico apprendibile con le caratteristiche visive sottostanti. Di conseguenza, i modelli spesso "allucinano" coordinate che non corrispondono a un reale supporto visivo, disaccoppiando efficacemente il processo di ragionamento dalla percezione visiva. Inoltre, gli attuali protocolli di valutazione si basano prevalentemente sull'accuratezza della risposta finale, il che maschera queste inconsistenze di ragionamento e permette ai modelli di indovinare correttamente basandosi su bias linguistici piuttosto che su evidenze visive.

2. Metodologia: Il Framework Composer

Gli autori introducono Composer, un MLLM progettato per imporre un ragionamento radicato, passo dopo passo, colmando il gap semantico-spaziale.

2.1. Grounding Visivo tramite Learned Proxy-Tokens

A differenza dei metodi tradizionali che regressionano coordinate testuali, Composer impiega un meccanico innovativo basato su learned proxy-tokens.

• Meccanismo: L'immagine viene decomposta in $N$ token visivi $V = \{v_1, v_2, \dots, v_N\}$. Un corrispondente set di $N$ proxy-token apprendibili $R = \{<r_1>, \dots, <r_N>\}$ viene aggiunto al vocabolario dell'LLM.
• Indicizzazione: La sequenza di input intercala questi token ($S = [r_1, v_1, r_2, v_2, \dots, Q]$), stabilendo una stretta corrispondenza 1-a-1 tra ogni proxy-token e la sua caratteristica visiva.
• Operazioni basate su Set: Le regioni visive sono trattate come set discreti e indirizzabili di proxy-token. Ciò consente al modello di eseguire operazioni implicite basate su set (intersezione, unione, verifica di sottoinsieme) direttamente nello spazio latente visivo. Ad esempio, il ragionamento spaziale (es. "l'oggetto A è a sinistra dell'oggetto B?") viene ridotto alla verifica dell'intersezione dei rispettivi set di proxy-token ($S_A \cap S_{left} \neq \emptyset$).
• Ragionamento Ricorsivo: Il modello può fare riferimento ai proxy-token generati nei passaggi di ragionamento precedenti, "restringendo" efficacemente lo spazio di ricerca visiva agli indici rilevanti.

2.2. Strategia di Addestramento

Composer è addestrato utilizzando una strategia di dati in due fasi:

1. Pre-addestramento di Allineamento: Il modello è dotato di capacità di localizzazione fine utilizzando compiti visione-linguaggio diversificati (captioning, referring expression comprehension e ragionamento spaziale visivo). Le annotazioni dei bounding box da dataset come COCO e RefCOCO vengono mappate sul vocabolario dei proxy-token.
2. Ragionamento Multi-step (ComposerGCoT): Per affrontare la mancanza di supervisione intermedia nei dataset standard, gli autori hanno sintetizzato ComposerGCoT. Questo dataset deriva da GQA attraverso la distillazione di grafi di scena e programmi funzionali in catene di ragionamento discrete e visivamente radicate. Ogni passaggio è annotato con risposte intermedie e grounding visivo, risultando in 163K catene di ragionamento per 55K immagini.

2.3. Output Strutturato per la Valutazione

Per consentire una valutazione rigorosa, Composer produce catene di ragionamento strutturate utilizzando tag leggeri in stile XML (es. <objectRecognition>, <spatialLocation>, <attributeColor>) racchiusi all'interno di un blocco <thought>. Questo formato permette la verifica indipendente della validità logica e della precisione spaziale di ogni passaggio di ragionamento, piuttosto che solo della risposta finale.

3. Contributi Chiave

1. Modello Composer: Un MLLM che utilizza learned proxy-tokens per indicizzare lo spazio latente dell'immagine, sostituendo la regressione di coordinate arbitrarie con puntatori discreti e semanticamente manipolabili.
2. Dataset ComposerGCoT: Un dataset specializzato e sintetizzato che fornisce supervisione fine per ogni passaggio della catena di ragionamento, consentendo una valutazione olistica della coerenza del ragionamento e della fedeltà del grounding.
3. Protocollo di Valutazione: Un framework che valuta i modelli su tre assi: accuratezza della risposta, coerenza del ragionamento (accuratezza della sequenza del task) e accuratezza del grounding visivo (IoU).

4. Risultati Sperimentali

Gli autori hanno valutato Composer rispetto a un baseline basato su coordinate (B-Composer) e alla loro variante con proxy-token (P-Composer) sul set di validazione ComposerGCoT.

• Coerenza del Ragionamento: Esiste una forte correlazione tra i percorsi di ragionamento corretti e le risposte corrette finali. Per P-Composer, il 76,08% dei percorsi di ragionamento corretti ha portato a risposte corrette, suggerendo che i passaggi di ragionamento guidino la predizione piuttosto che servire come giustificazioni post-hoc.
• Accuratezza del Grounding: P-Composer supera significativamente B-Composer nella precisione del grounding visivo.
  • IoU Complessivo: Migliorato di +2,7 punti (57,9% vs 55,2%).
  • Strict IoU@0.95: Migliorato di +9,0 punti (15,4% vs 6,4%).
• Analisi delle Capacità: P-Composer ha raggiunto l'accuratezza più alta nel posizionamento spaziale (84,8%) e nelle relazioni spaziali (79,2%), mentre le prestazioni sono state inferiori sull'attributo colore (66,5%), probabilmente a causa della natura aperta dell'attribuzione del colore rispetto alle scelte spaziali vincolate.
• Accuratezza della Risposta: Composer ha raggiunto la parità di prestazioni con il suo corrispettivo basato su coordinate in termini di accuratezza della risposta finale, dimostrando che il nuovo meccanismo di grounding non compromette le prestazioni del task.

5. Significato e Rivendicazioni

Il paper afferma che i learned proxy-token discreti catturano la semantica spaziale in modo più efficace rispetto ai tipici coordinati testuali. Stabilendo un legame esplicito e apprendibile tra il ragionamento linguistico e le caratteristiche visive, Composer promuove una interpretabilità fedele.

Gli autori sostengono che questo approccio rappresenti una strada promettente verso MLLM affidabili e degni di fiducia. Il lavoro dimostra che è possibile mantenere un'alta accuratezza della risposta migliorando significativamente la fedeltà del grounding visivo, affrontando così il "gap semantico-spaziale" che attualmente affligge i sistemi di ragionamento visivo radicato. Lo studio sottolinea che la valutazione rigorosa deve andare oltre l'accuratezza della risposta finale per diagnosticare se i modelli siano "corretti per i giusti motivi".