Riepilogo Tecnico: TIGER

Definizione del Problema

Il documento affronta l'allucinazione di fedeltà (faithfulness hallucination) nella generazione multimodale, in cui un output fluente contiene fatti specifici non supportati dall'input (ad esempio, descrivere un'immagine di due camion come se ne avesse tre). Sebbene i metodi di riparazione iterativa esistenti tentino di correggere questi errori generando feedback condizionati sia dall'input che dall'output corrente, gli autori identificano una modalità di fallimento critica: le correlazioni spurie. Quando un generatore di feedback si condiziona congiuntamente sull'input e sull'output allucinato, le affermazioni allucinate possono influenzare la interpretazione dell'input da parte del modello, causando il fatto che il feedback approvi contenuti non supportati anziché segnalarli. Inoltre, i metodi esistenti spesso producono feedback in linguaggio naturale a forma libera, che manca di punteggi di rischio espliciti a livello di singolo fatto, rendendo difficile dare priorità alle riparazioni sotto un budget computazionale limitato.

Metodologia: TIGER

TIGER (Traceable Inference with Graph-Based Evidence Routing) è un framework di inferenza progettato per mitigare le allucinazioni ridisegnando il meccanismo di feedback. Opera su un modello con backbone congelato (frozen backbone) e consiste in tre componenti principali:

1. Proiezione Atomica Indipendente:
   Invece di elaborare congiuntamente l'input e l'output, TIGER li estrae indipendentemente in grafi di fatti strutturati:

   • Grafo delle Osservazioni ($G_X$): Estratto dall'input ($X$) utilizzando un prompt che elenca i fatti osservabili come triple $(e_1, rel, e_2)$. Questo grafo viene calcolato una sola volta e rimane fisso.
   • Grafo delle Affermazioni ($G_{Y_t}$): Estratto dall'output corrente ($Y_t$) utilizzando lo stesso prompt di estrazione atomica.
     Questa separazione impedisce alle affermazioni allucinate nell'output di influenzare l'estrazione dei fatti dall'input.

2. Classificazione Deterministica del Rischio a Livello di Fatto:
   TIGER calcola un punteggio di rischio $r(f)$ per ogni affermazione $f$ in $G_{Y_t}$ in base alla sua relazione con $G_X$:

   • Punteggio di Supporto ($s(f)$): Misura la somiglianza tra un'affermazione e il fatto con il miglior match in $G_X$. Per gestire le omissioni di estrazione, questo punteggio viene propagato lungo gli archi di coreferenza in $G_{Y_t}$ con un decadimento geometrico.
   • Punteggio di Conflitto ($c(f)$): Misura la più forte contraddizione tra un'affermazione e $G_X$, definita dalla coerenza del tema e dalla divergenza delle conclusioni.
   • Calcolo del Rischio: $r(f) = (1 - s(f)) + \lambda \cdot c(f)$.
     Poiché la valutazione è deterministica, il sistema può classificare le affermazioni e selezionare un sottoinsieme specifico (i top-$\lceil \alpha N \rceil$) per la riparazione, consentendo una pianificazione (scheduling) a livello di fatto.

3. Raffinamento Localizzato:
   Il modello esegue una riparazione iterativa in cui vengono mirate solo le affermazioni ad alto rischio selezionate. Il passaggio di raffinamento ($Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$) utilizza l'input grezzo $X$ e l'output corrente $Y_t$ per riparare localmente gli intervalli (spans) segnalati, mantenendo il backbone congelato.

Garanzia Teorica:
Il documento fornisce un'analisi della convergenza (Teorema 3.1) dimostrando che, sotto deboli assunzioni (dimensione del grafo limitata, progresso di riparazione per ogni fatto, effetti collaterali limitati), il rischio totale atteso diminuisce geometricamente verso un limite asintotico esplicito.

Contributi Chiave

1. Identificazione delle Modalità di Fallimento del Feedback: Gli autori dimostrano che il condizionamento congiunto nella generazione del feedback permette alle affermazioni allucinate di influenzare l'interpretazione dell'input, portando al rafforzamento degli errori.
2. Framework TIGER: Un nuovo framework di inferenza che sostituisce il feedback congiunto a forma libera con la proiezione atomica indipendente e la classificazione deterministica del rischio. Ciò rende il feedback esplicito, classificabile e adatto alla riparazione localizzata.
3. Valutazione Completa: TIGER è valutato attraverso quattro percorsi di generazione cross-modale:
   • Immagine $\to$ Testo (COCO, AMBER)
   • Immagine+Testo $\to$ Testo (MMHal-Bench)
   • Audio $\to$ Testo (Clotho)
   • Video $\to$ Testo (VideoHallucer)
     Il framework utilizza Qwen2.5-Omni come backbone primario, con validazione su LLaVA-1.5 e modelli proprietari.

Risultati Sperimentali

• Riduzione delle Allucinazioni: TIGER riduce costantemente le affermazioni non supportate (misurate tramite metriche come CHAIR, AEHR e HallucRate) in tutte le modalità. Ad esempio, su COCO con Qwen2.5-Omni, ha ridotto CHAIRs da 0.070 a 0.050 e CHAIRi da 0.069 a 0.035.
• Preservazione della Qualità: A differenza di alcuni baseline che scambiano la fluidità con l'accuratezza, TIGER preserva o migliora la qualità del compito (ad esempio, BERTScore è aumentato da 0.588 a 0.643 su COCO).
• Studi di Ablazione:
  • La riparazione iterativa da sola (senza estrazione indipendente) ha peggiorato le prestazioni amplificando le allucinazioni.
  • L'aggiunta della proiezione atomica ha ripristinato le prestazioni.
  • L'aggiunta della classificazione deterministica del rischio ha prodotto i risultati migliori, confermando che tutti e tre i componenti sono necessari.
• Analisi del Meccanismo: Gli esperimenti hanno mostrato che la proiezione atomica riduce il tasso di menzione di oggetti assenti nel feedback (dal 5.0% nel feedback congiunto al 2.0% in TIGER). Inoltre, il passaggio di raffinamento ha recuperato con successo i fatti corretti che erano stati mancati durante l'estrazione iniziale del grafo dell'input.
• Caso di Studio Reale: In uno scenario di reporting di crisi multi-fonte (CrisisFACTS), TIGER ha migliorato la precisione da 0.65 a 0.96 e l'F1 da 0.66 a 0.74, dimostrando la sua capacità di ancorare i riassunti a prove multi-fonte rumorose.

Significato e Rivendicazioni

Il documento sostiene che TIGER offre una soluzione robusta al problema del "bias del feedback" nella riparazione multimodale iterativa. Decoupling (disaccoppiando) l'osservazione dell'input dall'estrazione delle affermazioni dell'output e introducendo una metrica di rischio deterministica e classificabile, TIGER consente riparazioni precise e localizzate senza richiedere il fine-tuning del modello. Gli autori affermano che questo approccio si generalizza attraverso diversi backbone e modalità, riducendo efficacemente le allucinazioni pur mantenendo l'utilità del contenuto generato. Il lavoro suggerisce che il routing delle prove strutturate basato su grafi è una via percorribile verso una generazione multimodale più fedele in contesti reali e rumorosi.

Limitazioni Note:
Gli autori riconoscono che TIGER si concentra su triple fattuali localizzate, che possono essere meno dirette per contenuti astratti, causali o soggettivi. Inoltre, la natura iterativa aggiunge computazione al tempo di inferenza, suggerendo la necessità di futuri lavori su strategie di scheduling più efficienti per l'implementazione in tempo reale.