Résumé Technique : TIGER

Énoncé du Problème

L'article traite de l'hallucination de fidélité dans la génération multimodale, où une sortie fluide contient des faits spécifiques non supportés par l'entrée (par exemple, une image de deux camions décrite comme en possédant trois). Alors que les méthodes de réparation itératives existantes tentent de corriger ces erreurs en générant un feedback conditionné à la fois sur l'entrée et sur la sortie actuelle, les auteurs identifient un mode de défaillance critique : les corrélations spécieuses. Lorsqu'un générateur de feedback se conditionne conjointement sur l'entrée et la sortie hallucinée, les affirmations hallucinées peuvent biaiser l'interprétation de l'entrée par le modèle, amenant le feedback à approuver un contenu non supporté plutôt qu'à le signaler. De plus, les méthodes existantes produisent souvent un feedback en langage naturel libre, qui manque de scores de risque explicites au niveau des faits, ce qui rend difficile la hiérarchisation des réparations sous un budget de calcul limité.

Méthodologie : TIGER

TIGER (Traceable Inference with Graph-Based Evidence Routing) est un cadre d'inférence conçu pour atténuer les hallucinations en redéfinissant le mécanisme de feedback. Il opère sur un modèle à backbone gelé et se compose de trois composantes clés :

1. Projection Atomique Indépendante :
   Au lieu de traiter conjointement l'entrée et la sortie, TIGER les extrait indépendamment en graphes de faits structurés :

   • Graphe d'Observation ($G_X$) : Extrait de l'entrée ($X$) à l'aide d'un prompt qui énumère les faits observables sous forme de triplets $(e_1, rel, e_2)$. Ce graphe est calculé une seule fois et reste fixe.
   • Graphe de Réclamation ($G_{Y_t}$) : Extrait de la sortie actuelle ($Y_t$) en utilisant le même prompt d'extraction atomique.
     Cette séparation empêche les réclamations hallucinées dans la sortie d'influencer l'extraction des faits de l'entrée.

2. Classement Déterministe du Risque par Niveau de Fait :
   TIGER calcule un score de risque $r(f)$ pour chaque réclamation $f$ dans $G_{Y_t}$ en fonction de sa relation avec $G_X$ :

   • Score de Support ($s(f)$) : Mesure la similitude entre une réclamation et le fait correspondant le mieux dans $G_X$. Pour gérer les omissions d'extraction, ce score est propagé le long des arêtes de coréférence dans $G_{Y_t}$ avec une décroissance géométrique.
   • Score de Conflit ($c(f)$) : Mesure la contradiction la plus forte entre une réclamation et $G_X$, définie par la cohérence thématique et la divergence de conclusion.
   • Calcul du Risque : $r(f) = (1 - s(f)) + \lambda \cdot c(f)$.
     Parce que le scoring est déterminatiste, le système peut classer les réclamations et sélectionner un sous-ensemble spécifique (les $\text{top-}\lceil \alpha N \rceil$) pour la réparation, permettant ainsi une planification au niveau des faits.

3. Raffinement Localisé :
   Le modèle effectue une réparation itérative où seules les réclamations à haut risque sélectionnées sont ciblées. L'étape de raffinement ($Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$) utilise l'entrée brute $X$ et la sortie actuelle $Y_t$ pour réparer localement les segments signalés, tout en gardant le backbone gelé.

Garantie Théorique :
L'article fournit une analyse de convergence (Théorème 3.1) montrant que, sous des hypothèses modérées (taille de graphe bornée, progrès de réparation par fait, effets secondaires limités), le risque total attendu diminue géométriquement vers une borne asymptotique explicite.

Contributions Clés

1. Identification des Modes de Défaillance du Feedback : Les auteurs démontrent que le conditionnement conjoint dans la génération de feedback permet aux réclamations hallucinées de biaiser l'interprétation de l'entrée, menant au renforcement des erreurs.
2. Cadre TIGER : Un nouveau cadre d'inférence qui remplace le feedback conjoint en langage libre par une projection atomique indépendante et un classement de risque déterministe. Cela rend le feedback explicite, classable et adapté à la réparation localisée.
3. Évaluation Complète : TIGER est évalué à travers quatre chemins de génération cross-modale :
   • Image $\to$ Texte (COCO, AMBER)
   • Image+Texte $\to$ Texte (MMHal-Bench)
   • Audio $\to$ Texte (Clotho)
   • Vidéo $\to$ Texte (VideoHallucer)
     Le cadre utilise Qwen2.5-Omni comme backbone principal, avec une validation sur LLaVA-1.5 et des modèles propriétaires.

Résultats Expérimentaux

• Réduction des Hallucinations : TIGER réduit systématiquement les réclamations non supportées (mesurées par des métriques telles que CHAIR, AEHR et HallucRate) à travers toutes les modalités. Par exemple, sur COCO avec Qwen2.5-Omni, il a réduit le CHAIR de 0,070 à 0,050 et le CHAIRi de 0,069 à 0,035.
• Préservation de la Qualité : Contrairement à certaines lignes de base qui sacrifient la fluidité au profit de l'exactitude, TIGER préserve ou améliore la qualité de la tâche (par exemple, le BERTScore est passé de 0,588 à 0,643 sur COCO).
• Études d'Ablation :
  • La réparation itérative seule (sans extraction indépendante) a aggravé les performances en amplifiant les hallucinations.
  • L'ajout de la projection atomique a restauré les performances.
  • L'ajout du classement de risque déterministe a donné les meilleurs résultats, confirmant que les trois composantes sont nécessaires.
• Analyse du Mécanisme : Les expériences ont montré que la projection atomique réduit le taux de mention d'objets absents dans le feedback (passant de 5,0 % pour le feedback conjoint à 2,0 % pour TIGER). De plus, l'étape de raffinement a réussi à récupérer des faits corrects qui avaient été manqués lors de l'extraction initiale du graphe d'entrée.
• Étude de Cas Réel : Dans un scénario de rapport de crise multi-sources (CrisisFACTS), TIGER a amélioré la précision de 0,65 à 0,96 et le F1 de 0,66 à 0,74, démontrant sa capacité à ancrer les résumés dans des preuves multi-sources bruitées.

Signification et Revendications

L'article affirme que TIGER offre une solution robuste au problème du "biais de feedback" dans la réparation multimodale itérative. En découplant l'observation de l'entrée de l'extraction de réclamation de la sortie et en introduisant une métrique de risque déterministe et classable, TIGER permet des réparations précises et localisées sans nécessendre de fine-tuning du modèle. Les auteurs soutiennent que cette approche se généralise à travers différents backbones et modalités, réduisant efficacement les hallucinations tout en maintenant l'utilité du contenu généré. Le travail suggère qu'un routage d'évidence structuré et basé sur des graphes est une voie viable vers une génération multimodale plus fidèle dans des contextes réels et bruités.

Limites Notées :
Les auteurs reconnaissent que TIGER se concentre sur des triplets factuels localisés, ce qui peut être moins direct pour le contenu abstrait, causal ou subjectif. De plus, la nature itérative ajoute un calcul au moment de l'inférence, suggérant un besoin de travaux futurs sur des stratégies de planification plus efficaces pour un déploiement en temps réel.