Hallucination-aware intermediate representation edit in large vision-language models

1. Problématique : Les Hallucinations dans les LVLM

Les Modèles de Vision-Langage à Grande Échelle (LVLM) ont démontré des performances exceptionnelles dans le raisonnement multimodal et la compréhension de scènes complexes. Cependant, ils souffrent d'un problème majeur : l'hallucination. Ce phénomène se manifeste lorsque le modèle génère des réponses qui contredisent le contenu visuel réel de l'image (par exemple, décrire un objet absent ou attribuer de faux attributs).

Les approches existantes pour atténuer ce problème présentent des limitations significatives :

• Méthodes de réentraînement (Retraining) : Elles nécessitent la construction de jeux de données spécialisés et un ajustement fin (fine-tuning) coûteux en ressources computationnelles et en données.
• Méthodes de Décodage Contrastif (Contrastive Decoding - CD) : Bien qu'elles ne nécessitent pas de réentraînement, elles imposent une double inférence (un passage avant pour la réponse originale, un autre pour une variante affaiblie), ce qui double la latence et la charge computationnelle. De plus, elles ajustent uniformément la probabilité de tous les tokens, y compris ceux qui ne sont pas sujets aux hallucinations, ce qui nuit à la cohérence et à l'efficacité.
• Manque de contrôlabilité : La plupart des méthodes actuelles ne permettent pas de réguler le niveau d'hallucination, ce qui est pourtant utile dans des tâches créatives où une certaine imagination est souhaitée.

2. Méthodologie : Le Framework HIRE

Les auteurs proposent HIRE (Hallucination-aware Intermediate Representation Edit), un cadre novateur qui détecte et corrige dynamiquement les hallucinations au niveau des représentations intermédiaires du modèle, sans modifier les poids du LVLM et sans nécessiter de double inférence.

Le framework repose sur trois composants clés :

A. L'Éditeur (Editor) : Séparation des représentations

L'idée centrale est que les caractéristiques "véridiques" et "hallucinées" sont séparables dans l'espace latent. L'Éditeur utilise un auto-encodeur à double encodeur ($G_\phi$) pour décomposer les représentations d'attention en deux sous-espaces :

1. Encodage Sémantique ($E_{sem}$) : Capture l'information sémantique invariante (le sens général).
2. Encodage Hallucinatoire ($E_{hal}$) : Capture spécifiquement les signaux liés aux hallucinations.

L'objectif est d'apprendre une direction de réduction d'hallucination ($\delta_l$) en analysant la divergence entre les représentations de réponses fidèles et celles de réponses hallucinées. L'éditeur fusionne ensuite ces représentations pour générer une direction d'édition ciblée ($\Delta_{tl}$) qui permet de projeter les features vers un espace à faible hallucination tout en préservant la sémantique.

B. Le Routeur (Router) : Édition sélective

Pour éviter le surcoût computationnel d'une édition systématique de tous les tokens, un module léger (Router, $R_\theta$) est introduit.

• Il prend en entrée la représentation de la première couche du transformeur.
• Il prend une décision binaire ($c \in \{0, 1\}$) : si $c=1$, l'édition est activée pour les couches suivantes ; sinon, aucune modification n'est apportée.
• Ce mécanisme permet d'économiser environ 30 % de la charge computationnelle en évitant l'édition des tokens ou des couches qui ne sont pas sujets aux hallucinations.

C. Régulateur d'Hallucination (Hallucination Regulator)

Un hyperparamètre $\alpha$ contrôle l'intensité et la direction de l'édition :

• $\alpha > 0$ : Supprime les hallucinations (pousse les features vers le cluster "véridique").
• $\alpha < 0$ : Amplifie les hallucinations (utile pour des tâches créatives).
  Cela offre une contrôlabilité flexible que les méthodes précédentes ne possédaient pas.

D. Optimisation et Entraînement

L'entraînement se fait sans données étiquetées explicites pour les hallucinations, en utilisant deux stratégies :

1. Apprentissage Contrastif : Pour entraîner l'Éditeur à séparer les features sémantiques des features hallucinées. Les données positives/négatives sont générées en perturbant l'image (réduisant l'ancrage visuel) tout en gardant le même texte.
2. Optimisation par Préférence Directe (DPO) : Pour entraîner le Routeur à choisir les meilleures stratégies d'édition en comparant des paires de trajectoires de décision (éditer vs ne pas éditer) basées sur la qualité de la réponse finale (mesurée par CHAIRI).

3. Contributions Clés

1. Nouveau Paradigme : Une approche d'édition de représentations intermédiaires qui élimine le besoin de réentraînement coûteux et de double inférence.
2. Efficacité et Contrôle : Un framework capable de détecter dynamiquement les hallucinations, de les corriger avec un coût computationnel minimal, et de permettre un contrôle précis du niveau d'hallucination via un simple paramètre.
3. Performance SOTA : Des résultats state-of-the-art sur plusieurs benchmarks, surpassant les méthodes de réentraînement et de décodage contrastif.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles comme LLaVA-1.5 et InstructBLIP sur trois benchmarks majeurs : CHAIR (génération de légendes), POPE (questions binaires) et AMBER (évaluation globale).

• Réduction des Hallucinations :

  • Sur le benchmark CHAIR (scène longue, 512 tokens), HIRE réduit les hallucinations au niveau des phrases (CHAIRS) d'environ 40 % et au niveau des instances (CHAIRI) d'environ 50 % par rapport à la base.
  • Sur POPE, HIRE améliore la précision (Accuracy) et le score F1 par rapport à l'état de l'art (ex: +1.48% d'accuracy sur LLaVA-1.5 par rapport à Octopus).
  • Sur AMBER, HIRE obtient les scores les plus élevés, indiquant une meilleure performance globale sur les tâches génératives et discriminatives.

• Efficacité Computationnelle :

  • Contrairement aux méthodes CD qui doublent le temps d'inférence, HIRE introduit un surcoût négligeable (environ 10-15 % de TFLOPs supplémentaires selon le tableau 1), grâce à l'architecture légère du Routeur et à l'absence de double passage.

• Contrôlabilité :

  • Les expériences montrent une corrélation linéaire forte ($R^2 \approx 0.97$) entre la valeur du paramètre $\alpha$ et le taux d'hallucination, prouvant que le modèle peut être piloté pour être plus ou moins "hallucinant" selon les besoins.

• Généralisation :

  • La méthode fonctionne bien sur différents modèles (Qwen-2.5-VL, TinyLLaVA) et différents jeux de données (Visual Genome, MSCOCO) sans réentraînement spécifique.

5. Signification et Impact

L'article HIRE représente une avancée significative pour le déploiement pratique des LVLM. En démontrant qu'il est possible de corriger les hallucinations sans toucher aux poids du modèle et sans multiplier la latence, il offre une solution viable pour des applications en temps réel.

De plus, la capacité à contrôler le degré d'hallucination ouvre de nouvelles perspectives pour l'utilisation des LVLM dans des contextes variés, allant de la rigueur factuelle (médical, juridique) à la créativité artistique, comblant ainsi un vide laissé par les méthodes précédentes qui étaient soit trop rigides, soit trop coûteuses.

Le code est disponible publiquement, facilitant l'adoption et l'extension de cette approche par la communauté de recherche.