💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

L'article présente SENTINEL, un cadre qui atténue les hallucinations d'objets dans les grands modèles de langage multimodaux en amorçant des données de préférence spécifiques au domaine grâce à des détecteurs à vocabulaire ouvert et en appliquant un apprentissage de préférence sensible au contexte au niveau des phrases pour intervenir tôt dans le processus de génération, sans nécessiter d'annotations humaines.

Auteurs originaux : Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami très intelligent et artistique qui adore vous décrire des images. Cet ami est excellent pour saisir l'ensemble, mais il a une habitude excentrique : au fur et à mesure qu'il parle, il commence à inventer des choses qui ne sont pas réellement là.

Si vous lui montrez une photo d'une cuisine calme, il pourrait commencer par dire : « Je vois une table et des chaises. » C'est vrai. Mais au fur et à mesure qu'il continue de décrire la scène, il pourrait soudainement ajouter : « Et regardez, il y a un vase de fleurs sur la table », alors qu'il n'y a aucune fleur. Ensuite, il pourrait se laisser emporter et dire : « Et un chat dort sur le vase », alors qu'il n'y a pas de chat.

C'est ce que l'article appelle l'hallucination d'objets. Le modèle ne ment pas intentionnellement ; il se laisse simplement emporter par sa propre histoire, inventant des détails qui contredisent la réalité visuelle.

Le problème des solutions actuelles

Les auteurs expliquent que d'autres chercheurs ont tenté de résoudre ce problème, mais leurs solutions sont comme utiliser un marteau-piqueur pour casser une noix :

L'approche de « l'éditeur humain » : Certaines méthodes demandent à des éditeurs humains coûteux ou à des modèles d'IA surpuissants de réécrire l'histoire une fois celle-ci rédigée. C'est lent, coûteux, et cela modifie souvent la « voix » du modèle original.
L'approche de « l'arrêt et de la vérification » : D'autres tentent de mettre le modèle en pause après chaque phrase pour vérifier si les objets existent. C'est comme demander à un conducteur de s'arrêter toutes les 10 pieds pour consulter la carte. Cela fonctionne, mais cela rend le processus incroyablement lent et lourd.

La grande découverte : l'« effet boule de neige »

Les auteurs de cet article, SENTINEL, ont fait une observation cruciale. Ils ont réalisé que les hallucinations ne se produisent pas toutes d'un coup ; elles commencent tôt et font ensuite effet boule de neige.

Pensez-y comme à un jeu de « téléphone arabe ». Si la première personne de la file chuchote un fait erroné, chacun après elle répète ce fait erroné et ajoute d'autres mensonges par-dessus. L'article a montré que si le modèle hallucine dans la deuxième phrase, il devient beaucoup plus susceptible d'halluciner dans la troisième, la quatrième et la cinquième phrases. L'erreur se propage.

La solution : SENTINEL (L'intervenant précoce)

Les auteurs proposent un nouveau cadre appelé SENTINEL. Au lieu d'attendre que toute l'histoire soit écrite pour la corriger, SENTINEL agit comme un éditeur vigilant qui intervient au moment où le premier mensonge est prononcé.

Voici comment SENTINEL fonctionne, en utilisant une analogie simple :

L'essai (Bootstrapping) :
Imaginez que le modèle est un acteur répétant une scène. SENTINEL demande au modèle de jouer la scène (décrire l'image) plusieurs fois.
- Essai 1 : « Je vois une table. » (Vrai)
- Essai 2 : « Je vois une table et un vase. » (Le vase n'est pas là !)
- Essai 3 : « Je vois une table et un chat. » (Pas de chat !)
La vérification des faits (Recoupement) :
SENTINEL utilise deux « détectives » simples et rapides (des détecteurs d'objets) pour examiner la photo et le script du modèle.
- Si le script dit « vase » mais que la photo n'a pas de vase, les détectives le signalent comme une hallucination.
- Si le script dit « table » et que la photo a une table, c'est marqué comme factuel.
- Si les détectives ne peuvent pas se mettre d'accord, ils l'ignorent (pour éviter la confusion).
La leçon (Apprentissage par préférence) :
Maintenant, SENTINEL crée une leçon de style « Choisissez votre propre aventure » pour le modèle.
- Option A (Le bon chemin) : « La table est entourée de chaises. » (Cela correspond à la photo).
- Option B (Le mauvais chemin) : « La table est entourée de chaises et d'un vase. » (Cela inclut le mensonge).
  Le modèle est entraîné à réaliser : « Oh ! L'option A est celle que je devrais choisir. L'option B est fausse car elle inclut le faux vase. »
La touche « Contexte » :
C'est l'ingrédient secret. Le modèle n'apprend pas seulement à choisir la bonne phrase isolément. Il apprend à choisir la bonne phrase en fonction de ce qui a précédé.
- Si la phrase précédente était vraie (« Je vois une table »), le modèle apprend à garder la phrase suivante vraie aussi.
- Il apprend que dès que le « mensonge » (hallucination) commence, toute l'histoire dérape. Ainsi, il apprend à arrêter le mensonge immédiatement dès son apparition.

Les résultats

L'article affirme qu'en attrapant ces mensonges dès le tout début (Intervention précoce au niveau de la phrase), SENTINEL empêche la « boule de neige » de rouler.

Moins d'hallucinations : Il a réduit les hallucinations d'objets de plus de 90 % par rapport au modèle original.
Meilleures compétences générales : Contrairement à d'autres méthodes qui rendent le modèle « plus bête » ou plus lent, SENTINEL a en fait rendu le modèle meilleur pour répondre à des questions et décrire les choses avec précision.
Aucun coût supplémentaire : Il n'a pas besoin d'éditeurs humains coûteux ni de super-ordinateurs pour fonctionner. Il apprend au modèle à être son propre vérificateur de faits.

En résumé

Imaginez le modèle d'IA original comme un conteur qui s'emballe trop et invente des choses.

Les anciennes méthodes tentaient d'embaucher un éditeur strict pour réécrire toute l'histoire une fois terminée (coûteux et lent).
SENTINEL apprend au conteur à écouter sa propre voix intérieure. Au moment où il est sur le point de dire quelque chose qui n'est pas vrai, il apprend à faire une pause, à vérifier les faits et à dire la vérité à la place. Cela arrête les mensonges avant qu'ils ne se propagent, résultant en une histoire à la fois précise et créative.

Résumé Technique : SENTINEL

Énoncé du Problème

Les modèles de langage larges multimodaux (MLLM) ont fait progresser la compréhension intermodale, mais souffrent d'hallucinations d'objets, où les modèles génèrent un texte sémantiquement cohérent mais factuellement incohérent par rapport à l'entrée visuelle. Les stratégies d'atténuation existantes rencontrent des limitations significatives :

Les méthodes basées sur le décodage (par exemple, le décodage contrastif) entraînent souvent des coûts de calcul prohibitifs et une latence d'inférence accrue.
Les méthodes d'alignement des préférences reposent fréquemment sur des ressources externes coûteuses, telles que des modèles de langage larges (LLM) propriétaires pour la réécriture ou des annotateurs humains pour la curation des données. De plus, ces méthodes introduisent souvent des décalages de distribution entre les données d'entraînement (réécrites par des modèles externes) et la distribution de sortie originale du modèle cible, ce qui peut nuire aux capacités de généralisation.

Méthodologie : SENTINEL

Les auteurs proposent SENTINEL (Sentence-level Early iNtervention Through IN-domain prEference Learning), un cadre conçu pour atténuer les hallucinations en intervenant au stade le plus précoce de leur apparition, sans recourir à une réécriture externe ou à une annotation humaine. La méthode fonctionne en six étapes clés :

Amorçage des candidats in-domaine :
- Le MLLM actuel génère plusieurs réponses candidates par échantillonnage.
- Les objets mentionnés dans ces sorties sont extraits à l'aide d'un analyseur de graphe de scène (Scene-GraphParser).
- Validation croisée : Deux détecteurs d'objets à vocabulaire ouvert (GroundingDINO et YOLO World) sont utilisés pour vérifier la présence de ces objets dans l'image d'entrée.
- Les objets sont classés comme factuels (les deux détecteurs confirment la présence), hallucinés (les deux confirment l'absence) ou incertains. Les phrases contenant des objets hallucinés sont signalées comme échantillons négatifs ; celles ne contenant que des objets factuels sont des échantillons positifs. Les objets incertains sont ignorés pour garantir la qualité des données.
Génération de données de préférence conscientes du contexte :
- Le cadre construit des paires de préférence $(y_w^+, y_l)$ où $y_w^+$ est une phrase non hallucinée et $y_l$ une phrase hallucinée.
- Crucialement, l'échantillon positif $y_w^+$ est sélectionné pour être cohérent avec le contexte, ce qui signifie que les objets décrits dans la phrase sont explicitement référencés ou logiquement connectés au contexte précédent. Cela contraste avec les échantillons agnostiques du contexte, que les auteurs jugent moins efficaces pour la généralisation.
Amorçage contextuel itératif (ICB) :
- Pour améliorer la robustesse dans des scénarios diversifiés, le cadre étend itérativement le contexte de génération. Après l'identification d'un échantillon positif non halluciné, il est ajouté au contexte $c$ pour l'itération suivante. Cela permet au modèle d'apprendre à partir de contextes progressivement complexes et variés tout en maintenant une base exempte d'hallucinations.
Apprentissage de préférence conscient du contexte (C-DPO) :
- Le modèle est entraîné à l'aide d'une fonction de perte Direct Preference Optimization (DPO) modifiée, appelée C-DPO.
- L'entrée du modèle de politique est augmentée avec le contexte $c$ : $x' = [v, q, c]$ .
- La fonction de perte maximise la vraisemblance de la génération de l'échantillon positif cohérent avec le contexte $y_w^+$ tout en minimisant l'échantillon négatif halluciné $y_l$ .
- Conception clé : Le contexte $c$ est exclu du calcul de la perte (masqué). Les gradients sont dérivés uniquement de la discrimination entre $y_w^+$ et $y_l$ , garantissant que le modèle apprend à distinguer les hallucinations au niveau de la phrase sans être biaisé par les jetons de contexte lors de l'optimisation.

Contributions Clés

Insight sur l'intervention précoce : Les auteurs démontrent par l'analyse que l'intensité des hallucinations s'accroît avec la longueur du texte et que l'intervention au premier occurrence d'une hallucination empêche significativement sa propagation dans les sorties ultérieures.
Cadre efficace et in-domaine : SENTINEL élimine la dépendance aux modèles propriétaires externes ou aux annotateurs humains. En utilisant les propres sorties du modèle et des détecteurs légers à vocabulaire ouvert, il construit des données de préférence de haute qualité et cohérentes stylistiquement.
Performance agnostique du modèle : La méthode atteint des résultats de pointe sur les benchmarks d'hallucinations tout en préservant ou en améliorant les capacités générales, démontrant que l'apprentissage de préférence in-domaine est supérieur aux approches basées sur la réécriture.

Résultats Expérimentaux

Des expériences ont été menées sur les modèles LLaVA-v1.5 (7B et 13B) à travers plusieurs benchmarks :

Atténuation des hallucinations :
- Sur Object HalBench, SENTINEL a réduit le taux d'hallucinations au niveau de la réponse de 52,7 % (ligne de base) à 4,3 % pour le modèle 7B, surpassant l'état de l'art précédent (TPO) avec une marge significative.
- Sur AMBER, les hallucinations ont été réduites d'environ 92 % (Object HalBench) et 65 % (AMBER) par rapport au modèle original.
- La méthode a efficacement réduit les hallucinations dans les six catégories (Existence, Attribut, État, Relation, Action, Nombre).
Capacités générales :
- Contrairement à de nombreuses méthodes d'atténuation qui dégradent les performances générales, SENTINEL a maintenu ou amélioré les scores sur VQAv2, TextVQA, ScienceQA et MM-Vet.
- Par exemple, sur MM-Vet, le modèle 7B est passé de 31,0 à 32,6, et le modèle 13B de 36,0 à 36,2.
Études d'ablation :
- Réécriture vs In-domaine : L'entraînement sur des données réécrites (via GPT-4) a entraîné une dégradation des performances, confirmant l'importance de préserver la distribution intrinsèque du modèle.
- Cohérence contextuelle : L'utilisation d'échantillons positifs cohérents avec le contexte ( $y_w^+$ ) a produit de meilleurs résultats que les échantillons agnostiques du contexte.
- Validation croisée : L'utilisation de deux détecteurs pour la validation a nettement surpassé les approches à détecteur unique.
- Évolutivité : Les performances se sont améliorées à mesure que l'échelle des données d'entraînement augmentait, démontrant l'efficacité de la méthode à exploiter de grands ensembles de données sans annotation coûteuse.

Importance et Revendications

L'article revendique que SENTINEL offre une solution évolutive, efficace et agnostique du modèle pour améliorer la fiabilité des MLLM. Son importance principale réside dans le changement de paradigme des interventions externes coûteuses et déplaçant la distribution vers une intervention précoce in-domaine au niveau de la phrase. En se concentrant sur le moment précis où les hallucinations émergent et en exploitant la propre distribution du modèle, SENTINEL réussit à freiner la propagation des erreurs sans compromettre les capacités générales de raisonnement ou de génération de langage du modèle.

Les auteurs notent une limitation : le cadre actuel manque de capacités de raisonnement spatio-temporel, ce qui signifie qu'il pourrait ne pas résoudre pleinement les problèmes d'hallucination dans les MLLM basés sur la vidéo nécessitant un raisonnement à long terme. Cependant, pour la compréhension d'images statiques, il établit une nouvelle norme pour une atténuation efficace des hallucinations.