💻 computer science

Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

L'article propose AVES-DPO, un cadre d'apprentissage par préférence auto-correctif qui atténue les hallucinations dans les modèles de vision-langage de grande taille en générant des paires de préférences intra-distribution grâce à un mécanisme de vérification basé sur le consensus, surmontant ainsi le décalage distributionnel causé par la dépendance à l'égard de modèles propriétaires.

Auteurs originaux : Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot très intelligent et artistique qui adore décrire des images. Vous lui montrez une photo d'une cuisine, et il dit : « Je vois un meuble brun, un sol en bois et une personne debout à côté d'un chien. » Mais attendez — il n'y a pas de chien sur la photo ! Le robot vient tout simplement d'inventer cela. C'est ce qu'on appelle une hallucination. C'est comme si le robot rêvassait tout en regardant la photo.

Pendant longtemps, les scientifiques ont tenté de résoudre ce problème en engageant un « super-expert » (comme un modèle d'IA massif et coûteux appelé GPT-4V) pour examiner les erreurs du robot et lui dire : « Non, ce chien n'est pas là. Corrige-le. » Ils enseignaient ensuite au robot en se basant sur ces corrections.

Le Problème de l'Ancienne Méthode
Les auteurs de cet article ont réalisé qu'il y avait un défaut dans ce plan. Imaginez enseigner à un élève à peindre en lui faisant copier un chef-d'œuvre d'un artiste complètement différent. L'élève pourrait apprendre le style du maître, mais cela ne correspondra pas à sa propre manière naturelle de peindre.

De la même manière, lorsque le « super-expert » corrige le robot, la correction ressemble à l'expert, et non au robot. Cela crée un décalage. Le robot se confond parce que la « bonne réponse » lui semble étrangère par rapport à son propre cerveau, rendant le processus d'apprentissage inefficace et nécessitant d'énormes quantités de données.

La Nouvelle Solution : "AVES-DPO" (L'Artiste Auto-Correcteur)
Les auteurs proposent une nouvelle méthode appelée AVES-DPO. Au lieu d'engager un expert extérieur, ils enseignent au robot à vérifier son propre travail et à le corriger.

Voici comment leur processus d'« Auto-Correction » fonctionne, décomposé en étapes simples :

Le Premier Brouillon (L'Erreur) : Le robot regarde l'image et rédige une description. Il peut accidentellement inventer un chien ou se tromper sur la couleur des meubles.
Le Travail d'Enquête (Vérification) : Avant que le robot ne tente de corriger, une équipe d'« enquêteurs » (des outils d'IA spécialisés et open-source) examine la description.
- Le robot a-t-il dit qu'il y avait un chien ? L'enquêteur vérifie la photo. « Non, pas de chien. »
- A-t-il dit que les meubles étaient bleus ? L'enquêteur vérifie. « Non, ils sont bruns. »
- A-t-il dit que la personne tenait une tasse ? L'enquêteur vérifie. « Pas de tasse. »
- Si les enquêteurs s'accordent, l'erreur est confirmée. S'ils sont incertains, ils demandent un deuxième avis pour être sûrs.
L'Auto-Correction (La Correction) : Maintenant, le robot examine la liste des erreurs confirmées. Il réécrit son histoire.
- Il retire le faux chien.
- Il remplace « meubles bleus » par « meubles bruns ».
- Crucialement, il ne se contente pas de supprimer les mauvaises parties ; il ajoute aussi plus de détails réels qu'il avait manqués, comme « le sol est brillant » ou « il y a une fenêtre ».
La Leçon (Apprentissage par Préférence) : Maintenant, le robot possède deux versions de l'histoire :
- Version A : L'histoire originale, remplie d'erreurs (la « mauvaise » réponse).
- Version B : La nouvelle histoire, auto-correctée et détaillée (la « bonne » réponse).
- Le robot est entraîné à préférer la Version B. Parce qu'il a écrit lui-même la Version B, la « bonne » réponse ressemble exactement à lui. Elle s'intègre parfaitement dans son propre cerveau.

Pourquoi C'est Important
L'article affirme que cette méthode est un changement de paradigme pour trois raisons :

C'est Efficace : Parce que le robot apprend à partir de sa propre « voix », il apprend beaucoup plus vite. Ils n'ont eu besoin que d'environ 5 200 exemples pour enseigner au robot. D'autres méthodes nécessitaient 25 fois plus de données (plus de 120 000 exemples) pour obtenir des résultats similaires. C'est comme apprendre une langue en se parlant à soi-même devant un miroir plutôt qu'en essayant d'imiter un accent étranger.
Il Détecte Plus d'Erreurs : Les anciennes méthodes capturaient principalement les « grosses » erreurs, comme inventer un objet entier (un chien). Cette nouvelle méthode détecte aussi les « petites » erreurs, comme se tromper sur la relation (dire que le chien est à gauche alors qu'il est en réalité à droite) ou sur la couleur.
C'est Moins Cher : Vous n'avez pas besoin de payer pour des modèles d'IA « super-experts » coûteux afin d'effectuer les corrections. Le robot fait le gros du travail.

Le Résultat
Lorsqu'ils ont testé cette nouvelle méthode, le robot est devenu beaucoup plus performant pour décrire des images avec précision. Il a arrêté d'inventer des objets et a obtenu les détails corrects, le tout en utilisant une quantité minuscule de données d'entraînement.

Une Note sur les Limites
Les auteurs sont honnêtes concernant ce que leur méthode ne fait pas encore.

Elle fonctionne mieux lorsqu'on observe un objet à la fois. Si une image contient une foule chaotique de 50 personnes interagissant de manière complexe, le système pourrait se confondre un peu.
Pour les robots les plus grands et les plus puissants (les modèles à 13 milliards de paramètres), la correction des hallucinations les a rendus légèrement plus « prudents ». Ils sont devenus si bons pour ne rien inventer qu'ils ont parfois oublié de mentionner des connaissances générales qu'ils connaissaient auparavant. C'est un compromis entre être 100 % factuel et être 100 % bavard.

En résumé, AVES-DPO consiste à enseigner au robot à être son propre meilleur éditeur, garantissant que la « vérité » qu'il apprend est le type de vérité qui s'intègre naturellement dans son propre esprit.

1. Énoncé du problème

Les modèles vision-langage de grande taille (LVLM) souffrent fréquemment d'hallucinations, générant un contenu incompatible avec les images d'entrée (par exemple, des objets inexistants, des attributs incorrects ou des relations erronées). Bien que l'optimisation directe des préférences (DPO) soit devenue une solution courante pour atténuer ce problème en alignant les modèles sur les préférences humaines, les approches existantes se heurtent à deux limitations critiques :

Décalage distributionnel : La plupart des méthodes s'appuient sur des modèles propriétaires (par exemple, GPT-4V) pour générer des réponses « préférées » (factuelles). Cela introduit un décalage de distribution car les schémas de correction du modèle enseignant externe diffèrent de la distribution intrinsèque du LVLM cible, entravant un alignement efficace.
Biais vers l'existence d'objets : Les jeux de données et les objectifs d'entraînement existants se concentrent principalement sur la présence d'objets (existence binaire), négligeant les hallucinations fines impliquant des attributs (par exemple, couleur, matériau) et des relations (par exemple, positionnement spatial).

2. Méthodologie : AVES-DPO

Les auteurs proposent AVES-DPO (Alignment via VErified Self-correction DPO), un cadre qui élimine la dépendance aux modèles propriétaires externes en exploitant les connaissances intrinsèques du modèle cible pour générer des données de préférence intra-distribution. Le cadre se compose de deux étapes distinctes :

A. Vérification des hallucinations

Cette étape diagnostique les erreurs dans la réponse initiale du modèle ( $y_{init}$ ) en utilisant un mécanisme de vérification basé sur le consensus :

Extraction du graphe de scène : La réponse est analysée en un graphe de scène structuré contenant des Objets ( $O$ ), des Attributs ( $A$ ) et des Relations ( $R$ ).
Vérification par consensus : Deux modèles de vérification indépendants ( $V_1, V_2$ $V_{1}, V_{2}$ ) vérifient la factualité de chaque élément.
- Vérification des objets : Utilise des détecteurs open-source robustes (YOLO, Grounding DINO). Les cas ambigus sont résolus par une vérification secondaire utilisant des modèles Qwen3-VL.
- Vérification des attributs et des relations : Seuls les objets vérifiés sont examinés pour leurs attributs et relations à l'aide de modèles Qwen3-VL.
- Règle de consensus : Une étiquette est finalisée uniquement si les deux modèles sont d'accord ; sinon, elle est marquée « Ambiguë ».
Candidats de correction : Si un élément est halluciné, le système récupère un remplacement correct dans un vocabulaire préconstruit (dérivé de GQA et MS-COCO) basé sur des sous-types sémantiques.

B. Auto-correction

Guidée par les diagnostics de vérification, le LVLM affine sa propre sortie en deux phases :

Rectification factuelle : Le modèle supprime les éléments hallucinés ou les remplace par un contenu vérifié et correct, produisant une réponse concise et factuellement exacte.
Enrichissement détaillé : Pour éviter que la réponse ne devienne trop sparse, le modèle ajoute des détails visuels manquants ancrés dans l'image.
- Filtrage itératif : Un pipeline cyclique assure la qualité. Le texte enrichi est renvoyé au module de vérification. Si des hallucinations sont détectées, il est régénéré. Cette boucle s'exécute jusqu'à 3 fois (pour les modèles 7B) ou 5 fois (pour les modèles 13B).
- Contraintes négatives : Le modèle reçoit explicitement l'instruction de ne pas mentionner les objets précédemment identifiés comme hallucinés.

C. Apprentissage des préférences

Le processus génère un jeu de données de préférence $\mathcal{D}_{SC}$ composé de paires $(x, y^+, y^-)$ , où :

$y^-$ : La réponse initiale hallucinée.
$y^+$ : La réponse finale auto-corrigée et enrichie.
Objectif d'entraînement : Le modèle est optimisé en utilisant la fonction de perte DPO standard pour maximiser la vraisemblance de $y^+$ par rapport à $y^-$ , enseignant efficacement au modèle à préférer ses propres sorties vérifiées et factuelles.

3. Contributions clés

Alignement intra-distribution : AVES-DPO est le premier cadre à générer des paires de préférences strictement à partir des connaissances intrinsèques du modèle cible, résolvant le problème de décalage distributionnel inhérent à l'utilisation de modèles « enseignants » externes.
Atténuation complète des hallucinations : Contrairement aux travaux antérieurs se concentrant principalement sur l'existence d'objets, AVES-DPO aborde un large spectre d'hallucinations, y compris les attributs et les relations, grâce à son pipeline de vérification granulaire.
Haute efficacité des données : La méthode atteint des performances de pointe en utilisant uniquement 5,2k échantillons (pour le modèle 7B), soit environ 25 fois moins de données que des méthodes comme LLaVA-RLHF, sans nécessiter d'appels coûteux à des API propriétaires.
Pipeline de vérification robuste : L'introduction d'une stratégie de vérification en deux phases et basée sur le consensus (combinant détecteurs et VLM) garantit des données de préférence de haute qualité et exemptes de bruit.

4. Résultats expérimentaux

Les auteurs ont évalué AVES-DPO sur LLaVA-1.5 (7B et 13B) à travers plusieurs benchmarks :

Benchmarks d'hallucinations (Object-Hal, AMBER, MMHal-Bench) :
- AVES-DPO a atteint des performances SOTA sur plus de 60 % des métriques d'évaluation pour le modèle 7B.
- Il a considérablement réduit les scores CHAIR (taux d'hallucinations) par rapport aux bases de référence telles que POVID, oDPO et SENTINEL.
- Gains fins : La méthode a montré des améliorations substantielles dans les catégories relation et attribut, où d'autres méthodes peinent souvent. Par exemple, sur le benchmark AMBER, elle a obtenu un score de 66,6 dans la catégorie « Relation » pour le modèle 7B, surpassant les bases de référence qui dégradent souvent les performances dans ce domaine.
Capacités multimodales générales (Benchmark MME) :
- Le modèle 7B a montré des améliorations significatives dans les tâches de perception et de reconnaissance générales, confirmant que l'atténuation des hallucinations n'a pas dégradé les capacités générales.
- Note : Le modèle 13B a montré un léger compromis dans les benchmarks généraux, suggérant la nécessité de stratégies sensibles à l'échelle pour équilibrer l'ancrage factuel avec la récupération de connaissances générales.
Études d'ablation :
- Décalage distributionnel : La visualisation des marges de préférence a montré que l'auto-correction s'aligne avec la distribution interne du modèle (marge proche de zéro/positive), tandis que la supervision externe par GPT-4V a provoqué un décalage négatif (décalage distributionnel).
- Efficacité des données : Les gains de performance étaient significatifs même avec aussi peu que 600 échantillons, avec des rendements décroissants observés au-delà de 5,2k échantillons.

5. Importance

Cet article présente un changement de paradigme dans l'atténuation des hallucinations pour les LVLM. En démontrant que l'auto-correction est supérieure à la supervision externe pour l'apprentissage des préférences, AVES-DPO offre une solution rentable, évolutive et efficace en données. Il élimine la dépendance aux API propriétaires coûteuses (comme GPT-4V) tout en abordant simultanément un éventail plus large de types d'hallucinations (objets, attributs, relations). Le cadre démontre que les LVLM peuvent apprendre efficacement à s'aligner sur leurs propres bases de connaissances internes pour produire des sorties plus factuelles et fiables.