Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation

Le papier présente Kestrel, un cadre sans entraînement qui atténue les hallucinations des modèles vision-langage en combinant un agent de grounding visuel explicite avec un mécanisme d'auto-affinement itératif basé sur la vérification des preuves.

L'essentiel

Imaginez que vous avez un ami très intelligent, mais un peu rêveur. Ce sont les modèles de vision et de langage (LVLM) : ils peuvent décrire des images avec une grande précision, mais parfois, ils "hallucinent". Ils inventent des objets qui ne sont pas là, disent qu'il y a trois chats alors qu'il n'y en a qu'un, ou confondent la couleur d'une voiture.

C'est comme si votre ami regardait une photo de votre jardin et vous disait : "Il y a un éléphant rose qui danse sur la pelouse !" alors qu'il n'y a que des fleurs.

Voici comment Kestrel (le nom du nouveau système présenté dans l'article) résout ce problème, expliqué simplement :

1. Le Problème : Trop d'imagination, pas assez de preuves

Jusqu'à présent, pour corriger ces erreurs, on devait soit réentraîner le modèle (ce qui coûte une fortune en argent et en énergie), soit lui demander de "réfléchir plus fort" en interne. Mais le faire seul, c'est comme demander à un rêveur de se réveiller tout seul : ça ne marche pas toujours bien, et on ne sait pas pourquoi il s'est trompé.

2. La Solution Kestrel : Le Détective avec Loupe

Kestrel est une méthode qui ne nécessite pas de réentraînement. C'est comme donner à votre ami rêveur un assistant détective et une loupe magique.

Voici le processus en 4 étapes, comme une enquête policière :

Étape 1 : L'Accusation (L'Initialisation)

Le modèle donne d'abord sa réponse (souvent erronée). Kestrel prend cette réponse et la découpe en petites affirmations vérifiables.

• Exemple : Au lieu de dire "Il y a un éléphant", Kestrel dit : "Affirmation 1 : Il y a un animal. Affirmation 2 : L'animal est rose. Affirmation 3 : L'animal est sur l'herbe."

Étape 2 : L'Enquête sur le Terrain (L'Agent de "Grounding")

C'est ici que la magie opère. Kestrel envoie un agent externe (un outil très précis appelé SAM3) examiner l'image réelle.

• Cet agent ne se contente pas de "regarder". Il découpe l'image, zoome sur les zones suspectes, trace des cadres autour des objets et compte exactement ce qu'il voit.
• C'est comme si le détective prenait une photo de l'éléphant présumé avec une loupe pour voir s'il existe vraiment.

Étape 3 : Le Tribunal des Preuves (Vérification)

Kestrel transforme les observations de l'agent en un rapport écrit clair (par exemple : "L'agent a trouvé 0 éléphants, mais 3 fleurs roses").
Ensuite, le modèle original agit comme un juge. Il compare sa réponse initiale avec ce rapport écrit.

• Si le rapport dit "Pas d'éléphant", le juge annule l'affirmation.
• Si le rapport dit "Il y a 3 fleurs", le juge corrige la couleur.

Étape 4 : La Révision Prudente (Auto-amélioration)

C'est la partie la plus importante. Kestrel ne change pas la réponse à la légère. Il utilise une règle de sécurité :

• Il ne modifie la réponse que si les preuves sont solides et claires.
• Il répète ce processus plusieurs fois (comme une boucle d'enquête) jusqu'à ce que la réponse soit parfaitement alignée avec la réalité de l'image.
• Si les preuves sont floues, il garde la réponse originale pour éviter de créer de nouvelles erreurs (ce qu'on appelle l'"over-correction").

Pourquoi c'est génial ? (Les Analogies)

• Le Journaliste vs Le Rêveur : Avant, le modèle agissait comme un journaliste qui inventait des titres sensationnels. Avec Kestrel, il devient un journaliste qui doit citer ses sources et montrer ses photos avant de publier.
• Le Correcteur de Manuscrit : Imaginez un écrivain qui écrit un roman. Kestrel est l'éditeur qui ne se contente pas de relire, mais qui va vérifier sur le terrain si les lieux décrits existent vraiment, et qui force l'auteur à réécrire les passages faux uniquement si les preuves sont irréfutables.

Les Résultats

Les tests montrent que Kestrel fonctionne mieux que les méthodes précédentes :

1. Moins d'erreurs : Il réduit considérablement les inventions fantaisistes.
2. Plus de transparence : On peut voir exactement pourquoi le modèle a changé d'avis (grâce aux preuves visuelles et textuelles).
3. Polyvalence : Ça marche sur n'importe quel modèle intelligent, même les plus récents, sans avoir besoin de le réapprendre de zéro.

En résumé : Kestrel ne force pas le modèle à être parfait par la force brute. Il lui donne des outils pour vérifier ses propres dires contre la réalité, un peu comme nous, humains, qui regardons à nouveau une photo pour nous assurer que nous n'avons pas rêvé. C'est une méthode simple, efficace et très intelligente pour rendre l'intelligence artificielle plus digne de confiance.

Résumé technique

1. Problématique

Les modèles de vision-langage de grande taille (LVLM) ont considérablement progressé dans les tâches de compréhension et de raisonnement multimodaux. Cependant, ils souffrent toujours d'un problème majeur : l'hallucination. Les modèles génèrent souvent des réponses incohérentes avec l'image d'entrée (ex: objets inexistants, attributs erronés, relations spatiales fausses).

Les solutions existantes se divisent en deux catégories :

• Méthodes basées sur l'entraînement : Elles nécessitent un coût computationnel et des données d'annotation prohibitifs, surtout pour les grands modèles.
• Méthodes sans entraînement (Training-free) : Bien que flexibles, les approches actuelles (basées sur le décodage ou l'utilisation d'outils) offrent des gains limités, manquent de robustesse et souffrent d'un manque d'interprétabilité. De plus, les vérifications en une seule passe peuvent entraîner des corrections excessives (over-correction) ou des preuves non déterministes.

2. Méthodologie : Kestrel

Kestrel est un cadre sans entraînement conçu pour atténuer les hallucinations en combinant un agent de mise en relation visuelle explicite (visual grounding) avec un mécanisme d'auto-amélioration itérative basé sur des preuves.

Le processus se déroule en quatre étapes itératives :

1. Initialisation :

   • Le LVLM génère une réponse initiale.
   • Cette réponse est décomposée en affirmations vérifiables (claims) de niveau élémentaire (ex: existence, couleur, comptage, position), chacune ancrée à des entités visuelles spécifiques.

2. Mise en relation par Agent (Agent Grounding) :

   • Un agent externe basé sur SAM3 (Segment Anything Model 3) est invoqué pour chaque affirmation.
   • L'agent collecte des preuves visuelles explicites : superpositions de segmentation, boîtes englobantes et vues "crop-and-zoom" (zoom sur la région).
   • Ces preuves visuelles sont converties en preuves textuelles structurées (ex: "l'instance existe", "il y a 3 objets", "la couleur est rouge") via le LVLM, avec des identifiants de citation pour une traçabilité complète.

3. Vérification au niveau de l'affirmation (Claim-level Verification) :

   • Un juge LVLM vérifie chaque affirmation en se basant uniquement sur les preuves structurées citées.
   • Le juge produit un verdict (soutenu/contradictoire/insuffisant), un score de confiance et un raisonnement court.
   • Une décision de vérification globale est prise : la réponse est marquée comme contradictoire si une affirmation clé est fermement réfutée.

4. Auto-amélioration (Self-Refinement) :

   • Kestrel adopte une stratégie de mise à jour gérée par les preuves (evidence-gated).
   • La réponse n'est révisée que si les preuves sont suffisamment fiables (verdicts de haute confiance avec citations). Cela évite les corrections risquées ou excessives.
   • Le processus est étatique : il prend en compte l'historique des affirmations, des preuves et des décisions des itérations précédentes pour affiner progressivement la réponse.
   • Le cycle s'arrête lorsque la réponse se stabilise ou après un nombre maximal d'itérations (K=3).

3. Contributions Clés

• Cadre Unifié : Première méthode sans entraînement unifiant un agent de grounding explicite et une auto-amélioration itérative pour la mitigation des hallucinations.
• Preuves Structurées et Traçables : Transformation des sorties d'outils visuels en preuves textuelles structurées et citables, permettant une auditabilité complète du processus de décision.
• Mise à jour Conservatrice : Introduction d'un mécanisme de contrôle de confiance pour prévenir les corrections excessives, préservant ainsi les réponses correctes initiales.
• Généralisation : Le cadre est agnostique au modèle de base (backbone-agnostic) et fonctionne efficacement sur différents LVLMs d'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks POPE et MME-Hallucination avec des modèles de base comme Qwen3-VL et InternVL3.5.

• Performance sur POPE :
  • Kestrel améliore la précision moyenne de +3,31 % sur Qwen3-VL et +3,03 % sur InternVL3.5 par rapport aux bases.
  • Il surpasse les meilleures méthodes sans entraînement (OPERA, VCD, Woodpecker) de manière constante, en particulier sur les splits adverses et populaires.
• Performance sur MME-Hallucination :
  • Gain massif de +28,34 points sur le score global de Qwen3-VL, surpassant OPERA de +16,67 points.
  • Améliorations significatives sur les sous-catégories difficiles : existence, comptage, position et couleur.
• Étude Humaine :
  • Dans une étude de préférence humaine (60 cas), Kestrel est préféré dans 68,3 % des cas, largement devant les autres méthodes (DeGF à 13,3 %, VCD à 0 %), démontrant une meilleure cohérence factuelle et une meilleure qualité de réponse.
• Efficacité :
  • Bien que le temps d'inférence soit plus élevé (environ 24x celui d'une inférence simple) en raison des itérations et de l'agent externe, la majorité des cas simples sont résolus dès la première itération, rendant le processus efficace pour les cas complexes.

5. Signification et Impact

Kestrel démontre qu'il est possible d'améliorer radicalement la fiabilité des LVLMs sans réentraînement coûteux. En externalisant la vérification vers des preuves visuelles explicites et en appliquant un processus de révision itératif et conservateur, Kestrel offre :

• Une fiabilité accrue pour le déploiement réel.
• Une interprétabilité transparente grâce aux traces de vérification (on sait exactement quelle preuve a conduit à une correction).
• Une robustesse face aux hallucinations complexes (objets manquants, relations spatiales).

Ce travail ouvre la voie vers des systèmes de vision-langage plus dignes de confiance, où chaque affirmation est étayée par des preuves vérifiables plutôt que par des probabilités de décodage internes.