💻 computer science

VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

Ce papier propose VGS-Decoding, une méthode sans entraînement qui atténue les hallucinations des modèles vision-langage médicaux en réajustant dynamiquement les probabilités de décodage des tokens en fonction de leur dépendance visuelle mesurée par un score de grounding.

Auteurs originaux : Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak

Publié 2026-03-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏥 Le Problème : Le "Médecin" qui invente des histoires

Imaginez un super-docteur robotique (un modèle d'intelligence artificielle) capable de regarder des radios, des IRM ou des scanners et de répondre à vos questions sur votre santé. C'est formidable !

Mais ce robot a un défaut dangereux : il a tendance à halluciner.

C'est comme si le robot, au lieu de regarder attentivement votre radio, écoutait ce qu'il a entendu dire dans les livres médicaux ou sur Internet. Si on lui demande : "Y a-t-il une fracture sur la jambe gauche ?", il pourrait répondre "Oui, il y a une fracture" simplement parce que, statistiquement, les fractures sont souvent à gauche dans ses données d'entraînement. Il ne regarde même pas l'image !

Dans la vraie vie, si ce robot se trompe, un patient pourrait recevoir un mauvais traitement. C'est très risqué.

🔍 L'Idée Géniale : Le "Test de Déformation"

Les chercheurs de ce papier (Govinda Kolli et son équipe) ont eu une intuition brillante pour repérer ces mensonges du robot. Ils se sont dit :

"Si le robot regarde vraiment l'image, si on abîme un peu l'image (en la rendant floue ou bruitée), il devrait avoir plus de mal à répondre. Mais s'il invente la réponse de sa tête, il continuera de répondre avec la même assurance, car il ne regarde pas l'image !".

C'est un peu comme si vous demandiez à un ami de vous dire ce qu'il voit dans une photo.

Le vrai observateur : Si vous mettez des lunettes de soleil très sombres sur ses yeux (dégradation de l'image), il dira : "Je ne vois plus rien, je ne peux pas dire".
Le menteur (hallucinateur) : Même avec les lunettes de soleil, il dira : "Ah oui, c'est un chat !" car il a juste deviné ou inventé.

🛠️ La Solution : VGS-Décodage (Le "Filtre de Vérité")

Pour corriger ce problème sans avoir à réapprendre tout le cerveau du robot (ce qui prendrait des mois et beaucoup d'argent), ils ont créé une méthode appelée VGS-Décodage.

Voici comment ça marche, étape par étape, avec une analogie simple :

Le Double Regard : À chaque fois que le robot va écrire un mot (par exemple, "poumon" ou "cœur"), il regarde l'image deux fois :
- Une fois avec l'image normale.
- Une fois avec l'image abîmée (pleine de "grain" ou de bruit, comme une vieille photo TV).
Le Score de Vérité (VGS) : Le robot compare ses deux réponses.
- Si le mot "poumon" est très probable avec l'image normale, mais que sa probabilité chute avec l'image abîmée, c'est bon signe ! Cela signifie que le mot dépend vraiment de l'image. On l'appelle un mot "ancré visuellement".
- Si le mot "cœur" reste très probable même avec l'image abîmée, c'est suspect ! Cela signifie que le robot l'a inventé ou deviné. C'est une "hallucination".
Le Filturage Intelligent : Le système utilise ce score pour ajuster les réponses en temps réel :
- Il amplifie (rend plus fort) les mots qui dépendent de l'image (les vrais).
- Il étouffe (rend plus faible) les mots qui semblent inventés (les faux).

C'est comme un chef cuisinier qui goûte son plat. S'il ajoute du sel et que le goût change (réaction à l'ingrédient), c'est bon. S'il ajoute du sel et que le goût ne change pas du tout, c'est qu'il y a déjà trop de sel ou qu'il ne goûte pas vraiment. Il ajuste donc la recette en conséquence.

📊 Les Résultats : Pourquoi c'est important ?

Les chercheurs ont testé cette méthode sur plusieurs modèles d'IA médicaux (comme LLaVA-Med, CheXagent) avec des milliers de questions médicales.

Le résultat : Cette méthode améliore la précision des réponses de manière constante (jusqu'à +9% de mieux !).
La différence avec les autres : D'autres méthodes existantes essayaient de corriger les erreurs en utilisant des formules fixes, mais elles ont souvent empiré les choses dans le domaine médical (parfois jusqu'à -6% de précision). Pourquoi ? Parce que le vocabulaire médical est très précis et que les réponses sont souvent courtes. La méthode VGS est plus souple et s'adapte mot par mot.
Le coût : C'est très rapide. Le robot doit juste faire un "double passage" (image normale + image abîmée), ce qui double à peine le temps de calcul. Pas besoin de réentraîner le robot pendant des mois.

🎯 En Résumé

Imaginez que vous avez un assistant médical très intelligent mais un peu trop confiant. Parfois, il parle trop et invente des détails.

La méthode VGS-Décodage est comme un copilote vigilant qui, à chaque fois que l'assistant dit quelque chose, lui demande : "Est-ce que tu le dis parce que tu le vois vraiment, ou parce que tu le devines ?". Si c'est un devin, le copilote baisse le volume de la réponse. Si c'est une observation réelle, le copilote l'encourage.

C'est une solution simple, gratuite (pas besoin de réentraînement) et efficace pour rendre l'IA médicale plus fiable et plus sûre pour les patients.

1. Problématique : Les Hallucinations dans les VLM Médicaux

Les modèles de vision-langage (VLM) appliqués au domaine médical, tels que LLaVA-Med ou CheXagent, sont de puissants outils pour l'aide au diagnostic et la génération de rapports. Cependant, ils souffrent d'un défaut critique : l'hallucination.

Cause : Les modèles ont tendance à générer des réponses basées sur des priors linguistiques (statistiques apprises lors de l'entraînement) plutôt que sur les preuves visuelles réelles de l'image.
Conséquence : Dans un contexte clinique à haut risque, cela peut conduire à des diagnostics erronés, des localisations anatomiques incorrectes ou des décisions médicales inappropriées.
Échec des méthodes existantes : Les techniques de décodage conçues pour les VLM généralistes (comme VCD, DoLA, OPERA) échouent souvent sur les tâches médicales. Elles dégradent parfois les performances de plus de 6 % car elles ne sont pas adaptées aux spécificités du domaine médical (vocabulaire spécialisé, réponses courtes, nécessité de précision anatomique absolue).

2. Méthodologie : VGS-Decoding

Les auteurs proposent VGS-Decoding, une méthode sans entraînement (training-free) qui s'exécute uniquement lors de l'inférence. Elle repose sur une observation clé :

L'Observation : Les tokens « ancrés visuellement » (corrects par rapport à l'image) voient leur probabilité diminuer lorsque l'image est dégradée (bruitée). À l'inverse, les tokens « hallucinés » (basés sur le langage) maintiennent ou augmentent leur probabilité car ils ne dépendent pas du contenu visuel.

Le Score d'Ancrage Visuel (VGS)

Pour exploiter cette signature comportementale, les auteurs introduisent le Visual Grounding Score (VGS) :

Distorsion de l'image : Une version bruitée de l'image d'entrée ( $V'$ ) est générée en ajoutant du bruit gaussien et de Poisson à l'image originale ( $V$ ).
Calcul des probabilités : Le modèle génère deux distributions de probabilités pour chaque token : une basée sur l'image originale ( $P_{orig}$ ) et une sur l'image bruitée ( $P_{dist}$ ).
Formule du VGS : Le score est calculé comme une différence normalisée :
$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$
- VGS > 0 : Token visuellement ancré (la probabilité chute avec le bruit).
- VGS < 0 : Token potentiellement halluciné (la probabilité reste stable ou augmente).
- VGS $\approx$ 0 : Token neutre (mots de fonction).

Décodage Guidé

Le VGS est utilisé pour répondre dynamiquement les probabilités lors du décodage :
$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$

Les tokens avec un VGS positif sont amplifiés.
Les tokens avec un VGS négatif sont supprimés.
Les tokens neutres restent inchangés.
$\alpha$ contrôle la force de la correction.

Cette approche offre un contrôle adaptatif par token, contrairement aux méthodes contrastives fixes qui appliquent une soustraction uniforme.

3. Contributions Clés

Identification de l'échec des méthodes générales : Démonstration que les méthodes existantes (VCD, DoLA, OPERA) dégradent souvent les performances sur les benchmarks médicaux, justifiant le besoin de solutions spécifiques au domaine.
Proposition du VGS : Introduction d'une nouvelle métrique bornée $[-1, +1]$ qui quantifie la dépendance visuelle d'un token de manière interprétable.
Méthode sans entraînement : VGS-Decoding ne nécessite aucun ajustement des poids du modèle, ce qui le rend facile à déployer.
Efficacité computationnelle : La méthode ajoute une surcharge d'inférence d'environ 2x (deux passes forward : image originale + image bruitée), ce qui est comparable à VCD et bien inférieur aux méthodes basées sur la recherche faisceau (beam search) comme OPERA.

4. Résultats Expérimentaux

L'évaluation a été menée sur deux benchmarks médicaux majeurs (VQA-RAD et MIMIC-Diff-VQA) et trois modèles VLM différents (LLaVA-Med, CheXagent, MedGemma).

Performance Globale : VGS-Decoding est la seule méthode à améliorer systématiquement les performances sur tous les modèles et tous les jeux de données.
Gains Chiffrés :
- Amélioration globale allant jusqu'à +9,12 % (sur MedGemma avec MIMIC-Diff-VQA).
- Gain de +8,98 % en rappel pour les questions ouvertes.
- Sur VQA-RAD, amélioration de +4,11 % à +8,16 % selon le modèle.
Comparaison avec les SotA :
- Les méthodes concurrentes (VCD, DoLA, OPERA) ont souvent réduit les performances (jusqu'à -5,93 % pour VCD sur LLaVA-Med).
- VGS-Decoding préserve les performances des modèles déjà bien calibrés (comme CheXagent sur MIMIC) sans les dégrader, contrairement aux autres méthodes.
Étude d'ablation : Elle confirme que la combinaison de la métrique VGS et du rééquilibrage multiplicatif est essentielle. L'utilisation d'un poids fixe (style VCD) sans VGS dégrade les résultats.

5. Signification et Impact

Ce travail est significatif pour le déploiement clinique des VLM pour plusieurs raisons :

Sécurité Clinique : En réduisant les hallucinations, VGS-Decoding diminue le risque de diagnostics erronés, un enjeu critique en médecine.
Praticité : Le fait d'être une méthode sans entraînement et légère (pas de besoin de ressources de calcul massives pour l'entraînement ou le beam search complexe) facilite son intégration dans des flux de travail hospitaliers existants.
Robustesse : La méthode s'avère robuste à travers différentes architectures de modèles (de 3B à 7B paramètres) et différents types de données médicales (radiographie, IRM, CT).

En conclusion, VGS-Decoding représente une avancée majeure pour rendre les modèles de vision-langage plus fiables et sûrs dans des applications médicales réelles, en exploitant intelligemment la sensibilité des tokens à la dégradation visuelle pour corriger les erreurs de génération.