Hallucination Filtering in Radiology Vision-Language Models Using Discrete Semantic Entropy

Cette étude démontre que l'utilisation de l'entropie sémantique discrète pour filtrer les questions générant des hallucinations améliore significativement la précision des modèles vision-langage noirs en radiologie, offrant ainsi une stratégie de filtrage fiable pour les applications cliniques.

L'essentiel

🏥 Le Problème : Le Radiologue "Rêveur"

Imaginez que vous avez un assistant très intelligent, un robot nommé IA, qui regarde des radios et des scanners. Ce robot est capable de parler et de décrire ce qu'il voit. C'est formidable !

Mais il y a un gros problème : ce robot a parfois des hallucinations. C'est comme un rêve éveillé. Il peut décrire avec une confiance absolue un cancer qui n'existe pas, ou un os cassé qui est en parfait état. Il ne dit pas "Je ne sais pas", il invente une histoire qui semble très vraie, mais qui est fausse. En médecine, une telle erreur peut être dangereuse.

Les chercheurs de l'article se sont demandé : Comment savoir quand le robot commence à rêver, sans avoir besoin de lire dans ses pensées (puisque c'est une boîte noire) ?

🔍 La Solution : Le Test de la "Confusion Sémantique"

Les chercheurs ont inventé un test génial appelé l'Entropie Sémantique Discrète (DSE). Voici comment ça marche, avec une analogie simple :

Imaginez que vous posez la même question à 15 amis différents dans une pièce : "Qu'est-ce qu'on voit sur cette radio ?"

1. Scénario A (Le robot est sûr) : Tous les 15 amis répondent presque la même chose : "C'est un rein." Même s'ils utilisent des mots légèrement différents, le sens est identique. C'est la stabilité. Le robot ne rêve pas.
2. Scénario B (Le robot hallucine) : Vous posez la même question à 15 versions du même robot (en lui demandant de répondre 15 fois).
   • Le robot 1 dit : "C'est un rein."
   • Le robot 2 dit : "C'est un foie."
   • Le robot 3 dit : "Je ne vois rien."
   • Le robot 4 dit : "C'est une tumeur."
   • Le robot 5 dit : "C'est un rein, mais avec un kyste."

Si les réponses sont un grand bazar, un mélange chaotique, c'est que le robot est confus. Il ne sait pas vraiment. C'est là qu'intervient le calcul de l'Entropie (une mesure du désordre). Plus les réponses sont différentes, plus le "bruit" est fort, et plus le robot risque d'inventer des choses.

🛡️ Le Filtre Magique

L'idée de l'article est d'utiliser ce test comme un filtre de sécurité avant de montrer la réponse au médecin :

• Si le robot est confus (Entropie élevée) : Le système dit "Stop !". Il rejette la question et ne donne aucune réponse. Mieux vaut ne rien dire que de mentir.
• Si le robot est cohérent (Entropie faible) : Le système laisse passer la réponse. Comme le robot a donné la même réponse 15 fois, on peut avoir un peu plus confiance.

📊 Les Résultats : Moins de réponses, mais beaucoup plus vraies

Les chercheurs ont testé ça sur des milliers de radios avec deux modèles d'IA très puissants (GPT-4o et GPT-4.1).

• Avant le filtre : L'IA avait raison environ 50 % du temps. C'est comme un étudiant qui a raté son examen.
• Après le filtre :
  • L'IA a refusé de répondre à beaucoup de questions (environ la moitié), car elle était trop confuse.
  • Mais sur les questions qu'elle a acceptées de répondre, elle avait raison dans 76 % des cas !

C'est comme si un chef cuisinier, au lieu de servir 100 plats dont la moitié sont brûlés, décidait de ne servir que les 50 plats qu'il est sûr d'avoir cuisinés parfaitement. On mange moins, mais on ne tombe pas malade.

💡 Pourquoi c'est important ?

1. Pas besoin de connaître les secrets du robot : Cette méthode fonctionne même si on ne connaît pas le code interne de l'IA (ce qu'on appelle une "boîte noire"). On regarde juste ses réponses.
2. Sécurité pour les médecins : Cela permet d'utiliser l'IA en clinique sans avoir peur qu'elle invente des maladies. Le médecin sait que si l'IA répond, c'est qu'elle est "cohérente".
3. Le compromis : Il faut accepter que l'IA ne réponde pas à tout. Parfois, le silence est préférable à une fausse information.

En résumé

Cette recherche nous apprend qu'on peut détecter les mensonges de l'IA en la faisant répéter sa réponse 15 fois. Si elle se contredit, on la coupe. Si elle est d'accord avec elle-même, on l'écoute. C'est une étape cruciale pour rendre l'intelligence artificielle plus sûre et plus fiable dans les hôpitaux, là où les erreurs coûtent cher.

Résumé technique

1. Problématique

L'intégration des modèles de langage-vision (VLM) en radiologie promet d'alléger la charge de travail des radiologues, mais leur adoption clinique est entravée par un risque majeur : les hallucinations. Contrairement aux experts humains qui expriment leur incertitude, les VLM peuvent générer des réponses linguistiquement convaincantes mais factuellement erronées, non fondées sur les preuves visuelles.

Les méthodes existantes pour détecter ces incertitudes présentent des limites :

• Elles nécessitent souvent l'accès aux paramètres internes du modèle (probabilités de jetons), ce qui est impossible avec les modèles « boîte noire » propriétaires (comme GPT-4).
• Elles demandent un réentraînement ou des données d'entraînement supplémentaires, ce qui n'est pas toujours réalisable en pratique clinique.
• Les techniques de reformulation de questions ou de génération de rapports multiples peuvent être coûteuses en temps de calcul ou altérer la nuance clinique.

Il existe donc un besoin critique de méthodes indépendantes du modèle (black-box), efficaces et peu coûteuses pour filtrer les réponses hallucinées avant qu'elles n'atteignent le clinicien.

2. Méthodologie

L'étude évalue l'efficacité de l'Entropie Sémantique Discrète (DSE - Discrete Semantic Entropy) pour détecter et rejeter les questions susceptibles de générer des hallucinations.

• Données : L'étude utilise deux jeux de données publics et anonymisés :
  • VQA-Med 2019 : 500 paires image-question (modale, plan, organe, anomalie).
  • RadDataset : 206 cas cliniques réels (CT, IRM, Radiographie, Angiographie) avec diagnostics de référence validés par consensus de radiologues.
• Modèles : Deux VLM propriétaires via API Microsoft Azure : GPT-4o et GPT-4.1.
• Protocole d'évaluation :
  1. Pour chaque paire image-question, le modèle génère 15 réponses indépendantes avec une température élevée (T = 1.0) pour maximiser la variabilité et révéler l'incertitude.
  2. Une réponse de référence est générée avec une température basse (T = 0.1) pour établir la précision de base (baseline).
  3. Clustering Sémantique : Les 15 réponses sont regroupées en clusters basés sur leur équivalence sémantique (vérifiée par des contrôles d'implication bidirectionnelle via le même VLM).
  4. Calcul de la DSE : L'entropie est calculée à partir des fréquences relatives de ces clusters. Une DSE faible indique une cohérence sémantique (réponses similaires), tandis qu'une DSE élevée indique une dispersion sémantique (incertitude/hallucination).
  5. Filtrage : Les questions dont la DSE dépasse un seuil prédéfini (> 0.6 ou > 0.3) sont rejetées. La précision est ensuite recalculée uniquement sur les questions conservées.
• Analyse Statistique : Utilisation de tests de bootstrap (100 000 itérations) avec correction de Bonferroni pour la significativité (p < 0,004).

3. Contributions Clés

• Extension de la DSE au domaine multimodal : C'est la première application de l'entropie sémantique discrète (initialement conçue pour le texte) aux tâches de question-réponse visuelle en radiologie.
• Méthode « Boîte Noire » : La méthode ne nécessite aucun accès aux poids internes du modèle ni à ses distributions de probabilités, fonctionnant uniquement via des appels API standards.
• Stratégie de prédiction sélective : Démonstration qu'il est possible d'améliorer drastiquement la fiabilité d'un système en refusant de répondre aux cas incertains, plutôt que de tenter d'améliorer la précision globale sur tous les cas.
• Analyse des compromis (Trade-off) : Caractérisation précise du compromis entre le taux de couverture (nombre de questions répondues) et la précision, permettant d'ajuster les seuils selon le risque clinique.

4. Résultats

• Précision de base (Baseline) : Faible sur l'ensemble des données (51,7 % pour GPT-4o et 54,8 % pour GPT-4.1). Les modèles peinent particulièrement sur la détection d'anomalies (environ 13 % de précision).
• Amélioration par filtrage DSE :
  • Avec un seuil DSE ≤ 0.6 : La précision passe à 62,9 % (GPT-4o) et 60,4 % (GPT-4.1) sur l'ensemble combiné.
  • Avec un seuil strict DSE ≤ 0.3 : La précision atteint 76,3 % pour GPT-4o et 63,8 % pour GPT-4.1.
• Impact par sous-catégorie :
  • Les gains sont les plus marqués pour les questions complexes sur les anomalies, où le taux de rejet est élevé (jusqu'à 91 % pour GPT-4o à DSE ≤ 0.3), éliminant ainsi la majorité des erreurs.
  • Les questions simples (modale, plan) sont peu rejetées, car le modèle y est déjà cohérent.
• Limites observées :
  • Hallucinations confiantes : Dans certains cas, le modèle génère la même réponse incorrecte de manière cohérente (faible DSE), ce qui permet à l'erreur de passer le filtre (exemple illustré dans la Figure 3).
  • Réduction de la couverture : Un seuil strict (0.3) réduit le nombre de questions répondues de moitié (de 706 à 334 pour GPT-4o), ce qui pose un défi pour les applications nécessitant une couverture complète.
• Faisabilité : Le pipeline est rapide (6 secondes par cas avec parallélisation) et économiquement viable (0,72 $ par question).

5. Signification et Conclusion

Cette étude démontre que l'Entropie Sémantique Discrète (DSE) est un outil robuste pour quantifier l'incertitude et filtrer les sorties hallucinées des VLM en radiologie, sans nécessiter de modifications du modèle sous-jacent.

• Sécurité Clinique : La méthode offre une stratégie pratique pour intégrer les VLM dans des flux de travail cliniques en ajoutant une couche de sécurité : le système peut refuser de répondre aux cas à haut risque d'erreur, forçant ainsi une vérification humaine.
• Confiance : En rendant l'incertitude explicite via un score de DSE, les radiologues peuvent mieux calibrer leur confiance dans les suggestions de l'IA.
• Perspectives : Bien que la DSE ne résolve pas le problème des hallucinations confiantes (réponses incorrectes mais cohérentes), elle représente une étape cruciale vers des systèmes d'IA plus sûrs. L'étude souligne la nécessité de valider ces méthodes sur des données 3D complètes et dans des études cliniques prospectives pour évaluer l'impact réel sur le workflow et les résultats des patients.

En résumé, la DSE transforme les VLM de « générateurs de réponses aveugles » en outils de décision sélective, où la fiabilité est privilégiée par rapport à la couverture totale, une approche essentielle pour l'adoption responsable de l'IA en médecine.