💻 computer science

Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

Ce document propose la Gouvernance de Perception-Raisonnement Synergique (SPRG), un cadre sans entraînement qui atténue les hallucinations dans les grands modèles de langage multimodaux médicaux en injectant des preuves anatomiques vérifiables via une modulation visuelle guidée par la région d'intérêt (ROI) et un ancrage sémantique coordonnée-vers-jeton, atteignant des améliorations significatives de la précision et une réduction des hallucinations à travers divers bancs d'essai.

Auteurs originaux : Rui Hao, Qiankun Li, Junyuan Mao, Linghao Meng, Dirui Xie, Dayu Tan, Zhigang Zeng

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rui Hao, Qiankun Li, Junyuan Mao, Linghao Meng, Dirui Xie, Dayu Tan, Zhigang Zeng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un étudiant en médecine brillant mais parfois trop sûr de lui, qui est excellent pour parler mais qui invente parfois des choses en regardant une radiographie. Cet étudiant pourrait dire : « Je vois une fracture ici », même si l'os semble parfaitement intact, simplement parce qu'il essaie de paraître intelligent ou parce qu'il est distrait par le bruit de fond de l'image. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle une hallucination.

Ce document présente un nouveau système de « superviseur » conçu pour empêcher ces modèles d'IA médicale de inventer des choses, sans avoir besoin de les réentraîner ou de leur enseigner de nouvelles leçons. Voici comment cela fonctionne, décomposé en concepts simples :

Le Problème : L'IA « Confiante mais Erronée »

Les modèles d'IA médicale actuels (appelés Modèles de Langage Multimodaux) sont comme cet étudiant. Ils peuvent regarder une radiographie et rédiger un rapport, mais ils décrivent parfois avec assurance des maladies ou des parties du corps qui n'existent pas réellement. Les solutions existantes pour corriger cela consistent souvent à embaucher toute une nouvelle équipe d'enseignants (réentraînement) ou à construire une immense bibliothèque de faits pour vérification (bases de données externes), ce qui est coûteux et complexe.

La Solution : Le Cadre d'« Injection d'Évidence »

Les auteurs proposent une méthode ingénieuse, sans entraînement. Imaginez que l'on donne à l'IA des « lunettes de vérité » et un « bloc-notes de vérification des faits » juste avant qu'elle ne réponde à une question. Ils appellent cela la Gouvernance Synergique de Perception-Raisonnement.

Voici les trois astuces qu'ils utilisent :

1. Le « Projecteur » (Recalibrage du côté Vision)

Imaginez que l'IA regarde une radiographie, mais que sa vision est un peu floue et qu'elle est distraite par les bords de la photo ou l'arrière-plan.

Ce qu'ils font : Ils utilisent un outil appelé MedSAM (un outil de segmentation intelligent) pour dessiner automatiquement un cadre autour de la partie du corps spécifique demandée par le médecin (comme l'« oreillette gauche » du cœur).
L'analogie : C'est comme projeter un projecteur lumineux uniquement sur cette partie spécifique du corps et plonger le reste de la pièce (le bruit de fond) dans l'obscurité.
Le Résultat : L'IA est forcée de ne prêter attention qu'à l'évidence située à l'intérieur du cadre. Si le cadre indique « cœur », l'IA ne peut pas halluciner une « jambe cassée » car le projecteur n'est pas là.

2. La « Fiche de Faits » (Injection d'Évidence du côté Texte)

Parfois, projeter une lumière ne suffit pas ; l'IA a besoin d'un rappel des faits.

Ce qu'ils font : Ils prennent les coordonnées de ce cadre (par exemple : « Ce cadre est à la position X, de taille Y, et il couvre 5 % de l'image ») et les transforment en une phrase textuelle simple. Ils collent cette phrase directement dans la question posée à l'IA.
L'analogie : C'est comme tendre à l'étudiant une fiche de triche qui dit : « Rappelez-vous, le cœur se trouve juste ici dans l'image ».
Le Résultat : Le raisonnement de l'IA est « ancré » à cette preuve physique. Elle ne peut pas s'égarer dans la fantaisie car le texte lui indique explicitement où se trouve l'évidence.

3. Le « Agent de Circulation Intelligent » (Routeur Dynamique Sensible à la Tâche)

Toutes les questions médicales ne sont pas les mêmes. Certaines demandent « Où est le cœur ? » (nécessite le projecteur), tandis que d'autres demandent « Y a-t-il du liquide ? » (nécessite la fiche de faits), et certaines sont complexes et nécessitent les deux.

Ce qu'ils font : Ils ont construit un petit « agent de circulation » rapide qui lit d'abord la question.
L'analogie : Si la question porte sur la localisation, l'agent fait signe à l'IA d'utiliser le Projecteur. Si la question porte sur des mesures ou des symptômes, l'agent lui remet la Fiche de Faits. S'il s'agit d'un rapport de radiologie complexe, l'agent dit : « Utilisez les deux ! ».
Le Résultat : L'IA reçoit exactement l'outil approprié pour la tâche spécifique, équilibrant précision et langage naturel.

Les Résultats : Moins de Mensonges, Plus de Vérité

Les chercheurs ont testé ce système sur plusieurs modèles d'IA différents et sur divers ensembles de données médicales (comme des radiographies thoraciques).

Précision : Ils ont constaté que l'IA donnait les bonnes réponses environ 6 % plus souvent sur des questions médicales spécifiques.
Hallucinations : Ils ont réduit le nombre de faits inventés d'environ 35 %.
Polyvalence : Cela a bien fonctionné sur différents types de modèles d'IA, prouvant qu'il s'agit d'une solution flexible.

En Résumé

Au lieu de tenter de reconstruire le cerveau de l'IA, les auteurs lui ont simplement fourni des preuves vérifiables (le « projecteur » et la « fiche de faits ») juste avant qu'elle ne parle. En forçant l'IA à regarder l'évidence réelle et en lui rappelant les faits, ils l'ont empêchée d'inventer des choses avec assurance, ce qui la rend beaucoup plus sûre et fiable pour un usage médical.

Résumé Technique : Synergistic Perception-Reasoning Governance (SPRG)

Énoncé du Problème
Les modèles de langage multimodaux (MLLM) démontrent un potentiel significatif pour le questionnement visuel médical (VQA) clinique et la génération de rapports de radiologie. Cependant, leur déploiement dans des contextes médicaux à enjeux élevés est entravé par les « hallucinations », plus précisément des interprétations visuelles erronées où les modèles génèrent des conclusions fluentes qui contredisent ou manquent de support par rapport aux preuves d'imagerie. Les stratégies de mitigation existantes reposent souvent sur un entraînement supplémentaire, des bases de connaissances externes ou une vérification post-hoc multi-étapes complexe. Ces approches augmentent les coûts de calcul, la complexité des pipelines et échouent souvent à se généraliser à travers différents modèles et tâches cliniques. De plus, de nombreuses méthodes actuelles reposent sur un étalonnage statistique interne sans ancrage anatomique explicite, ce qui limite leur robustesse.

Méthodologie
Les auteurs proposent le Synergistic Perception-Reasoning Governance (SPRG), un cadre holistique, sans entraînement (training-free), conçu pour atténuer les hallucinations au moment de l'inférence grâce à une injection d'évidence des deux côtés (dual-side). Le cadre opère sur trois composantes principales :

Extraction d'Évidence Anatomique :
Le système utilise MedSAM (un modèle Segment Anything adapté à l'imagerie médicale) pour extraire des preuves anatomiques vérifiables. Étant donné un ensemble de boîtes englobantes (bounding boxes) candidates, MedSAM génère des masques de segmentation. Ceux-ci sont traités en un ensemble de priors de régions d'intérêt (ROI) déterministes, $\mathcal{R}$ , composé de masques de segmentation, de boîtes englobantes et d'étiquettes sémantiques anatomiques dérivées du contexte clinique.
Mécanisme d'Intervention Perception-Raisonnement :
Le cadre intervient à la fois dans les trajectoires visuelles et textuelles du MLLM :
- Injection d'Évidence du Côté Texte : Les priors de ROI sont convertis en descripteurs de régions structurés (étiquettes anatomiques, coordonnées et dimensions) et sérialisés en jetons (tokens) sémantiques discrets. Ces jetons sont injectés directement dans le prompt textuel ( $\tilde{q}$ ) avant que le modèle ne génère une réponse. Cela ancre la trajectoire de raisonnement textuel avec une mémoire externe vérifiable.
- Recalibrage d'Activation du Côté Vision : Le système calcule la densité de couverture spatiale des masques de ROI sur les jetons de patchs visuels. Un masque doux (soft-mask) est appliqué aux caractéristiques visuelles ( $\tilde{V}$ ) pour moduler les activations. Les caractéristiques correspondant aux zones hors-ROI sont atténuées (via un facteur $\beta$ ), tandis que les caractéristiques alignées sur la ROI sont préservées ou renforcées (via un facteur $\alpha$ ). Cela supprime le bruit de fond et l'effondrement structurel hors distribution, « excisant » efficacement les voies visuelles fallacieuses.
- Modulation Conjointe : Les deux stratégies peuvent être appliquées simultanément pour imposer une régularisation complémentaire.
Routeur Dynamique Sensible à la Tâche :
Reconnaissant que différentes tâches cliniques ont des sensibilités variables aux contraintes visuelles versus textuelles, les auteurs introduisent un routeur léger à coût nul (zero-overhead). Basé sur une classification zero-shot de la question d'entrée en quatre catégories — Anatomie (CA), Mesure (CM), Symptôme (CS) et Caractéristiques de Radiologie (CR) — le routeur sélectionne dynamiquement l'intervention optimale :
- Anatomie : Recalibrage du côté vision (localisation spatiale).
- Mesure/Symptôme : Injection du côté texte (ancrage sémantique précis).
- Caractéristiques de Radiologie : Stratégie conjointe (raisonnement cross-modal complexe).

Contributions Clés

Cadre Novateur : Introduction d'un cadre sans entraînement qui atténue les hallucinations en injectant une double évidence anatomique vérifiable, faisant le pont entre la perception visuelle brute et le raisonnement clinique.
Mécanisme d'Intervention : Développement d'un mécanisme qui recalibre la perception visuelle via une modulation d'activation guidée par la ROI et ancre le raisonnement textuel via des jetons sémantiques discrets dérivés des coordonnées anatomiques.
Routage Dynamique : Proposition d'un routeur sensible à la tâche qui ajuste les stratégies d'intervention en fonction de la sémantique de la tâche, équilibrant l'ancrage perceptuel et la fluidité linguistique.
er. Évaluation Exhaustive : Établissement d'une évaluation rigoureuse cross-modèle et cross-tâche impliquant 2 tâches, 5 jeux de données et 6 MLLM (incluant LLaVA-1.5, LLaVA-Med, Qwen3-VL et InternVL-3.5).

Résultats
Des expériences approfondies sur les jeux de données MM-VisHal (SLAKE, VQA-RAD) et CXR-VisHal (IU-Xray, MIMIC-CXR) démontrent l'efficacité du cadre :

Tâches à Choix Fermé (Close-ended) : Le cadre surpasse systématiquement les lignes de base sur tous les MLLM testés. La stratégie de routage dynamique a obtenu les meilleures améliorations de précision globale, avec des gains de +3,2 % sur MM-VisHal et +2,4 % sur CXR-VisHal. Des stratégies spécifiques ont montré des forces liées aux domaines : l'injection du côté texte a dominé la précision globale, les contraintes du côté vision ont excellé dans les questions liées à l'anatomie, et la stratégie conjointe a été la plus performante pour les caractéristiques de radiologie.
Tâches à Choix Ouvert (Open-ended) : Sur la tâche de génération de rapports MIMIC-CXR, l'intervention du côté vision a atteint le taux d'hallucination le plus bas (score CHAIR de 12,76 %), réduisant considérablement les interprétations visuelles erronées. L'intervention du côté texte a maintenu un rappel élevé et amélioré la qualité narrative (RaTEScore). La stratégie conjointe a offert un équilibre solide entre la suppression des hallucinations et la complétude des rapports.
Études d'Ablation : Les résultats ont confirmé que les améliorations reposent sur l'ancrage spatial spécifique des coordonnées de la ROI (des boîtes englobantes aléatoires ont dégradé les performances) et que la configuration optimale des poids visuels est $(\alpha=1,0, \beta=0,1)$ .

Signification
L'article affirme que le SPRG offre une voie pratique et sans entraînement vers une génération visuellement ancrée et contrôlable dans les flux de travail cliniques. En exploitant des évidences anatomiques vérifiables extraites via MedSAM, la méthode répond au problème critique des sorties incohérentes avec les preuves, sans nécessifier de réentraînement de modèle ou de systèmes de recherche externes complexes. Les auteurs soulignent que leur approche offre une robustesse supérieure aux lignes de base existantes, améliorant la précision du raisonnement à choix fermé jusqu'à ~6 % et réduisant les hallucinations à choix ouvert de ~35 %, renforçant ainsi la fiabilité des MLLM dans la prise de décision médicale à enjeux élevés.