Structure Causal Models and LLMs Integration in Medical Visual Question Answering

1. Problématique : Le biais de données et les corrélations fallacieuses en VQA Médical

Le Visual Question Answering Médical (MedVQA) vise à répondre à des questions cliniques complexes basées sur des images médicales. Bien que les modèles récents, notamment ceux intégrant des Grands Modèles de Langage (LLM), aient fait des progrès, ils souffrent de limitations critiques dues à la nature des données médicales :

• Complexité et déséquilibre des données : Les ensembles de données médicaux sont souvent déséquilibrés (certaines pathologies sont sur-représentées). Cela introduit des biais de données où le modèle apprend des associations statistiques spurious (fallacieuses) plutôt que des relations causales réelles.
• Confounders (Facteurs de confusion) relatifs : Un défi majeur est la relativité des facteurs de confusion. Une région d'une image qui est la cause réelle d'une réponse pour une question donnée peut agir comme un facteur de confusion pour une autre question. Par exemple, un modèle peut associer à tort une "infiltration" à une zone spécifique simplement parce que c'est fréquent dans les données d'entraînement, même si la question porte sur un "épanchement" ailleurs.
• Limites des LLM : Les LLM tendent à générer des réponses non standardisées ou hors sujet lorsqu'ils ne sont pas guidés correctement, et ils peuvent amplifier les biais statistiques s'ils ne sont pas contraints par des mécanismes de raisonnement causal.

L'objectif est donc d'éliminer ces biais pour permettre au modèle d'inférer la réponse correcte basée sur la véritable relation causale entre l'image, la question et la réponse, plutôt que sur des corrélations accidentelles.

2. Méthodologie : Cadre d'Inférence Causale (CIF) et Stratégie de Prompt

Les auteurs proposent une architecture novatrice combinant un Cadre d'Inférence Causale (CIF) et une Stratégie de Prompt (PM).

A. Modèle de Causalité Structurelle et Ajustement "Front-Door"

Le cœur de la méthode repose sur l'utilisation de modèles de causalité structurelle (SCM) pour modéliser les relations entre l'image ($I$), la question ($Q$) et la réponse ($A$).

• Graphique Causal : Les auteurs identifient des variables latentes non observées ($C$) agissant comme confounders, créant des chemins "backdoor" ($I, Q \leftarrow C \rightarrow A$) qui faussent l'inférence.
• Ajustement Front-Door (Front-Door Adjustment) : Puisque les confounders sont souvent inobservables, la méthode utilise l'ajustement "Front-Door". Cela implique l'introduction de deux médiateurs :
  • $M_i$ : Médiateur visuel.
  • $M_q$ : Médiateur textuel.
• Resampling Multi-variable : Pour gérer la dépendance entre les modalités et la relativité des confounders, la méthode utilise un échantillonnage par resampling multi-variable. Elle calcule l'information mutuelle pour découvrir les corrélations spurious et ajuste les médiateurs dynamiquement en fonction de la question spécifique.
• Formulation : La probabilité causale $P(A | do(I, Q))$ est estimée en coupant les chemins de confusion et en recombinant les caractéristiques visuelles et textuelles via les médiateurs, garantissant ainsi que l'inférence repose sur des relations causales pures.

B. Modules Techniques

1. Indicateurs et Médiateurs :
   • Des encodeurs pré-entraînés (CLIP ViT pour l'image, LLaMA pour le texte) extraient les caractéristiques.
   • Un module de fusion de caractéristiques (FMM) combine les caractéristiques globales et locales.
   • Des réseaux de "dé-confusion" (Visual et Textual De-confounding Networks) utilisent des mécanismes d'attention (MHA) pour construire les médiateurs $M_i$ et $M_q$, séparant ainsi les facteurs causaux des facteurs de confusion.
2. Module de Prompt (Prompt Module - PM) :
   • Pour guider le LLM et améliorer la génération de réponses, un module de prompt génère dynamiquement des paires Question-Réponse (QA) supplémentaires basées sur l'image et la question d'origine.
   • Ces paires servent d'exemples (few-shot) et de contexte structuré pour le LLM, l'aidant à se concentrer sur les motifs causaux plutôt que sur des indices textuels superficiels.
3. Stratégie d'Entraînement :
   • Utilisation de fonctions de perte croisée pour les questions fermées et de perte de génération de texte pour les questions ouvertes.
   • Une perte de divergence KL ($L_{cau}$) est ajoutée pour forcer la cohérence entre les prédictions basées sur les caractéristiques originales et celles basées sur les caractéristiques causales déconfondues.

3. Contributions Clés

1. Cadre d'Inférence Causale Multi-Variable (CIF) : Première introduction d'un graphe causal qui capture explicitement l'interaction entre éléments visuels et textuels, en traitant la relativité des confounders (un facteur de confusion pour une question peut être une cause pour une autre).
2. Méthode d'Ajustement Front-Door par Resampling : Une technique novatrice utilisant l'information mutuelle et le resampling pour éliminer les effets de confusion sans avoir besoin d'observer directement les variables de confusion.
3. Stratégie de Prompt Intégrée : Un module qui génère des instructions et des exemples de paires QA pour guider les LLMs, améliorant leur capacité à fournir des réponses médicalement pertinentes et standardisées.
4. Validation Expérimentale Robuste : Démonstration de l'efficacité de l'approche sur cinq ensembles de données MedVQA majeurs (VQA-RAD, SLAKE, PathVQA, PMC-VQA, ProbMed).

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq datasets avec des backbones de 7B et 13B paramètres (LLaMA).

• Performance Globale : La méthode proposée (Ours) surpasse l'état de l'art (SOTA) sur tous les datasets.
  • SLAKE : Atteint 91.0% de précision globale (vs 88.0% pour le SOTA précédent).
  • VQA-RAD : Amélioration de 1.5% par rapport au SOTA, atteignant 83.1% avec le modèle 13B.
  • PathVQA : Meilleure performance sur les questions ouvertes, démontrant une capacité supérieure au raisonnement créatif et complexe.
• Analyse Ablative :
  • L'ajout du seul CIF améliore la précision de manière significative (jusqu'à +16.4% sur ProbMed), prouvant l'efficacité de l'élimination des biais.
  • L'ajout du seul PM apporte des gains notables, surtout sur les questions complexes.
  • La combinaison CIF + PM offre les meilleurs résultats, confirmant leur rôle complémentaire (CIF pour la validité causale des features, PM pour l'interprétation contextuelle par le LLM).
• Analyse Qualitative : Les visualisations (Fig. 5 et 6) montrent que sans CIF, le modèle se concentre sur des régions non pertinentes (biais statistiques). Avec CIF, l'attention se recentre correctement sur les lésions ou organes causalement liés à la question, corrigeant des erreurs de diagnostic (ex: confusion entre infiltration et épanchement).

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de l'IA médicale pour plusieurs raisons :

• Fiabilité Clinique : En passant d'une approche statistique à une approche causale, le modèle réduit le risque de diagnostics erronés basés sur des corrélations accidentelles, ce qui est crucial pour la sécurité des patients.
• Interprétabilité : La méthode force le modèle à identifier les zones causales pertinentes, rendant le processus de décision plus transparent et explicable.
• Généralisation : L'approche démontre une robustesse supérieure face à des données déséquilibrées et à des scénarios complexes, suggérant qu'elle peut être généralisée à d'autres tâches de raisonnement multimodal médical.
• Synergie LLM-Causalité : L'article prouve que l'intégration de mécanismes d'inférence causale dans les pipelines de LLMs permet de surmonter les limites de génération de texte et d'améliorer la précision des réponses médicales.

En résumé, cette étude propose une solution élégante et efficace pour débloquer le potentiel des LLMs en médecine en s'assurant qu'ils raisonnent sur des relations causales réelles plutôt que sur des biais de données.