MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

Le papier présente MammoWise, un pipeline local et reproductible utilisant des modèles de langage-vision open source et des techniques d'augmentation par récupération (RAG) pour générer des rapports de mammographie structurés et effectuer des classifications cliniques, démontrant que l'affinement efficace des paramètres améliore significativement la précision des diagnostics tout en garantissant la confidentialité des données.

L'essentiel

🩺 MammoWise : Le "Copilote Intelligent" pour les Radiologues

Imaginez que la radiologie mammaire (l'analyse des seins pour détecter le cancer) est comme un chef cuisinier dans une cuisine très occupée.

• Le problème : Le chef doit regarder des milliers de photos (les mammographies), repérer les détails invisibles à l'œil nu (comme un grain de sable dans une soupe), et écrire un rapport très précis pour chaque patient. C'est épuisant, stressant, et si le chef est fatigué, il peut faire une erreur ou oublier un détail.
• La solution actuelle (les IA fermées) : Aujourd'hui, certains chefs utilisent des robots très puissants, mais ils sont dans le cloud (sur Internet). C'est comme envoyer vos recettes secrètes et vos clients à un robot géant qui vit chez un voisin. C'est cher, ça pose des problèmes de confidentialité (votre dossier médical ne doit pas voyager), et si le robot change de recette, on ne peut pas vérifier comment il a fait.
• La solution MammoWise : C'est un nouveau robot de cuisine que le chef peut installer directement dans sa propre cuisine (localement). Il est privé, gratuit, et on peut le modifier à sa guise.

🛠️ Comment fonctionne MammoWise ? (Les 3 Astuces Magiques)

L'équipe de chercheurs (de l'Université de Californie) a créé un "tuyau" (un pipeline) qui permet à ce robot d'apprendre à faire le travail du radiologue. Ils ont utilisé trois méthodes pour l'entraîner, comme on apprendrait à un nouvel apprenti :

1. Le "Prompting" (La Fiche de Recette)

C'est comme donner une fiche de consignes très détaillée au robot.

• Exemple : "Tu es un expert. Regarde ces 4 images. Si tu vois une tache blanche, dis-le. Si le tissu est dense, note-le."
• Résultat : Le robot comprend bien et écrit de beaux rapports, mais il peut parfois hésiter sur les classifications précises (comme dire si une tache est "bénigne" ou "suspicieuse"). C'est un peu comme un apprenti qui connaît la théorie mais manque d'expérience.

2. Le RAG (La Bibliothèque de Cas Similaires)

C'est l'astuce la plus intelligente. Imaginez que le robot a une bibliothèque à côté de lui.

• Quand un nouveau patient arrive, le robot ne regarde pas seulement la photo. Il va chercher dans sa bibliothèque 5 cas similaires (des photos de seins avec des taches ressemblantes et les rapports que les humains ont écrits pour eux).
• Il dit : "Ah, ce cas ressemble à celui-ci que j'ai déjà vu ! Voici comment on l'a décrit la dernière fois."
• Résultat : Cela aide le robot à être plus cohérent et à éviter d'inventer des choses (les "hallucinations"). C'est comme avoir un mentor qui vous chuchote des conseils pendant que vous travaillez.

3. Le "Fine-Tuning" (L'Entraînement Intensif)

Parfois, la fiche de consignes et la bibliothèque ne suffisent pas pour les tâches les plus difficiles. Il faut alors entraîner le robot spécifiquement sur des milliers d'exemples.

• Les chercheurs ont pris un modèle intelligent (MedGemma) et lui ont fait faire des exercices répétitifs sur des milliers de mammographies, en corrigeant ses erreurs à chaque fois.
• Résultat : Le robot devient un vrai expert. Sa précision pour détecter les cancers et classer les risques devient excellente, bien meilleure que s'il se contentait de lire des consignes.

📊 Ce qu'ils ont découvert (Les Résultats)

Les chercheurs ont testé leur système sur deux bases de données réelles (des milliers de patients). Voici ce qu'ils ont vu :

• Pour écrire les rapports : Le robot est déjà très doué dès le début. Avec la "bibliothèque" (RAG), il écrit des rapports qui ressemblent presque parfaitement à ceux d'un humain.
• Pour classer les risques (BI-RADS) : C'est là que ça se corse. Juste avec des consignes, le robot se trompe souvent. Mais une fois qu'on l'a entraîné (Fine-Tuning), il devient très fiable.
  • Analogie : Demander à un robot de deviner le risque de cancer juste en regardant une photo, c'est comme lui demander de deviner le temps qu'il fera demain sans météo. Si on lui apprend à lire les nuages (entraînement), il devient un météorologue de classe mondiale.

🌟 Pourquoi c'est important pour nous ?

1. Confidentialité totale : Tout se passe sur l'ordinateur de l'hôpital. Aucune donnée patient ne quitte l'établissement. C'est comme cuisiner chez soi plutôt que d'envoyer vos ingrédients à un restaurant lointain.
2. Pas cher et accessible : N'importe quel hôpital peut installer ce système sans payer des abonnements coûteux à des géants de la tech.
3. Un outil flexible : MammoWise n'est pas un robot rigide. C'est une boîte à outils. Les médecins peuvent choisir d'utiliser juste les consignes, ou la bibliothèque, ou l'entraînement, selon ce dont ils ont besoin.

En résumé

MammoWise, c'est comme donner à chaque radiologue un assistant personnel ultra-intelligent, privé et formé sur mesure. Il ne remplace pas le médecin, mais il l'aide à ne jamais oublier un détail, à écrire ses rapports plus vite, et à prendre des décisions plus sûres pour les patientes. C'est un pas de géant vers une médecine plus précise et plus humaine.

Résumé technique

1. Problématique et Contexte

Le dépistage du cancer du sein par mammographie est une tâche à haut volume, sensible au temps et générant une documentation massive. Les radiologues doivent traduire des signes visuels subtils en évaluations standardisées (BI-RADS), en catégories de densité mammaire et en rapports narratifs structurés. Bien que les modèles de langage-vision (VLM) récents offrent un potentiel pour l'automatisation de ces rapports, deux obstacles majeurs limitent leur adoption clinique :

• Dépendance au Cloud et Confidentialité : Les démonstrations les plus performantes reposent souvent sur des modèles propriétaires hébergés dans le cloud, posant des problèmes de confidentialité des données de santé (PHI), de coûts opérationnels et de reproductibilité.
• Spécialisation et Adaptabilité : Les modèles open-source locaux, bien que privés, ne sont pas nativement spécialisés pour la mammographie et peuvent produire des détails cliniquement improbables sans guidage précis. Les approches existantes sont souvent fragmentées, nécessitant des architectures sur mesure pour chaque tâche (classification ou génération de rapport), rendant difficile la comparaison de différentes stratégies d'adaptation.

L'objectif est de combler ce fossé en proposant une solution locale, reproductible et extensible pour la génération de rapports et la classification multi-tâches.

2. Méthodologie : Le Pipeline MammoWise

Les auteurs proposent MammoWise, un pipeline modulaire et local capable d'intégrer n'importe quel VLM hébergé via Ollama. L'architecture repose sur trois piliers principaux :

A. Collecte et Prétraitement des Données

• Jeux de données : Utilisation de deux ensembles de données : VinDr-Mammo (20 000 images de 5 000 patientes vietnamiennes) et DMID (510 images indiennes enrichies en lésions).
• Fusion d'images : Pour VinDr-Mammo, les quatre vues par patiente (CC et MLO, gauche et droite) sont fusionnées en une seule image composite (512x512 px) mimant la pratique clinique de comparaison bilatérale.
• Préparation RAG : Les paires image-rapport sont converties en embeddings multimodaux (via OpenCLIPEmbedding) et stockées dans une base de données vectorielle ChromaDB pour la récupération de contexte.

B. Stratégies d'Adaptation

Le pipeline évalue trois approches distinctes pour adapter les modèles :

1. Prompting (Zéro-shot, Few-shot, Chain-of-Thought) : Utilisation de instructions textuelles pour guider le modèle. Le Chain-of-Thought (CoT) force le modèle à simuler le raisonnement du radiologue (densité -> anomalies -> suspicion -> BI-RADS).
2. RAG (Retrieval-Augmented Generation) : Un mode optionnel qui récupère dynamiquement des exemples image-rapport similaires depuis la base vectorielle pour fournir un contexte spécifique au cas, réduisant les hallucinations.
3. Fine-tuning Éfficace (QLoRA) : Pour améliorer la fiabilité des classifications, les auteurs appliquent un fine-tuning paramétrique efficace (QLoRA) sur le modèle MedGemma (4B paramètres). Un sous-ensemble rééquilibré des données est utilisé pour corriger les déséquilibres de classes (notamment pour les BI-RADS 4 et 5).

C. Évaluation

L'évaluation porte sur deux axes :

• Génération de rapports : Similarité sémantique et lexicale avec les rapports humains (métriques BERTScore et ROUGE-L).
• Classification : Précision, rappel, F1-score et spécificité pour les tâches multi-classes (BI-RADS, densité) et binaires (masse, calcification, asymétrie, suspicion).

3. Contributions Clés

• Pipeline Local et Multi-Modèle : MammoWise est une infrastructure "tout-en-un" permettant de tester, comparer et déployer facilement différents VLM open-source pour la mammographie sans dépendre du cloud.
• Workflow RAG Multimodal : Intégration d'une base de connaissances vectorielle image-texte pour fournir un contexte few-shot dynamique et spécifique au cas.
• Analyse Comparative Systématique : Comparaison rigoureuse du prompting, du RAG et du fine-tuning (QLoRA) sur deux jeux de données et trois modèles (MedGemma, LLaVA-Med, Qwen2.5-VL).
• Preuve de Concept sur le Fine-tuning : Démonstration que le fine-tuning léger est indispensable pour stabiliser les performances de classification structurée, là où le prompting seul échoue souvent.

4. Résultats Principaux

Les expériences révèlent des tendances claires selon la tâche :

• Génération de Rapports (Texte) :

  • Le prompting seul (surtout few-shot) génère déjà des rapports de haute qualité.
  • L'ajout de RAG améliore généralement la similarité textuelle et la cohérence des descriptions (ex: amélioration du ROUGE-L pour les descriptions de densité et de BI-RADS sur VinDr-Mammo).
  • Nuance : Sur le jeu de données DMID (rapports courts), le RAG peut parfois introduire du bruit sémantique, réduisant la similarité textuelle si les exemples récupérés ne correspondent pas parfaitement au style du rapport cible.

• Classification Structurée (Labels) :

  • Prompting seul : Les performances sont très variables et souvent insuffisantes pour une classification fiable (ex: précision BI-RADS ~0.29 pour LLaVA-Med sans RAG).
  • RAG : Apporte des gains modérés et stabilise légèrement les prédictions, mais reste insuffisant pour les tâches critiques.
  • Fine-tuning (QLoRA) : Produit des améliorations drastiques. En utilisant MedGemma fine-tuné sur VinDr-Mammo :
    • Précision BI-RADS : Passe de ~0.25 (prompting) à 0.7545.
    • Précision Densité : Atteint 0.8840.
    • Précision Calcification : Atteint 0.9341.
    • Précision Masse : Atteint 0.8740.

• Comparaison avec l'État de l'Art (SOTA) : Le modèle fine-tuné de MammoWise surpasse ou égale les modèles spécialisés publiés précédemment (comme LLaVA-Mammo ou PubMedCLIP) sur les tâches de classification, tout en offrant la capacité de générer des rapports narratifs complets.

5. Signification et Conclusion

MammoWise démontre qu'il est possible de déployer des assistants IA locaux, respectueux de la vie privée et performants pour le dépistage du cancer du sein. L'article établit une "division du travail" pragmatique :

1. Le prompting et le RAG sont suffisants pour rédiger des ébauches de rapports cliniques structurés et fournir un contexte.
2. Le fine-tuning léger (QLoRA) est indispensable pour obtenir une fiabilité élevée sur les labels cliniques critiques (BI-RADS, densité).

Cette approche offre une feuille de route pratique pour les chercheurs et cliniciens souhaitant explorer des VLM locaux sans les barrières de coûts et de confidentialité des solutions cloud, tout en fournissant une infrastructure reproductible pour l'avenir de l'imagerie médicale assistée par IA.