OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

OpenMedQ est un modèle de vision-langage médical de pointe préentraîné sur un vaste ensemble de données entièrement ouvert de 3,35 millions d'échantillons qui surpasse significativement des modèles beaucoup plus grands comme Med-PaLM M sur des benchmarks clés tout en atteignant une performance supérieure dans les tâches de classification médicale en aval.

L'essentiel

Imaginez que vous essayiez d'apprendre à un robot à comprendre le monde complexe de la médecine. Habituellement, pour ce faire, vous avez besoin de deux choses : un « cerveau » capable de lire des rapports médicaux et une paire d'« yeux » capables d'observer des radiographies, des microscopes et des lames de pathologie.

Pendant longtemps, les meilleurs robots (modèles d'IA) dans ce domaine ont été comme des génies secrets. Ils sont incroyablement intelligents, mais leurs créateurs gardent leurs livres d'entraînement (données) et leurs poids cérébraux cachés. Vous ne pouvez pas voir comment ils ont appris, vous ne pouvez pas réutiliser leur savoir et vous ne pouvez pas corriger leurs erreurs. D'autres modèles sont comme des apprentis spécialisés ; ils sont excellents pour une tâche spécifique (comme lire des radiographies) mais n'ont pas lu assez de livres pour comprendre l'ensemble du tableau.

OpenMedQ est la réponse de l'article à ce problème. C'est un nouveau robot médical « open-source » que les auteurs ont construit en rassemblant la plus grande collection de manuels médicaux et d'ensembles d'images ouverts et gratuits jamais assemblée pour entraîner un modèle de cette taille.

Voici une décomposition de ce qu'ils ont fait et de ce qu'ils ont trouvé, en utilisant des analogies simples :

1. La « Bibliothèque » (Les données d'entraînement)

La plupart des modèles d'IA médicale sont entraînés sur une bibliothèque de livres petite et étroite. OpenMedQ, cependant, a été entraîné sur une bibliothèque massive et diversifiée contenant 14 ensembles de données différents avec environ 3,35 millions d'exemples.

Voyez cela comme ceci :

• D'autres modèles pourraient ne lire que des livres sur les radiographies cardiaques.
• OpenMedQ a lu des livres sur les radiographies cardiaques, les scanners cérébraux, les lames de microscope de cellules, et même de simples quiz médicaux textuels.
• Crucialement, chaque livre de cette bibliothèque était ouvert et gratuit pour que n'importe qui puisse l'utiliser. Les auteurs n'ont pas caché leurs sources.

2. Le « Cerveau » et les « Yeux » (L'architecture)

Le modèle est construit comme une IA moderne standard (appelée de type LLaVA).

• Les Yeux (Encodeur de vision) : Il utilise un « œil » pré-entraîné qui était déjà bon pour regarder les images médicales (provenant d'un modèle appelé BiomedCLIP).
• Le Cerveau (Modèle de langage) : Il connecte ces yeux à un grand cerveau linguistique (LLaMA-7B) qui était déjà bon en texte médical.
• L'Entraînement : Ils ont appris aux yeux et au cerveau à communiquer entre eux en utilisant une technique appelée « prédiction du prochain jeton » (next-token prediction). Imaginez montrer au robot une image et une question, puis lui demander de deviner le mot suivant de la réponse, encore et encore, jusqu'à ce qu'il apprenne le schéma.

3. L'« Essai Routier » (Les Résultats)

Les auteurs ont soumis OpenMedQ à deux tests principaux pour voir s'il avait bien appris.

Test A : Le Quiz de « Culture Générale » (Réponse visuelle à des questions)
Ils ont posé au robot des questions médicales basées sur des images (ex : « Que montre cette radiographie ? »).

• Le Résultat : OpenMedq a obtenu un score plus élevé que certains des modèles les plus grands et les plus coûteux du marché.
• L'Analogie : Imaginez qu'OpenMedQ soit un étudiant avec un cerveau de 7 milliards de paramètres (un cerveau de taille moyenne). Il a passé un test face à un cerveau de 562 milliards de paramètres (un cerveau de supercalculateur massif). Malgré le fait qu'il soit environ 80 fois plus petit, OpenMedQ a obtenu un meilleur score sur un test spécifique (PathVQA) et a égalé les meilleurs scores sur un autre (VQA-MED).
• L'Affirmation : Cela prouve qu'avoir une bibliothèque d'entraînement large et ouverte est plus important que d'avoir simplement un cerveau énorme et secret.

Test B : L'Examen de « Spécialiste » (Classification d'images)
Ils ont pris uniquement les « yeux » (la partie vision) d'OpenMedQ et l'ont testé sur 8 tâches d'imagerie médicale qu'il n'avait jamais vues auparavant (comme identifier un cancer du sein en échographie ou une pneumonie dans une radiographie thoracique).

• Le Résultat : Les yeux d'OpenMedQ ont mieux performé en moyenne que les yeux de trois autres modèles de haut niveau (BiomedCLIP, PMC-CLIP, PubMedCLIP) et d'un modèle entraîné de zéro.
• L'Analogie : C'est comme prendre un médecin généraliste qui a vu un peu de tout et lui demander de diagnostiquer des maladies spécifiques. Parce qu'il a vu une telle variété de cas pendant son entraînement, il était meilleur pour repérer des schémas dans de nouvelles situations que des médecins qui ne se spécialisaient que dans un domaine étroit.

4. Le Bémol (Limites)

Les auteurs sont honnêtes sur les domaines où le robot éprouve encore des difficultés.

• Pas parfait partout : Bien qu'OpenMedQ ait été le meilleur en moyenne, il n'a pas gagné dans toutes les catégories. Par exemple, sur les images d'échographie mammaire, un autre modèle était encore légèrement meilleur.
• Niveau de surface : Les scores de test (BLEU-1) mesurent à quel point les mots du robot sont similaires aux réponses humaines, et non si le raisonnement médical est 100 % correct.
• Le « Gros Cerveau » gagne encore parfois : Les modèles massifs et secrets (Med-PaLM M) ont fait de meilleures performances sur certains tests spécifiques et difficiles impliquant la radiologie et la microscopie.

L'Essentiel

Le message principal de l'article est que la diversité et l'ouverture sont des outils puissants. Vous n'avez pas nécessairement besoin d'un supercalculateur secret et massif pour construire une excellente IA médicale. Si vous entraînez un modèle de taille moyenne sur la collection la plus large et la plus ouverte de données médicales disponibles, vous pouvez battre des modèles beaucoup plus grands et fermés.

Les auteurs ont rendu leur code, leurs recettes d'entraînement et une démo interactive accessibles au public, invitant tout le monde à inspecter, réutiliser et améliorer leur travail.

Résumé technique

Résumé technique : OpenMedQ : Pré-entraînement large et ouvert pour les modèles de vision-langage médicaux

Problématique

Malgré les capacités croissantes des modèles de fondation médicale, un écart important subsiste dans la disponibilité de bases de référence entièrement ouvertes et pré-entraînées de manière large. La plupart des modèles de vision-langage (VLM) médicaux publiés reposent sur des sources de pré-entraînement étroites et omettent souvent de divulguer leurs poids, leurs données d'entraînement, ou les deux. Les encodeurs contrastifs existants (par exemple, BiomedCLIP, PMC-CLIP) sont entraînés sur des corpus image-légende uniques, tandis que les VLM génératifs (par exemple, PMC-VQA, LLaVA-Med) utilisent des mélanges de pré-entraînement comparablement étroits. Bien que des modèles plus larges comme BiomedGPT et Med-PaLM M augmentent l'échelle des données et des paramètres, ils ne publient pas leurs poids. Par conséquent, les praticiens manquent d'une base de référence transparente et reproductible qui soit à la fois pré-entraînée largement et entièrement ouverte à l'inspection, à la réutilisation et à l'extension.

Méthodologie

Les auteurs introduisent OpenMedQ, un VLM médical conçu pour répondre à ces limites grâce à un pré-entraînement large et ouvert.

• Architecture : OpenMedQ suit une architecture de type LLaVA, composée d'un encodeur de vision et d'un modèle de langage.
  • Encodeur de vision : Un ViT-base-patch16-224 initialisé à partir de BiomedCLIP.
  • Modèle de langage : Un modèle LLaMA-7B initialisé à partir de PMC-LLaMA.
  • Intégration : Les jetons d'image sont projetés linéairement et concaténés avec les jetons de texte, puis décodés de gauche à droite.
• Stratégie de pré-entraînement : Le modèle est entraîné en utilisant la prédiction du jeton suivant (next-token prediction) avec un rang LoRA (Low-Rank Adaptation) de $r=8$. Pendant l'entraînement, les jetons d'image et de préfixe sont masqués pour se concentrer sur l'entropie croisée du jeton suivant.
• Configuration de l'entraînement : Les images sont redimensionnées en 224×224. L'entraînement utilise AdamW avec une taille de lot de 64, un taux d'apprentissage de $5\times10^{-5}$, et s'exécute jusqu'à 15 époques sur un seul NVIDIA A100.
• Transfert de classification : Pour évaluer la qualité des caractéristiques visuelles apprises, l'encodeur de vision ($f_{vis}$) est détaché et attaché à une tête linéaire ($W \in \mathbb{R}^{2d \times m}$). Les deux sont affinés ensemble sur des jeux de données en aval pendant 100 époques. Cette configuration garantit que les différences de performance sont attribuables au pré-entraînement plutôt qu'aux variations architecturales en aval.

Contributions clés

1. Le mélange de pré-entraînement ouvert le plus large : OpenMedQ est pré-entraîné sur le mélange de jeux de données médicaux ouverts les plus étendus à ce jour, comprenant 14 jeux de données et environ 3,35 millions d'échantillons. Ce mélange couvre :
   • Pathologie : PathVQA.
   • Radiologie : VQA-RAD, IU-XRAY, MIMIC-CXR, ROCO, OmniMedVQA.
   • Microscopie : $\mu$-Bench.
   • Modalités mixtes : Slake, PMC-OA, PMC-VQA, VQA-MED.
   • QA clinique textuel uniquement : MedQA, MedMCQA, PubMedQA (environ 410K échantillons) pour préserver les capacités linguistiques.
2. Publication ouverte : Les auteurs s'engagent à publier les poids du modèle et les recettes de jeux de données lors de l'acceptation, ainsi qu'une démo interactive en direct pour l'inspection qualitative.
3. Base de référence reproductible : Le papier établit une recette standardisée en aval pour comparer équitablement l'impact de la diversité des données de pré-entraînement par rapport à des bases de référence solides.

Résultats

Le papier rapporte les performances sur deux tâches principales : le transfert de classification et le Questionnement Visuel (VQA) ouvert.

1. Transfert de classification

L'encodeur de vision d'OpenMedQ a été évalué sur 8 benchmarks de classification médicale inédits (CXR8, sous-tâches MedFMC, Breast-Ultrasound, CHAOYANG, CBIS-DDSM, Mendeley-CXray).

• Performance : OpenMedQ a obtenu le score macro-F1 moyen le plus élevé de 0,757.
• Comparaison : Cela a surpassé BiomedCLIP (0,745), PMC-CLIP (0,745), PubMedCLIP (0,746) et une base de référence entraînée de zéro (0,616).
• Victoires spécifiques : OpenMedQ a obtenu des victoires nettes sur MedFMC-chest et MedFMC-endo, a égalé PMC-CLIP sur CXR8, et est resté à au plus 0,02 derrière le meilleur encodeur sur quatre autres benchmarks. Le seul écart significatif a été observé sur Breast-Ultrasound (0,876 contre 0,915).

2. VQA ouvert

• PathVQA : OpenMedQ a obtenu un score BLEU-1 de 75,9, surpassant les méthodes de réglage de préfixe (70,3) et les trois variantes de Med-PaLM M (jusqu'à 562B de paramètres, score de 72,27), malgré le fait qu'OpenMedQ n'utilise que 7B de paramètres.
• VQA-MED : Le modèle a atteint un BLEU-1 de 64,5, dépassant légèrement le meilleur score rapporté lors du challenge de 2019 (64,4).

Signification et affirmations

Le papier postule que la largeur du mélange de données de pré-entraînement ouvert est un levier compétitif critique pour les VLM médicaux. Les auteurs affirment que la diversité des données sert de levier reproductible pour la performance, contrairement à l'échelle propriétaire.

• Efficacité : OpenMedQ démontre qu'un modèle de 7 milliards de paramètres, lorsqu'il est entraîné sur un mélange ouvert large, peut établir un nouveau record de l'état de l'art sur PathVQA face à des modèles jusqu'à 80 fois plus grands (562 milliards de paramètres).
• Généralisation : La performance supérieure de l'encodeur de vision sur le transfert de classification moyen suggère que le pré-entraînement large produit des représentations de caractéristiques plus robustes que le pré-entraînement étroit à modalité unique.
• Limites : Les auteurs reconnaissent modestement que leur approche a des limites. Les variantes propriétaires plus larges (Med-PaLM M) dominent encore sur des benchmarks spécifiques comme VQA-RAD et Slake. De plus, le score BLEU-1 ne capture que l'accord de surface, et les encodeurs à modalité étroite peuvent encore surpasser OpenMedQ sur des tâches spécifiques comme Breast-Ultrasound.

Le travail conclut en soulignant la valeur de la science ouverte, fournissant une base de référence transparente que la communauté peut inspecter, réutiliser et étendre.