💻 computer science

RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture

RadJEPA est un cadre d'apprentissage auto-supervisé qui apprend des encodeurs robustes en radiologie pour les radiographies thoraciques en prédisant des représentations latentes de régions d'image masquées sans supervision linguistique, atteignant des performances de pointe sur plusieurs tâches médicales en aval.

Auteurs originaux : Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

Publié 2026-05-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur comment comprendre des radiographies thoraciques. Habituellement, la meilleure façon d'enseigner à un ordinateur les images consiste à lui montrer une photo, puis à lire à haute voix le rapport du médecin, en disant : « C'est une pneumonie » ou « Ce cœur est gros ». C'est comme enseigner à un enfant en lui montrant une image d'un chien et en disant : « Chien ».

Cependant, les auteurs de cet article, RadJEPA, soutiennent que cette méthode présente un défaut. Les rapports médicaux sont rédigés pour des humains prenant des décisions rapides ; ils omettent souvent des détails infimes ou des changements subtils car ils ne sont pas pertinents pour le diagnostic immédiat. Si vous n'enseignez à l'ordinateur que ce que le médecin dit, l'ordinateur risque de manquer les indices visuels subtils qui sont pourtant présents.

Ainsi, l'équipe s'est demandé : Pouvons-nous enseigner à l'ordinateur à comprendre les radiographies sans jamais lire un seul mot d'un rapport médical ?

La nouvelle approche : le jeu « Complétez le blanc »

Au lieu d'utiliser du texte, RadJEPA utilise une méthode appelée Architecture Prédictive d'Encodage Joint (JEPA). Imaginez cela comme un jeu à enjeux élevés de « Complétez le blanc » ou un puzzle, mais joué dans le « cerveau » de l'ordinateur plutôt que sur du papier.

La mise en place : L'ordinateur examine une radiographie thoracique.
Le masquage : L'ordinateur recouvre (masque) un morceau aléatoire de l'image, comme si l'on collait un morceau de ruban adhésif sur une partie de la radiographie.
La devinette : L'ordinateur observe les parties visibles (le poumon sain, les côtes, le cœur) et tente de prédire à quoi ressemble la partie cachée, masquée.
La twist : Il ne tente pas de redessiner l'image pixel par pixel (comme un photocopieur). Au lieu de cela, il essaie de deviner le sens ou l'« essence » de la partie manquante. Il se demande : « En fonction du reste du corps, ce qui devrait se trouver dans cet endroit caché ? »

Si l'ordinateur devine correctement l'« essence », il apprend. S'il se trompe, il ajuste sa compréhension interne. Au fil du temps, en jouant à ce jeu des millions de fois sur des milliers de radiographies, l'ordinateur développe une compréhension profonde et intuitive de l'anatomie et des maladies, sans jamais avoir besoin qu'un humain lui dise ce qu'il voit.

Pourquoi c'est mieux que les anciennes méthodes

L'article compare RadJEPA à deux autres façons populaires d'enseigner aux ordinateurs :

Le « Professeur de texte » (Modèles Vision-Langage) : Ceux-ci dépendent des rapports médicaux. Comme mentionné, les rapports peuvent être biaisés ou incomplets. RadJEPA ignore totalement le texte, forçant l'ordinateur à apprendre à partir de l'image elle-même.
Le « Professeur miroir » (Auto-distillation/DINO) : Ces méthodes montrent à l'ordinateur la même image de différentes manières (recadrée, retournée, éclaircie) et lui disent : « Ce sont toutes la même image ». L'ordinateur apprend à ignorer les changements. Les auteurs soutiennent que cela amène l'ordinateur à se concentrer sur l'apparence de l'image plutôt que sur le sens de l'anatomie. RadJEPA, en prédisant les parties manquantes, force l'ordinateur à comprendre la structure et les relations entre les parties du corps.

Les résultats : un modèle plus intelligent et plus petit

L'équipe a testé son nouveau « professeur Complétez le blanc » (RadJEPA) sur trois tâches difficiles :

Diagnostiquer des maladies : Peut-il dire si un patient a une pneumonie ou un cœur hypertrophié ?
Délimiter des contours : Peut-il tracer une ligne autour d'un poumon ou d'une côte pour le séparer du reste du corps ?
Rédiger des rapports : Peut-il aider un modèle linguistique à rédiger un rapport médical basé sur l'image ?

La découverte surprenante : RadJEPA a battu les actuels « champions » (les meilleurs modèles existants) dans toutes ces tâches.

Encore plus impressionnant, RadJEPA a atteint cela tout en étant beaucoup plus petit que ses concurrents. Imaginez un petit détective hautement formé résolvant une affaire mieux qu'une immense bureaucratie lente. Alors que d'autres modèles avaient besoin de quantités massives de puissance de calcul et de données pour apprendre, RadJEPA a appris plus efficacement car sa méthode « Complétez le blanc » lui a enseigné les bonnes choses à chercher.

L'essentiel

L'article affirme qu'il n'est pas nécessaire d'apparier les radiographies à du texte pour créer une intelligence artificielle médicale intelligente. En demandant simplement à l'IA de prédire les pièces manquantes de l'image, vous pouvez créer un « encodeur de radiologie » qui comprend le langage visuel du corps humain mieux que les modèles entraînés sur du texte. Les auteurs ont rendu leur code et le modèle entraîné disponibles pour que d'autres puissent les utiliser et les vérifier.

Résumé Technique : RadJEPA

Énoncé du Problème

Les récentes avancées des modèles vision–langage médicaux ont favorisé l'apprentissage de représentations visuelles via une supervision textuelle. Cependant, ce paradigme est contraint par la disponibilité de données appariées image–texte et repose sur l'hypothèse que les rapports de radiologie fournissent un compte rendu complet et non biaisé du contenu visuel. En pratique, les rapports cliniques mettent l'accent sur des résultats sélectifs pour la prise de décision, omettant souvent des variations subtiles ou des observations absentes. Par conséquent, les encodeurs entraînés pour aligner les images avec le texte peuvent hériter de biais et échouer à préserver la structure sémantique complète des images médicales.

De plus, les alternatives auto-supervisées existantes, telles que la distillation auto-supervisée de type DINO, apprennent des invariances en alignant des représentations globales à travers plusieurs vues augmentées. Dans le contexte des radiographies thoraciques, où les différences anatomiques fines et les indices pathologiques subtils sont diagnostiquement critiques, l'imposition d'un accord global entre les vues peut privilégier la cohérence au niveau de l'apparence plutôt que l'exhaustivité sémantique. Ces méthodes mettent souvent l'accent sur la cohérence dans l'espace des pixels plutôt que sur la prédiction de représentations sémantiques dans l'espace latent.

Méthodologie : RadJEPA

Pour pallier ces limitations, les auteurs introduisent RadJEPA (Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture), un cadre auto-supervisé qui apprend sans supervision linguistique.

Architecture Principale

RadJEPA est construit sur une Architecture Prédictive d'Encodage Joint (JEPA). Contrairement aux méthodes qui reconstruisent des pixels ou alignent des représentations de vues globales, RadJEPA modélise explicitement la prédiction dans l'espace latent :

Partitionnement de l'Entrée : Une radiographie thoracique d'entrée $x$ est partitionnée en régions visibles ( $x_v$ ) et régions masquées ( $x_m$ ).
Encodage : Un encodeur visuel $f_\theta$ mappe ces régions en représentations latentes $z_v = f_\theta(x_v)$ et $z_m = f_\theta(x_m)$ .
Prédiction : Un réseau prédicteur $g_\phi$ est entraîné pour prédire la représentation latente des régions masquées ( $\hat{z}_m$ ) uniquement sur la base de la représentation latente du contexte visible ( $z_v$ ).
Objectif : Le modèle minimise l'erreur quadratique entre la représentation latente prédite et la représentation latente réelle (avec arrêt du gradient) de la région masquée :
$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$
Dynamique d'Entraînement : Les paramètres de l'encodeur cible sont mis à jour via une moyenne mobile exponentielle (EMA) de l'encodeur en ligne, similaire aux formulations enseignant-élève, mais l'objectif opère entièrement dans l'espace des représentations, sans reconstruction de pixels, sans négatifs contrastifs, ni augmentations de données explicites.

Adaptation en Aval

Après un pré-entraînement sur des radiographies thoraciques non étiquetées, l'encodeur visuel $f$ est figé. Des têtes spécifiques à la tâche sont entraînées indépendamment pour :

Classification des Maladies : Un classifieur linéaire sur des embeddings globaux figés.
Segmentation Sémantique : Un décodeur UPerNet agrégeant des caractéristiques multi-échelles depuis l'encodeur figé.
Génération de Rapports : Une configuration multimodale de style LLaVA où les embeddings visuels figés sont projetés dans l'espace d'encodage du langage et alimentés dans un modèle de langage (Vicuna-7B).

Contributions Clés

Limites des Paradigmes Existants : L'article démontre que la supervision linguistique et la distillation auto-supervisée de type DINO présentent des limites dans l'apprentissage de représentations radiologiques, notamment en ce qui concerne l'exhaustivité sémantique et les détails anatomiques fins.
Cadre RadJEPA : Les auteurs introduisent une architecture prédictive auto-supervisée qui apprend directement à partir d'images de radiographies thoraciques non étiquetées. Elle atteint des performances comparables ou supérieures aux modèles de l'état de l'art (SoTA) entraînés sur plus de 839 000 images de radiographies thoraciques, malgré l'utilisation d'un backbone plus petit (ViT-B/14, 86 millions de paramètres) par rapport à des modèles plus volumineux comme DINOv2 (1,1 milliard) ou I-JEPA (0,6 milliard).
Évaluation Complète : Le travail fournit des évaluations empiriques sur trois tâches en aval distinctes : classification des maladies, segmentation sémantique et génération de rapports, en les comparant à un ensemble diversifié de bases de référence incluant des architectures à plus grande capacité.

Résultats Expérimentaux

Le modèle a été pré-entraîné sur 839 364 images de radiographies thoraciques provenant de jeux de données open-source (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest).

Classification d'Images : Sur les benchmarks VinDr-CXR et RSNA-Pneumonia, RadJEPA a constamment surpassé les bases de référence uniquement image et vision-langage.
- Sur VinDr-CXR, il a atteint un AUPRC moyen de 55,2, dépassant RAD-DINO (52,8) et I-JEPA (50,0).
- Des améliorations notables ont été observées sur des résultats subtils et hétérogènes tels que la fibrose pulmonaire (+4,5 AUPRC par rapport à RAD-DINO) et l'élargissement aortique.
- Sur RSNA-Pneumonia, il a obtenu le meilleur AUPRC (72,7) et la meilleure AUROC (89,2).
Segmentation Sémantique : En utilisant un décodeur UPerNet, RadJEPA a obtenu les scores Dice les plus élevés pour les tâches de segmentation du poumon (98,3), de la zone pulmonaire (93,7) et des côtes (89,6). Il a montré des gains particulièrement forts sur des cibles structurellement complexes comme les côtes (+4,8 Dice par rapport à RAD-DINO).
Génération de Rapports : Sur MIMIC-CXR et le jeu de données hors distribution IU-Xray, RadJEPA a obtenu les performances les plus fortes sur toutes les métriques (ROUGE-L, BLEU-4, RGER, Macro-F1-14) parmi les encodeurs uniquement image et prédictifs.
- Sur MIMIC-CXR, il a atteint un ROUGE-L de 26,1 et un Macro-F1-14 de 32,6.
- Sur IU-Xray, il a amélioré le ROUGE-L de +1,7 par rapport à la meilleure base de référence non-JEPA.
Significativité Statistique : Des tests d'hypothèse unilatéraux ont confirmé que 16 cas sur 19 évalués montraient des améliorations statistiquement significatives ( $p < 0,05$ ) par rapport aux bases de référence.

Importance

L'article soutient que les radiographies thoraciques sont fondamentalement sémantiques plutôt que centrées sur la vue. L'interprétation clinique repose sur le contexte anatomique global et les relations spatiales, suggérant que l'apprentissage de représentations directement dans l'espace des pixels ou l'imposition d'invariances au niveau de la vue est sous-optimal. RadJEPA démontre que la modélisation prédictive dans l'espace latent permet d'apprendre des encodeurs de radiologie robustes et polyvalents sans dépendre de données appariées image–texte ni d'architectures traditionnelles de type distillation.

Les résultats indiquent que les gains de performance en imagerie médicale ne sont pas uniquement pilotés par l'échelle du modèle ou la taille du jeu de données, mais par la qualité des représentations apprises. En obtenant des performances en aval supérieures avec un nombre de paramètres plus faible (ViT-B/14) par rapport à des modèles massifs, RadJEPA met en évidence l'efficacité échantillonnaire et la qualité représentative des architectures de style JEPA dans le domaine médical. Les auteurs concluent que de puissants encodeurs de radiologie peuvent être appris efficacement sans supervision linguistique, offrant une voie reproductible grâce à la publication publique du code et des poids.