💻 computer science

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge est un grand modèle de langage multimodal guidé par la connaissance qui fait efficacement le pont entre les biomarqueurs rétiniens quantitatifs issus d'images CFP et OCT et les diagnostics cliniques qualitatifs, surpassant les modèles existants, qu'ils soient open-source ou propriétaires, sur un nouveau benchmark de plus de 15 000 échantillons appariés.

Auteurs originaux : Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vos yeux soient comme un système de caméras de surveillance haute technologie pour l'ensemble de votre corps. Tout comme une caméra de surveillance peut repérer une fenêtre brisée ou une ombre étrange, la rétine à l'arrière de votre œil peut révéler des indices sur des maladies comme le diabète, l'hypertension artérielle et même des problèmes cardiaques. Les médecins utilisent deux « lentilles » principales pour observer ce flux de surveillance : l'une prend une photo plate et colorée de la surface (comme un cliché standard), et l'autre prend une coupe transversale en 3D à travers les couches (comme une coupe de gâteau). Pendant longtemps, les ordinateurs ont été doués pour mesurer les chiffres dans ces images — comme l'épaisseur d'une couche ou la largeur d'un vaisseau sanguin — mais ils étaient incapables d'expliquer ce que ces chiffres signifient réellement en langage courant. C'était comme avoir un robot qui pourrait vous dire que la vitesse d'une voiture est de 60 mph, mais qui ne saurait pas vous dire si cela signifie que la voiture roule trop vite ou si elle circule simplement sur une autoroute.

C'est ici qu'intervient la nouvelle recherche. Les scientifiques ont tenté de construire des « Modèles de Langage de Grande Taille Multimodaux » (MLLM) — des cerveaux d'IA super intelligents capables de voir des images et de lire du texte simultanément. L'objectif est de créer un assistant médical numérique qui ne se contente pas de dire « anormal », mais qui explique pourquoi en reliant les chiffres complexes à un diagnostic réel. Cependant, la plupart des modèles d'IA existants sont comme des étudiants qui ont mémorisé le manuel mais ne savent pas l'appliquer lors d'un examen en conditions réelles ; ils peuvent deviner la bonne maladie, mais ne peuvent pas montrer leur raisonnement ni expliquer comment les mesures ont conduit à cette conclusion. Ce document présente une nouvelle IA appelée RetiBridge qui tente de résoudre ce problème en forçant l'ordinateur à agir comme un détective méticuleux, en liant chaque chiffre trouvé à un indice médical spécifique avant de rendre un verdict final.

Les chercheurs ont conçu RetiBridge pour en faire un détective « guidé par la connaissance ». Au lieu de laisser l'IA deviner, ils lui ont enseigné une façon de penser spécifique : d'abord, mesurer les preuves (les chiffres) ; ensuite, traduire ces chiffres en un récit médical (les indices) ; et enfin, résoudre l'enquête (le diagnostic). Ils ont entraîné cette IA à l'aide de 15 611 paires d'images oculaires provenant de la UK Biobank, une base de données massive de données réelles de patients. Pour chaque patient, l'IA avait accès à 31 mesures différentes issues des scanners 3D profonds et à 6 mesures issues des photos plates. Pour s'assurer que l'IA apprenne la bonne méthode de réflexion, les chercheurs ont utilisé un outil d'IA puissant (OpenAI-o3) pour rédiger des « réponses modèles » pour ces plus de 15 000 cas. Ces réponses modèles ne donnaient pas seulement un diagnostic ; elles rédigeaient tout le raisonnement, montrant exactement comment une mesure telle que « 240 micromètres d'épaisseur » se traduit par « aucun gonflement ici », ce qui mène ensuite à une conclusion finale.

Lorsqu'ils ont testé RetiBridge, celui-ci a fait preuve de capacités impressionnantes. Même s'il a été construit sur un « cerveau » relativement petit (un modèle à 7 milliards de paramètres), il a surpassé des modèles beaucoup plus vastes, y compris certains de 32 milliards de paramètres et même un modèle propriétaire très avancé d'OpenAI. La clé de son succès a été une étape d'entraînement spéciale où l'IA a appris à aligner directement les images oculaires 3D avec les chiffres spécifiques qu'elles représentent, un peu comme si l'on apprenait à un étudiant à associer une image de tranche de gâteau directement à une règle, plutôt que de simplement mémoriser le mot « gâteau ».

Les résultats suggent que RetiBridge est meilleur pour l'exercice spécifique consistant à « montrer son raisonnement ». Il était nettement plus précis pour obtenir les chiffres exacts (78,23 % de précision contre des scores bien inférieurs pour les autres modèles) et meilleur pour prouver que son diagnostic était réellement soutenu par les preuves observées. Alors que d'autres modèles parvenaient parfois à obtenir le diagnostic final mais manquaient de détails ou inventaient des raisons, RetiBridge liait systématiquement ses conclusions aux mesures réelles. Par exemple, dans un cas de test impliquant une rétinopathie diabétique, RetiBridge a correctement identifié des points et des épaisseurs spécifiques et a expliqué comment ils permettaient d'exclure d'autres maladies, créant ainsi un chemin logique clair de la photo jusqu'à la réponse.

Cependant, l'article précise bien que ce n'est pas encore un remède miracle. Bien que RetiBridge soit meilleur pour relier les points, il éprouve encore des difficultés avec certaines tâches de raisonnement complexe par rapport aux meilleurs modèles de type humain, et il n'a pas été testé sur tous les types de maladies oculaires. Les auteurs suggèrent que cette approche — forcer l'IA à ancrer ses réponses dans des chiffres concrets — est une voie prometteuse, mais que des travaux supplémentaires sont nécessaires pour la rendre assez robuste pour les hôpitaux du monde réel. Ils prévoient également de tester l'outil sur des scanners 3D encore plus détaillés et sur différents types d'images oculaires à l'avenir. Pour l'instant, RetiBridge constitue une solide preuve de concept démontrant que si vous apprenez à une IA à respecter les mathématiques derrière la médecine, elle peut devenir un partenaire bien plus fiable pour comprendre notre santé.

Résumé Technique : RetiBridge

Énoncé du Problème

L'imagerie rétinienne via la photographie du fond d'œil en couleur (CFP) et la tomographie par cohérence optique (OCT) fournit des biomarqueurs quantitatifs critiques pour le diagnostic de maladies oculaires et systémiques. Cependant, les modèles de langage multimodaux (MLLM) existants en ophtalmologie sont confrontés à trois limitations principales :

Manque de quantification : Ils échouent souvent à quantifier explicitement les biomarqueurs anormaux à partir des images.
Faiblesse de la traduction : Ils peinent à traduire ces mesures quantitatives en sous-inférences qualitatives cliniquement significatives.
Mauvais alignement : Ils échouent fréquemment à lier de manière cohérente ces sous-inférences à une conclusion diagnostique finale.

Les pipelines actuels reposent soit sur des outils spécifiques à une modalité qui n'intègrent pas les données CFP et OCT, soit génèrent des attributions visuelles post-hoc qui manquent du raisonnement structuré et fondé sur des preuves requis pour la confiance clinique. Il existe une lacune dans les modèles capables d'interpréter conjointement des images appariées CFP et OCT, d'ancrer les sorties dans des biomarqueurs quantitatifs continus et de produire un parcours diagnostique transparent de type « quantitatif-vers-qualitatif ».

Méthodologie

Les auteurs proposent RetiBridge, un MLLM ophtalmique guidé par la connaissance, conçu pour jeter un pont entre les biomarqueurs rétiniens quantitatifs et les conclusions diagnostiques qualitatives. Le système utilise une architecture à double encodeur asymétrique et un cadre d'entraînement en trois étapes.

1. Génération d'instructions basées sur les données et la connaissance

Jeu de données : Le modèle est entraîné sur 15 611 échantillons appariés CFP–OCT provenant de la UK Biobank, chacun associé à 31 biomarqueurs structurels dérivés de l'OCT (ex. : épaisseur maculaire, volumes de couches) et 6 biomarqueurs dérivés de la CFP (ex. : calibre des vaisseaux, tortuosité).
Génération d'instructions (Étape I) : Un modèle de prompt révisé par des cliniciens, nommé Eye-Guideline, est utilisé pour guider OpenAI-o3 dans la génération de rapports diagnostiques structurés et ancrés dans les biomarqueurs. Ces rapports lient explicitement les anomalies quantitatives aux interprétations qualitatives et aux diagnostics finaux. L'étiquette diagnostique est utilisée uniquement comme une contrainte souple lors de cette phase de génération, et non comme une entrée directe au modèle lors de l'entraînement.

2. Architecture du Modèle

Encodeurs :
- CFP : Utilise un encodeur RetiZero pré-entraîné de type CLIP.
- OCT : Introduit un nouvel encodeur OCT aligné sur les biomarqueurs. Comme aucun encodeur OCT comparable et ancré sur les biomarqueurs n'existait, les auteurs emploient un alignement contrastif de type CLIP pour aligner les représentations des B-scans OCT fovéaux-centraux avec leurs vecteurs de biomarqueurs quantitatifs à 31 dimensions correspondants.
Fusion : Des modules de projection cartographient les caractéristiques de niveau token des deux encodeurs dans un espace de plongement partagé compatible avec le langage.
Backbone : Les caractéristiques sont concaténées avec des requêtes textuelles et traitées par un Qwen2-7B, affiné via l'adaptation de bas rang (LoRA).

3. Pipeline d'Entraînement

Étape I (Génération d'instructions) : Génère les rapports diagnostiques cibles ( $y_n$ ) en utilisant OpenAI-o3 sur la base des images, des biomarqueurs et des étiquettes.
Étape II (Alignement OCT–Biomarqueur) : Une perte de contraste de type CLIP aligne les représentations d'images OCT avec les vecteurs de biomarqueurs quantitatifs. Cette étape ancre l'encodeur OCT dans les mesures structurelles sans nécessiter de vecteurs de biomarqueurs lors de l'inférence.
Étape III (Affinage supervisé des instructions) : Les modules de projection et les paramètres LoRA du backbone Qwen2 sont optimisés à l'aide des paires instruction-réponse générées. Les encodeurs CFP et OCT restent gelés.

Contributions Clés

MLLM Rétinien Ancré sur les Biomarqueurs : RetiBridge est le premier modèle à faire explicitement le pont entre les biomarqueurs rétiniens quantitatifs, les sous-inférences qualitatives et les conclusions diagnostiques cohérentes dans un cadre unique pour les entrées appariées CFP et OCT.
Données d'Instruction et Benchmark Guidés par la Connaissance : Les auteurs ont construit un pipeline reproductible pour générer des données d'instruction ancrées sur les biomarqueurs et ont établi le benchmark Grounded Ophthalmic Understanding. Ce benchmark évalue la classification diagnostique, la qualité de la génération de rapports et des métriques cliniques fines (ex. : ancrage des preuves, complétude de la couverture).
Alignement des Biomarqueurs et Fusion Cross-Modale : L'article introduit un objectif de type CLIP pour aligner de manière contrastive les B-scans OCT avec des vecteurs de biomarqueurs quantitatifs continus, répondant ainsi à l'absence d'un encodeur OCT ancré sur les biomarqueurs. Cela se combine à une conception d'encodeur asymétrique spécifique à la modalité.

Résultats Expérimentaux

Évalué sur le benchmark Grounded Ophthalmic Understanding à l'aide de 15 611 échantillons (division 80/20), RetiBridge (7 milliards de paramètres) a été comparé à des modèles propriétaires (GPT-4o, OpenAI-o3) et des bases de référence open-source (Qwen2.5-VL, Lingshu).

Précision Quantitative : RetiBridge a obtenu le score le plus élevé (78,23), surpassant de manière significative OpenAI-o3 (58,31) et toutes les autres références.
Ancrage des Preuves et Couverture : Il a obtenu les scores les plus élevés pour l'Ancrage des Preuves (68,70) et la Complétude de la Couverture (65,56), dépassant OpenAI-o3 (60,13 et 62,70, respectivement).
Similarité Sémantique : RetiBridge a obtenu le meilleur BERTScore (0,88), dépassant légèrement OpenAI-o3 (0,87).
Classification Diagnostique : Bien que tous les modèles aient été confrontés à des défis dus aux distributions de classes à longue traîne (Macro F1 $\le$ 0,25), RetiBridge a atteint un Macro F1 de 0,23, égalant Lingshu-32B (32 milliards de paramètres) et approchant OpenAI-o3 (0,25).
Analyse Qualitative : Des études de cas ont démontré que RetiBridge produit des rapports plus concis et traçables, liant explicitement les mesures aux sous-inférences et aux conclusions, tandis qu'OpenAI-o3 présentait des énoncés redondants et un lien logique plus faible.

Études d'Ablation

Encodeurs : Le remplacement des encodeurs asymétriques par un vanilla CLIP-ViT a réduit la précision quantitative de 78,23 à 61,52.
Alignement : La suppression de l'alignement des biomarqueurs (utilisation de l'original RETFound) a réduit la précision quantitative à 58,79. Les tâches de régression ont confirmé que l'encodeur aligné prédit mieux les valeurs des biomarqueurs (MAE/RMSE plus faible, $R^2$ plus élevé).
Modalités : La suppression de la branche CFP (OCT uniquement) a considérablement dégradé les performances sur l'ensemble des métriques, confirmant la nécessité des données complémentaires de surface/vasculaires de la CFP.
Backbone : Le remplacement de Qwen2 par Vicuna-7B a entraîné des performances moindres, soulignant l'importance du backbone linguistique.

Signification et Revendications

L'article affirme que l'ancrage des représentations rétiniennes multimodales dans des biomarqueurs quantitatifs continus améliore considérablement la traçabilité clinique et la complétude des rapports diagnostiques générés. RetiBridge démontre qu'un modèle de 7 milliards de paramètres, lorsqu'il est équipé d'un réglage d'instruction guidé par la connaissance et d'un alignement explicite des biomarqueurs, peut surpasser de plus grands modèles open-source et rivaliser avec des modèles propriétaires (OpenAI-o3) dans des dimensions spécifiques et cliniquement critiques comme l'ancrage des preuves et la précision quantitative.

Les auteurs soulignent que leur approche va au-delà de la simple classification d'images ou de la génération de rapports génériques, offrant un parcours structuré qui imite le raisonnement clinique : Mesure Quantitative $\to$ Sous-inférence Qualitative $\to$ Conclusion Diagnostique. Ils notent que bien que le modèle montre de solides performances, des travaux futurs sont nécessaires pour valider la généralisabilité sur des ensembles de données externes, étendre l'approche à l'OCT volumétrique complet et incorporer une évaluation experte plus large.