An Intelligent Multimodal Deep Learning Framework for Early Diagnosis of Diabetic and Hypertensive Retinopathy Using Retinal Fundus Images

Résumé Technique : Un cadre d'apprentissage profond multimodal intelligent pour le diagnostic précoce de la rétinopathie diabétique et hypertensive

Énoncé du problème
La rétinopathie diabétique (RD) et la rétinopathie hypertensive (RH) sont des causes majeures de perte de vision irréversible dans le monde. Bien que le diagnostic précoce soit crucial pour prévenir la cécité, les pratiques de diagnostic actuelles font face à des limitations significatives. La plupart des systèmes existants reposent exclusivement sur l'analyse d'images du fond de l'œil, ignorant souvent les biomarqueurs cliniques systémiques vitaux tels que les taux de glucose sanguin (hémoglobine glyquée) et la pression artérielle. Cette approche « uniquement par l'image » peut entraîner une réduction de la précision diagnostique, particulièrement dans les cas de stade précoce ou lorsque la qualité de l'image varie. De plus, de nombreux modèles existants se concentrent soit sur la RD, soit sur la RH de manière isolée, plutôt que de traiter les deux pathologies simultanément au sein d'un cadre unifié. Il existe également une lacune dans la mise en œuvre clinique des systèmes multimodaux qui intègrent l'imagerie aux dossiers de santé électroniques (DSE) en utilisant des outils de prototypage accessibles comme MATLAB.

Méthodologie
Les auteurs proposent un cadre d'apprentissage profond hybride et multimodal implémenté dans MATLAB (R2023a) pour diagnostiquer à la fois la RD et la RH en fusionnant des images du fond d'œil avec des données cliniques systémiques.

1. Acquisition des données : L'étude a utilisé un ensemble de données de 1 200 images du fond d'œil provenant d'un hôpital de Pune, en Inde, accompagnées de dossiers cliniques correspondants. L'ensemble de données comprenait 300 cas normaux, 825 cas de RD (légère, modérée, sévère) et 35 cas de RH. Les attributs cliniques comprenaient l'hémoglobine glyquée (référencée comme dossiers de santé électroniques dans le texte), la pression artérielle systolique (référencée comme dossiers électroniques systoliques) et la durée de la maladie.
2. Prétraitement :
   • Images : Les images du fond d'œil ont subi une amélioration du contraste par égalisation d'histogramme, une réduction du bruit par filtrage médian, une conversion en niveaux de gris et une normalisation de la luminosité.
   • Données cliniques : Les variables cliniques numériques ont été normalisées par mise à l'échelle z-score.
3. Segmentation et extraction de caractéristiques :
   • Traitement d'image : Le cadre utilise U-Net pour la segmentation des vaisseaux sanguins et du disque optique, des modèles de contours actifs pour les contours des lésions, et la croissance de région pour l'identification des exsudats.
   • Extraction de caractéristiques : Les caractéristiques profondes ont été extraites des régions segmentées à l'aide de réseaux de neurones convolutifs (CNN).
4. Fusion multimodale et classification :
   • Le système utilise une stratégie de fusion intermédiaire (conjointe). Les caractéristiques d'image (extraites via CNN/Vision Transformer) et les caractéristiques cliniques (encodées via MLP ou encodeurs de texte) sont concaténées ou fusionnées à l'aide de mécanismes d'attention pour créer une représentation latente conjointe.
   • Les caractéristiques fusionnées sont transmises à une couche de classification (Softmax) pour prédire les étiquettes de la maladie.
   • L'architecture du modèle intègre l'apprentissage profond (CNN) avec le traitement des données cliniques via des encodeurs MLP et des mécanismes de fusion à porte (gated fusion).
5. Validation : L'ensemble de données a été divisé en ensembles d'entraînement (70 %), de validation (15 %) et de test (15 %). Le modèle a été évalué par validation croisée à 10 plis pour assurer la stabilité et éviter le surapprentissage.

Contributions clés

• Détection de la double pathologie : Contrairement à de nombreux travaux antérieurs qui se concentrent sur une seule maladie, ce cadre diagnostique simultanément la rétinopathie diabétique et la rétinopathie hypertensive.
• Intégration multimodale : L'étude démontre l'efficacité de la fusion de l'imagerie rétinienne avec les biomarqueurs systémiques (hémoglobine glyquée et pression artérielle) pour surmonter les limites des modèles basés uniquement sur l'image.
• Implémentation MATLAB : Le cadre est entièrement développé dans MATLAB, offrant une solution évolable et à faible coût, adaptée au prototypage médical et aux environnements à ressources limitées.
• Architecture hybride : L'intégration de l'apprentissage profond (CNN) avec le traitement des données cliniques (MLP) crée un outil de diagnostic robuste qui capture à la fois les lésions rétiniennes locales et le contexte physiologique systémique.

Résultats
Le cadre multimodal proposé a démontré une performance supérieure par rapport aux références à modalité unique :

• Précision : Le modèle hybride a atteint une précision globale de 98 %.
• Comparaison : Ce résultat a surpassé les modèles CNN basés uniquement sur l'image (91,82 % de précision) et les modèles Random Forest basés uniquement sur les données cliniques (85,90 % de précision).
• Métriques : Le modèle a atteint une sensibilité de 96,04 %, une spécificité de 98,10 %, un score F1 de 0,976 et une AUC de 0,98.
• Réduction des erreurs : L'intégration des données cliniques a réduit les faux négatifs d'environ 40 % par rapport aux approches CNN de base, améliorant particulièrement la détection des stades précoces de la RD et de la RH.
• Signification statistique : Un test t apparié a confirmé que l'inclusion des caractéristiques cliniques a entraîné une amélioration statistiquement significative de la précision (p < 0,001). Un test ANOVA a également montré un effet principal significatif du type de modalité (F(2, 27) = 23,6, p < 0,0005).
• Généralisation : Le modèle a maintenu une précision supérieure à 95 % à travers différents groupes démographiques (âges 35–75) et stades de la maladie.

Signification et affirmations
L'article affirme que ce cadre multimodal représente un « saut quantique » par rapport aux méthodes traditionnelles basées uniquement sur l'image en améliorant considérablement la sensibilité diagnostique, en particulier pour les cas précoces où les signes visuels sont subtils. En incorporant le contexte systémique (hémoglobine glyquée et pression artérielle), le système réduit les faux négatifs et améliore la stratification des risques.

Les auteurs affirment que le cadre est particulièrement précieux pour :

• Le dépistage et la télémédecine : Fournir une solution évolable et à faible coût pour le dépistage ophtalmique à grande échelle, particulièrement dans les zones à accès limité aux spécialistes.
• Le support à la décision clinique : Offrir une évaluation complète des risques qui aide à une prise de décision plus rapide et plus précise.
• Le double diagnostic : Permettre le dépistage de la RD et de la RH grâce à une seule voie d'acquisition d'image.

L'étude conclut que bien que les résultats actuels soient prometteurs, les travaux futurs devraient se concentrer sur la validation du modèle avec des données multicentriques, l'implémentation du système sur des appareils mobiles pour le diagnostic au point de service, et la conduite d'études longitudinales pour suivre la progression de la maladie et la réponse au traitement.