Résumé technique : Apprentissage de caractéristiques physiopathologiques basé sur le quasi-multimodal pour le diagnostic des maladies rétiniennes

Énoncé du problème

Les maladies rétiniennes couvrent un large spectre et sont identifiées efficacement grâce à l'utilisation de signaux complémentaires provenant de données multimodales, telles que la photographie du fond d'œil en couleur (CFP), l'angiographie à la fluorescéine (FFA) et l'imagerie multispectrale (MSI). Cependant, le déploiement physique d'une véritable imagerie multimodale dans la pratique clinique se heurte à des obstacles importants :

• Invasivité et risques : Les techniques comme la FFA nécessitent l'injection de colorant, ce qui pose des risques potentiels.
• Hétérogénéité et alignement des données : Les différentes modalités souffrent d'un désalignement spatial dû aux mouvements oculaires (ex: saccades) et manquent de protocoles standardisés.
• Complexité du recalage : L'alignement des données brutes ou des caractéristiques apprises entre les modalités est complexe sur les plans computationnel et technique.
• Redondance de l'information : La simple fusion de plusieurs modalités sans étalonnage adaptatif peut entraîner une redondance et une exclusion mutuelle, dégradant ainsi la performance diagnostique.

Les approches quasi-multimodales existantes manquent souvent de modalités spécifiques (ex: phase artérielle de la FFA) ou ne parviennent pas à gérer efficacement la redondance de l'information et les écarts de généralisabilité entre la synthèse de pixels à grain fin et les tâches de diagnostic en aval.

Méthodologie

Les auteurs proposent un cadre d'apprentissage unifié en deux étapes qui intègre la synthèse de données multimodales et la fusion de caractéristiques adaptative pour la classification et la gradation des maladies rétiniennes.

Étape I : Apprentissage de représentations spécifiques à la modalité

Des modèles parallèles, basés sur une architecture encodeur-décodeur, sont entraînés pour mapper une image CFP unique vers diverses représentations physiopathologiques :

1. Synthèse de la FFA : Génère des images de FFA en phase artérielle et en phase artérioveineuse. Cela utilise un réseau pix2pix entraîné sur des paires CFA-FFA alignées pour capturer les fuites vasculaires et les zones de non-perfusion.
2. Synthèse de l'MSI : Génère un cube de données multispectrales (du visible au proche infrarouge) en utilisant un squelette DRCR-Net. Pour traiter la variabilité des capteurs, le processus d'entraînement introduit une randomisation de la fonction de réponse spectrale (SRF) et emploie une perte de cohérence de cycle pour assurer la fidélité de la reconstruction.
3. Synthèse de cartes de saillance : Génère des cartes de segmentation mettant en évidence les lésions latentes (hémorragies, exsudats, microanévrismes) et les régions du disque et de la cupule optique en utilisant des modèles U-Net entraînés sur les jeux de données DDR et REFUGE.

Étape II : Diagnostic multimodal et étalonnage adaptatif

Les représentations apprises sont transférées sous forme de caractéristiques de haut niveau pour le diagnostic. Cette étape introduit deux innovations clés :

1. Module de finetuning de caractéristiques multimodales (MFFM) : Les encodeurs responsables de la synthèse de la FFA et de l'MSI sont ajustés conjointement avec le pipeline de diagnostic en utilisant des pertes spécifiques à la tâche et des régularisations de fidélité (pertes adverses et de cohérence de cycle). Cela aligne le processus de synthèse avec les objectifs de diagnostic sans nécessiter de données appariées à grande échelle pour la phase de finetuning. Les encodeurs de cartes de saillance restent gelés pour préserver l'intégrité structurelle.
2. Module d'attention cross-physiopathologique (CPAM) : Pour traiter la redondance de l'information et permettre une intégration flexible, le CPAM calibre les caractéristiques de manière adaptative via un mécanisme d'attention hiérarchique :
   • Étalonnage de caractéristiques spécifiques à la modalité (MSFC) : Utilise des pipelines Squeeze-and-Excitation (SE) empilés pour capturer l'information sémantique unique au sein de chaque modalité, supprimant les réponses non pertinentes.
   • Étalonnage de caractéristiques dépendant de la modalité (MDFC) : Emploie des unités d'attention croisée récursives pour modéliser les interactions entre les modalités à plusieurs échelles, capturant des indices physiopathologiques hétérogènes mais complémentaires.

Les caractéristiques finales sont concaténées et transmises à un classificateur pour la classification multi-labels ou la gradation de la rétinopathie diabétique (DR).

Contributions clés

1. Architecture unifiée : Le premier modèle quasi-multimodal intégrant la FFA en phase artérielle, la FFA en phase artérioveineuse et l'MSI synthétisés uniquement à partir de la CFP, combinés à une stratégie de finetuning pilotée par la tâche qui aligne la synthèse avec le diagnostic.
2. Module d'attention cross-physiopathologique (CPAM) : Un mécanisme novateur qui calibre hiérarchiquement les caractéristiques en utilisant des composants spécifiques et dépendants de la modalité, permettant un alignement fin et multi-échelle des signatures physiopathologiques.
3. Supériorité de performance : Des expériences approfondies démontrent que l'approche surpasse les méthodes de l'état de l'art tant pour la classification multi-labels que pour la gradation de la DR.

Résultats expérimentaux

Le cadre a été évalué sur deux jeux de données publics : MuReD (classification multi-labels) et DDR (gradation de la DR).

• Classification multi-labels (MuReD) : La méthode proposée a atteint un score F1 de 0,683 et un AUC de 0,953, surpassant la meilleure ligne de base (C-Tran) de 4,11 % en score F1 et de 1,92 % en AUC. Des améliorations notables ont été observées pour les maladies vasculaires (ex: BRVO, CRVO) et les pathologies choroïdiennes (ex: DN, MYA), attribuées à l'intégration des caractéristiques de la FFA et de l'MSI.
  *. Gradation de la rétinopathie diabétique (DDR) : La méthode a obtenu une précision de 0,842 et un coefficient Kappa de 0,861, dépassant la deuxième meilleure méthode (MuR-CAN) de 2,99 % en précision et de 0,48 % en Kappa.
• Études d'ablation :
  • Importance des modalités : L'ajout de la FFA et de l'MSI à la ligne de base CFP a considérablement amélioré la performance, la fusion de toutes les modalités offrant les gains les plus élevés (ex: +13,64 % de score F1 en classification multi-labels).
  • Nœuds de calibration : Le CPAM complet (MSFC + MDFC) a nettement surperformé les modèles utilisant uniquement le MFFM de base, confirmant la nécessité d'un étalonnage adaptatif pour gérer la redondance.
  • Stratégie de fusion : La fusion au niveau des caractéristiques avec des encodeurs non gelés s'est avérée supérieure à la fusion au niveau de l'image ou aux encodeurs gelés, soulignant le bénéfice du finetuning piloté par la tâche.
• Robustesse : Le modèle a maintenu de solides performances sous des perturbations cliniques simulées (flou, netteté, distorsion), les baisses de performance restant généralement inférieures à 3,25 %.

Signification et revendications

L'article affirme que ce travail offre un cadre évolutif pour le dépistage des maladies rétiniennes qui améliore la précision et l'efficacité sans nécessiter d'acquisition de données multimodales invasives ou complexes en milieu clinique. En synthétisant des modalités complémentaires à partir d'une seule image CFP et en les fusionnant de manière adaptative, le système comble le fossé entre l'hétérogénéité des données et les besoins diagnostiques.

Les auteurs soulignent que leur approche s'écarte du paradigme conventionnel "synthèse puis diagnostic" en :

1. Effectuant un finetuning conjoint des encodeurs spécifiques aux modalités avec une supervision diagnostique pour aligner l'apprentissage des représentations avec les objectifs cliniques.
2. Modélisant explicitement les correspondances physiopathologiques à plusieurs échelles via le CPAM, passant d'une agrégation de caractéristiques génériques à un étalonnage conscient de la pathologie.
3. Propageant des caractéristiques de haut niveau, adaptées à la tâche, pour imputer les modalités manquantes, réduisant ainsi le décalage entre la complexité de la synthèse au niveau des pixels et la prédiction diagnostique.

L'étude conclut que bien que la méthode présente des résultats prometteurs, les travaux futurs se concentreront sur l'incorporation de modalités cliniques supplémentaires (ex: angiographie ICG), l'utilisation de modèles génératifs avancés et la conduite de validations multicentriques pour améliorer davantage la généralisabilité.