Forgetting-Resistant and Lesion-Aware Source-Free Domain Adaptive Fundus Image Analysis with Vision-Language Model

Cet article propose une nouvelle méthode d'adaptation de domaine sans source, résistante à l'oubli et consciente des lésions, qui exploite un modèle vision-langage pour améliorer l'analyse d'images du fundus en préservant les prédictions confiantes du modèle cible et en intégrant des connaissances fines sur les lésions.

L'essentiel

🩺 Le Problème : Le Médecin "Touriste"

Imaginez un médecin très compétent, formé dans un hôpital moderne à Hong Kong (le Domaine Source). Il est excellent pour diagnostiquer des maladies des yeux en regardant des photos de la rétine (le fond d'œil).

Soudain, ce médecin est envoyé travailler dans un autre hôpital, peut-être dans un pays différent ou avec un appareil photo différent (le Domaine Cible).

• Les lumières sont différentes.
• Les appareils photo sont différents.
• Les patients ont des yeux légèrement différents.

Le médecin, bien qu'expert, commence à faire des erreurs. C'est ce qu'on appelle le "décalage de domaine". En informatique, on ne veut pas réentraîner le médecin de zéro (car les données du nouvel hôpital sont confidentielles et on ne peut pas les envoyer à l'ancien hôpital). On veut juste l'adapter rapidement.

🤖 La Solution Actuelle (et ses défauts)

Pour aider ce médecin, les chercheurs lui donnent un super-assistant : un modèle d'intelligence artificielle très puissant appelé "Vision-Language" (comme un expert qui a lu tous les livres du monde sur les yeux).

Cependant, la méthode actuelle pour faire collaborer le médecin et l'assistant a deux gros problèmes :

1. L'oubli (Le "Forgetting") : L'assistant est si confiant que le médecin commence à douter de ses propres bonnes intuitions. Parfois, le médecin avait raison, mais l'assistant lui a dit "Non, tu te trompes", et le médecin a fini par oublier sa bonne réponse. C'est comme si un élève brillant se laissait influencer par un prof qui a parfois tort, et finissait par oublier ce qu'il savait déjà.
2. Le manque de détails (Le "Manque de précision") : L'assistant donne des conseils globaux ("C'est une maladie"). Mais pour soigner un œil, il faut savoir exactement où est la tache (la lésion). L'assistant actuel ne montre pas les zones précises, il donne juste une réponse générale. C'est comme si un GPS vous disait "Tournez à gauche" sans vous montrer la rue précise.

💡 La Nouvelle Solution : FRLA (Le Médecin "Mémoire" et "Loup-Garou")

Les auteurs de cette article proposent une nouvelle méthode appelée FRLA (Résistant à l'oubli et conscient des lésions). Voici comment ça marche avec deux analogies simples :

1. Le Module "Résistant à l'Oubli" (La Mémoire de Sécurité)

Imaginez que le médecin tient un carnet de notes (une "banque de mémoire").

• Avant de parler à l'assistant, le médecin note ses réponses les plus sûres dans ce carnet.
• Pendant l'entraînement, si l'assistant essaie de convaincre le médecin de changer une réponse qui était déjà notée comme "très sûre" dans le carnet, le système dit : "Stop ! On garde ta réponse originale."
• Cela empêche le médecin de perdre ses meilleures compétences sous la pression de l'assistant. C'est comme un garde du corps qui protège les idées brillantes du médecin contre les mauvaises suggestions de l'assistant.

2. Le Module "Conscient des Lésions" (La Loupe Magique)

Au lieu de juste donner une réponse globale, l'assistant utilise maintenant une loupe magique (appelée "prédiction par patchs").

• Au lieu de dire "Il y a une maladie", l'assistant pointe du doigt : "Regarde ici, il y a une tache blanche (exsudat) et ici, une zone rouge."
• Le médecin apprend alors à regarder exactement ces zones précises sur l'image.
• Pour ne pas embrouiller le médecin au début, cette loupe est utilisée doucement au début de l'entraînement, puis on l'éteint progressivement une fois que le médecin a bien appris à repérer les zones.

🏆 Le Résultat : Un Médecin Super-Adapté

Grâce à cette double stratégie :

1. Le médecin ne perd pas ses bonnes habitudes (il ne "oublie" pas).
2. Il apprend à voir les détails précis des maladies (les lésions).

Les tests montrent que ce nouveau système est bien meilleur que les méthodes précédentes. Il surpasse même l'assistant tout seul et les autres méthodes d'intelligence artificielle.

En résumé : C'est comme donner à un expert un assistant ultra-intelligent, mais avec un système de sécurité qui l'empêche de se laisser influencer négativement, et qui lui apprend à regarder les détails précis de la maladie plutôt que de se contenter d'une vue d'ensemble. Le résultat ? Un diagnostic plus précis, même avec un nouvel appareil photo ou de nouveaux patients.

Résumé technique

1. Problématique

L'article aborde le problème de l'adaptation de domaine sans source (Source-Free Domain Adaptation - SFDA) appliquée au diagnostic d'images du fond d'œil (rétine).

• Contexte : Les réseaux de neurones profonds performants pour le diagnostic rétinien souffrent souvent d'un décalage de domaine (domain shift) dû aux variations des protocoles d'imagerie ou des appareils de numérisation. La SFDA vise à adapter un modèle pré-entraîné sur un domaine source (avec étiquettes) vers un domaine cible (sans étiquettes) sans accéder aux données sources, garantissant ainsi la confidentialité des données.
• Limites des approches existantes : Bien que les modèles fondationnels (comme les modèles Vision-Language ou ViL, ex. CLIP, FLAIR) aient été intégrés pour aider à la SFDA, les méthodes actuelles présentent deux faiblesses majeures :
  1. Oubli des prédictions fiables : L'utilisation de la perte d'information mutuelle (MI) pour distiller les connaissances du modèle ViL vers le modèle cible peut entraîner l'oubli de certaines prédictions correctes et confiantes du modèle cible, dégradant les performances sur des classes spécifiques.
  2. Manque de granularité : Les travaux antérieurs n'utilisent que des informations globales (niveau image) des modèles fondationnels, négligeant les connaissances fines (niveau patch) essentielles pour localiser des lésions rétiniennes précises (exsudats, drusènes, cupules optiques anormales).

2. Méthodologie : FRLA

Les auteurs proposent une méthode novatrice appelée FRLA (Forgetting-Resistant and Lesion-Aware), structurée autour de deux modules principaux :

A. Adaptation Résistante à l'Oubli (Forgetting-Resistant Adaptation)

Ce module vise à préserver les prédictions de haute qualité du modèle cible lors de l'interaction avec le modèle ViL.

• Mécanisme : Un memory bank (banque de mémoire) stocke périodiquement les prédictions confiantes du modèle cible initialisé.
• Double Perte d'Information Mutuelle (Dual MI Loss) :
  • Une perte standard ($L_{dis}$) maximise l'information mutuelle entre les prédictions du modèle cible et celles du modèle ViL.
  • Une perte additionnelle ($L_{fr}$) est introduite pour maximiser l'information mutuelle entre les prédictions actuelles du modèle cible et les prédictions confiantes stockées dans la mémoire.
• Avantage : Cela empêche le modèle ViL de "corriger" négativement des prédictions déjà correctes du modèle cible. L'utilisation de la MI pour les deux termes permet d'éviter le besoin d'hyperparamètres pour équilibrer les pertes.

B. Adaptation Consciente des Lésions (Lesion-Aware Adaptation)

Ce module exploite les connaissances fines du modèle ViL pour guider le modèle cible vers les zones lésionnelles.

• Prédictions par Patch : En utilisant une approche similaire à la CAM (Class Activation Mapping), le modèle ViL génère des probabilités au niveau des patches (sous-régions de l'image) plutôt que globalement.
• Supervision Adaptative :
  • Filtrage : Les prédictions de patches incompatibles avec les prédictions globales confiantes (stockées en mémoire) sont éliminées.
  • Correction du déséquilibre : Des poids de classe sont appliqués pour corriger le déséquilibre potentiel des classes au niveau des patches.
  • Pondération décroissante : Une perte ($L_{la}$) est appliquée avec un poids $\lambda_{la}$ qui diminue progressivement au cours de l'entraînement (s'annulant à la moitié de l'entraînement). Cela permet d'orienter le modèle vers les lésions au début sans distraire l'apprentissage principal de diagnostic global en phase finale.

3. Contributions Clés

1. Identification et résolution du problème d'oubli : Démonstration que l'information mutuelle standard peut dégrader les performances sur certaines classes, et proposition d'un mécanisme de mémoire pour protéger les prédictions fiables.
2. Exploitation de connaissances fines (Patch-wise) : Première application d'une supervision au niveau des patches issue d'un modèle ViL pour la SFDA en ophtalmologie, permettant au modèle cible de localiser précisément les lésions.
3. Cadre unifié FRLA : Combinaison efficace de l'adaptation résistante à l'oubli et de l'adaptation consciente des lésions, sans nécessiter d'accès aux données sources.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux paires de domaines croisés utilisant les jeux de données ODIR (source), FIVES et VietAI (cibles), couvrant quatre maladies : rétinopathie diabétique (DR), glaucome (GLC), dégénérescence maculaire liée à l'âge (ARMD/MD) et cas normaux (N).

• Performance globale : La méthode FRLA surpasse significativement :
  • L'approche zero-shot du modèle ViL seul (FLAIR).
  • La moyenne des prédictions du modèle source et du ViL.
  • Les méthodes SFDA de l'état de l'art (SHOT, COWA, Co-learn, DIFO).
  • Exemple : Sur le transfert ODIR $\to$ FIVES, FRLA atteint 80,4 % de précision moyenne, contre 78,6 % pour DIFO (SOTA précédent) et 73,5 % pour FLAIR seul.
• Analyse Ablative :
  • L'ajout du module Forgetting-Resistant ($L_{fr}$) améliore considérablement la précision sur les classes où le modèle source était fort mais qui auraient pu être oubliées (ex: amélioration de la précision sur le glaucome).
  • L'ajout du module Lesion-Aware ($L_{la}$) améliore l'apprentissage précoce et la capacité du modèle à localiser les lésions, comme le montrent les cartes d'activation (CAM) qui correspondent mieux aux zones identifiées par des ophtalmologistes seniors.

5. Signification et Impact

Ce travail est significatif car il adresse les limites critiques de l'utilisation des modèles fondationnels pour l'adaptation de domaine en milieu médical.

• Fiabilité clinique : En empêchant l'oubli des prédictions correctes, la méthode assure une stabilité plus grande, cruciale pour le diagnostic médical où les faux négatifs sont critiques.
• Explicabilité et Précision : L'intégration de connaissances au niveau des patches permet au modèle de "voir" les lésions spécifiques, rendant l'adaptation plus robuste aux variations de domaine liées à la localisation des pathologies.
• Généralisation : La méthode propose un cadre applicable à d'autres modèles ViL et domaines médicaux, offrant une voie prometteuse pour le déploiement de l'IA en ophtalmologie sans nécessiter de ré-annotation coûteuse des données cibles.