HyDA: Hypernetworks for Test Time Domain Adaptation in Medical Imaging Analysis

1. Problématique

L'analyse d'images médicales par l'apprentissage profond souffre d'un défi majeur : le décalage de domaine (domain shift). Les données d'entraînement et de test proviennent souvent de distributions différentes en raison de variations dans les protocoles d'acquisition, les types de scanners, les démographies des patients ou les appareils d'imagerie.

Les approches d'adaptation de domaine (DA) existantes tentent généralement soit d'aligner les distributions source et cible, soit d'apprendre un espace de caractéristiques invariant. Cependant, ces méthodes nécessitent l'accès à un nombre suffisant d'exemples du domaine cible (même non annotés) pendant la phase d'entraînement. Cette contrainte est un obstacle critique pour le déploiement clinique, où les données du domaine cible peuvent n'être disponibles qu'en temps réel, au moment de l'inférence. De plus, les méthodes d'adaptation au moment du test (Test-Time Domain Adaptation ou TTDA) existantes, comme la minimisation de l'entropie (TENT), sont souvent limitées aux tâches de classification et peinent à s'adapter aux tâches de régression ou aux changements de distribution complexes sans modifications majeures.

2. Méthodologie : Le cadre HyDA

Les auteurs proposent HyDA, un cadre novateur basé sur les hypernetworks (réseaux d'hyper-réseaux) qui exploite les caractéristiques spécifiques du domaine plutôt que de les supprimer. L'objectif est d'adapter dynamiquement le modèle à l'inférence sans nécessiter de données cibles lors de l'entraînement.

Architecture du système

Le framework HyDA (illustré dans la Fig. 1 du papier) se compose de trois éléments principaux :

1. Un réseau principal ($P$) : N'importe quelle architecture adaptée à la tâche médicale (ex: DenseNet pour les rayons X, 3D-CNN pour l'IRM). Il contient des couches internes ($P_{enc}$) et une tête de sortie ($P_{head}$).
2. Un classifieur de domaine ($D$) : Composé d'un encodeur de domaine ($D_{enc}$) et d'une tête de domaine ($D_{head}$). Il apprend à prédire l'origine du domaine d'une image.
3. Un hypernetwork ($h$) : Un réseau de neurones qui prend en entrée le vecteur de caractéristiques du domaine ($x_D$) généré par $D_{enc}$ et produit dynamiquement les poids et biais spécifiques pour les couches externes (la tête) du réseau principal.

Fonctionnement

• Apprentissage des représentations implicites : Le classifieur de domaine apprend à mapper chaque image vers un vecteur de caractéristiques de domaine ($x_D$) dans un espace de caractéristiques de domaine ($f_D$).
• Génération de paramètres : L'hypernetwork $h$ transforme ce vecteur $x_D$ en un ensemble de poids et de biais ($w_h, b_h$) qui sont injectés dans la tête du réseau principal.
• Interpolation : L'hypothèse centrale est que les domaines cibles non vus lors de l'entraînement sont bien intégrés dans l'espace $f_D$ et peuvent être représentés comme des combinaisons linéaires des domaines d'entraînement. Ainsi, l'hypernetwork peut interpoler pour générer des paramètres optimaux pour un nouveau domaine inconnu.

Fonctions de Perte

L'entraînement est effectué de manière end-to-end avec deux objectifs :

1. Perte de tâche ($L_{task}$) : Perte standard (ex: entropie croisée pour la classification, MSE pour la régression) sur le réseau principal.
2. Perte de régularisation et de séparation de domaine :
   • Le classifieur de domaine utilise une perte d'entropie croisée ($L_{CE}$) et une perte de multi-similarité ($L_{MSim}$) pour séparer les clusters de domaines dans l'espace latent.
   • Cette perte de multi-similarité est également appliquée à l'hypernetwork pour garantir qu'il maintient une représentation spécifique au domaine pour les poids qu'il génère.

3. Contributions Clés

• Adaptation sans données cibles à l'entraînement : HyDA permet une adaptation dynamique à l'inférence, éliminant le besoin d'accéder aux données du domaine cible pendant la phase d'apprentissage.
• Approche agnostique : Le framework est indépendant de la tâche (classification ou régression) et du modalité (IRM, Rayons X), s'intégrant facilement dans diverses architectures existantes.
• Exploitation de la variabilité : Contrairement aux méthodes qui cherchent l'invariance, HyDA utilise la variabilité du domaine comme une information utile pour ajuster les paramètres du modèle en temps réel.
• Interpolation de domaine : La capacité du modèle à interpoler entre les domaines d'entraînement pour couvrir des domaines non vus est validée par des visualisations t-SNE.

4. Résultats Expérimentaux

Les auteurs ont évalué HyDA sur deux tâches cliniquement pertinentes :

A. Classification de pathologies sur des radiographies thoraciques (Chest X-Ray)

• Données : Combinaison de trois jeux de données publics (NIH, CheXpert, VinDr) avec 5 classes de pathologies.
• Comparaison : HyDA a été comparé à une baseline (sans adaptation), à une méthode UDA (MDAN) et à une méthode TTDA (TENT).
• Résultats :
  • HyDA surpasse systématiquement les baselines et les autres méthodes d'adaptation, tant en configuration supervisée complète qu'en configuration "leave-one-out" (où un jeu de données sert de cible non vue).
  • L'amélioration est corrélée à la séparabilité des caractéristiques de domaine : les gains sont plus importants lorsque les domaines sont bien regroupés dans l'espace latent.

B. Prédiction de l'âge cérébral (Brain Age Prediction)

• Données : 19 jeux de données d'IRM cérébrale (26 691 scans).
• Tâche : Régression (prédiction de l'âge).
• Résultats :
  • HyDA réduit l'erreur absolue moyenne (MAE) par rapport à la baseline dans les deux scénarios (supervisé et leave-one-out).
  • L'étude d'ablation montre que l'adaptation de certaines couches internes via l'hypernetwork améliore la généralisation, tandis que l'utilisation exclusive de poids spécifiques à la tâche ou au domaine est moins efficace.

5. Signification et Conclusion

Le papier HyDA représente une avancée significative pour le déploiement de l'IA en milieu clinique. En démontrant qu'il est possible d'adapter les modèles aux variations de données en temps réel sans réentraînement ni accès aux données cibles, il résout un goulot d'étranglement majeur de l'adoption de l'IA médicale.

La capacité du framework à interpoler entre les domaines connus pour s'adapter à des domaines inconnus, couplée à sa flexibilité (compatible avec la classification et la régression), en fait une solution robuste pour des applications réelles où les conditions d'acquisition varient constamment. Les résultats confirment que l'exploitation des caractéristiques spécifiques du domaine, plutôt que leur suppression, mène à des modèles plus généralisables et fiables.