HypCBC: Domain-Invariant Hyperbolic Cross-Branch Consistency for Generalizable Medical Image Analysis

Résumé Technique : HypCBC

Énoncé du Problème
Les réseaux de neurones profonds sont confrontés à des défis importants pour généraliser au-delà des distributions d'entraînement, un problème critique dans l'analyse d'images médicales où la rareté des données et les décalages de covariables (résultant de différents matériels, protocoles d'imagerie et populations de patients) entravent un déploiement clinique fiable. Les remèdes existants reposent souvent sur l'apprentissage de représentations euclidiennes, qui suppose une géométrie plate incapable de capturer les structures hiérarchiques complexes inhérentes aux données cliniques. De plus, les réseaux hyperboliques de bout en bout, bien que théoriquement adaptés aux données hiérarchiques, ont historiquement souffert d'instabilité numérique et d'une efficacité d'entraînement réduite sur de grands ensembles de données.

Méthodologie
Les auteurs proposent HypCBC (Hyperbolic Cross-Branch Consistency), un cadre qui exploite les variétés hyperboliques pour une généralisation de domaine robuste sans nécessiter de labels de domaine. La méthode opère sur un squelette (backbone) euclidien pré-entraîné et gelé (ex. ViT) et introduit une stratégie de projection hyperbolique légère :

1. Projection Hyperbolique : Au lieu d'entraîner un réseau hyperbolique de bout en bout, la méthode projette les plongements (embeddings) euclidiens d'un squelette gelé dans un modèle de boule de Poincaré ($D^d_c$) en utilisant une application exponentielle. Cela combine la stabilité des caractéristiques euclidiennes pré-entraînées avec les avantages géométriques de l'espace hyperbolique (courbure négative constante).
2. Architecture à Deux Branches : L'architecture emploie deux branches parallèles :
   • Branche à Haute Dimension ($d_1=128$) : Capture les caractéristiques fines et spécifiques aux classes pour l'inférence.
   • Branche à Basse Dimension ($d_2=2$) : Agit comme un goulot d'étranglement informationnel (information bottleneck). L'analyse empirique suggère que cet espace de faible dimension impose naturellement l'invariance de domaine en éliminant le bruit spécifique au domaine tout en conservant l'information discriminante pour les étiquettes.
3. Cohérence Inter-Branches (CBC) : Une nouvelle contrainte de régularisation non supervisée est introduite. Les logits de la branche à basse dimension (invariante au domaine) supervisent la branche à haute dimension via une perte de divergence de Kullback–Leibler (KL). Cela transfère les connaissances agnostiques au domaine vers la branche d'inférence principale sans dépendre de l'entraînement adversarial ou de labels de domaine explicites.
4. Objectif d'Entraînement : La perte totale combine les pertes d'entropie croisée pour les deux branches, ainsi que la perte de cohérence, pondérée par un hyperparamètre $\lambda$.

Contributions Clés

• Validation Complète de l'Apprentissage Hyperbolique : Le papier fournit la première validation étendue de l'apprentissage de représentations hyperboliques pour l'imagerie médicale, démontrant des améliorations statistiquement significatives par rapport aux bases de référence euclidiennes sur onze ensembles de données in-distribution couvrant neuf modalités d'imagerie, des tailles d'échantillons de $10^2$ à $10^5$, et des granularités de labels variables.
• Généralisation de Domaine Non Supervisée : L'introduction de HypCBC, une stratégie à deux branches avec cohérence invariante au domaine, qui surpasse les méthodes euclidiennes de pointe (incluant les approches basées sur l'augmentation et la minimisation du risque invariant) sur trois benchmarks de généralisation de domaine.
• Aperçus d'Ablation : L'étude révèle qu'une branche à basse dimension en 2D équilibre efficacement l'invariance de domaine et la discrimination des étiquettes. De plus, elle démontre que les gains de robustesse sont dus aux propriétés géométriques de la variété hyperbolique et à la contrainte de cohérence, plutôt qu'à une simple augmentation du nombre de paramètres.

Résultats Expérimentaux

• Performance In-Distribution (ID) : À travers trois modèles ViT (ViT-S, DeiT3-S, DINOv2-S) et onze ensembles de données médicaux, les classificateurs hyperboliques (HypERM) ont systématiquement surpassé les classificateurs euclidiens (ERM). Les gains sont statistiquement significatifs ($p < 0,05$), avec des améliorations notables sur les ensembles de données OCT (+2,70 %), Path (+1,48 %) et Tissue (+1,36 %) utilisant DINOv2.
• Généralisation de Domaine (DG) : Sur trois benchmarks — Fitzpatrick17k (dermatologie), Camelyon17-WILDS (histopathologie) et une configuration de recherche rétinienne inter-ensembles de données — HypCBC a obtenu les meilleures performances.
  • Il a surpassé la meilleure méthode euclidienne (AugMix) de +0,68 % sur le test Retina.
  • Il a obtenu une amélioration moyenne de +2,1 % d'AUC sur les trois benchmarks de DG par rapport aux bases de référence euclidiennes.
  • Contrairement à des méthodes telles que VREx, HypCBC obtient ces gains de manière entièrement non supervisée, sans accès aux labels de domaine pendant l'entraînement.
• Résultats d'Ablation :
  • Dimensionnalité : Un goulot d'étranglement en 2D a fourni la plus forte invariance de domaine (AUC de classification de domaine la plus faible) tout en maintenant une haute discrimination des étiquette. Les plongements hyperboliques ont maintenu les gains d'exactitude des étiquettes jusqu'à $d=128$, tandis que les plongements euclidiens ont plafonné.
  • Cohérence : La régularisation de la cohérence inter-branches a produit des gains d'AUC positifs sur tous les ensembles de données et toutes les tailles de goulot d'étranglement dans l'espace hyperbolique, alors que la cohérence euclidienne produisait des résultats inégaux ou négatifs.

Signification et Revendications
Les auteurs affirment que HypCBC offre une alternative « simple mais puissante » pour construire des systèmes d'IA médicale robustes. Le travail souligne que la courbure négative constante des variétés hyperboliques reflète naturellement les structures hiérarchiques des données cliniques, une caractéristique que la géométrie euclidienne plate ne peut capturer. En projetant les caractéristiques euclidiennes gelées dans un espace hyperbolique et en imposant une cohérence inter-branches, la méthode assure un entraînement stable et une généralisation supérieure à des domaines non vus. Le papier souligne que ces améliorations ne sont pas des artefacts d'une augmentation de la capacité du modèle, mais sont intrinsèques à la géométrie hyperbolique et à la contrainte de cohérence proposée.

Limites
Les auteurs notent que l'implémentation actuelle utilise un paramètre de courbure statique ($c=1,0$) et un squelette gelé. Ils suggèrent qu'une courbure apprenable ou l'ajustement fin (fine-tuning) du squelette pourrait encore améliorer les performances, mais au prix de la complexité. De plus, la méthode est actuellement évaluée uniquement sur des tâches de classification multi-classes à étiquette unique, bien que le mécanisme de cohérence au niveau des logits soit conceptuellement extensible aux contextes multi-étiquettes.