Entropy Minimization without Model Collapse: Mitigating Prediction Bias in Medical Imaging

Résumé Technique : Minimisation de l'Entropie sans Effondrement du Modèle

Énoncé du Problème
L'adaptation au moment du test (Test-Time Adaptation, TTA) est essentielle pour déployer des modèles d'apprentissage automatique dans des scénarios réels où les distributions de données changent en raison de modifications des capteurs, des environnements ou des protocoles d'acquisition. En imagerie médicale, ces changements sont souvent subtils et hétérogènes (par exemple, différents scanners ou protocoles de coloration), mais ils peuvent causer une dégradation significative des performances. La minimisation de l'entropie (Entropy Minimization, EM) est devenue l'objectif dominant pour la TTA, visant à réduire l'incertitude des prédictions sur les données de test non étiquetées. Cependant, l'EM souffre d'un mode de défaillance critique connu sous le nom d'effondrement du modèle (model collapse), où le modèle converge vers la prédiction d'une classe unique, quel que soit l'intrant.

Les auteurs identifient que la cause profonde de cet effondrement n'est pas simplement le processus d'adaptation lui-même, mais un phénomène qu'ils nomment biais de prédiction. Sous l'effet des changements de distribution, les amas de caractéristiques (feature clusters) correspondant à des classes distinctes dans l'espace de représentation peuvent dériver et fusionner partiellement, tandis que la frontière de décision du classifieur reste fixe. Cela induit un biais dans la distribution des classes prédites, où certaines classes deviennent surreprésentées et d'autres réprimées. L'EM standard amplifie ce biais existant en resserrant les amas fusionnés, créant une boucle de rétroaction positive qui conduit le modèle vers une solution triviale à classe unique.

Méthodologie : Réduction du Biais de Décalage de Distribution (DSBR)
Pour atténuer ce mode de défaillance, les auteurs proposent la Réduction du Biais de Décalage de Distribution (Distribution Shift Bias Reduction, DSBR), un objectif de correction de biais conçu pour fonctionner uniquement au moment du test, sans accès aux données sources ou aux étiquettes.

1. Mécanisme Central : DSBR traite le biais de prédiction en égalisant la contribution de chaque classe prédite à la perte de minimisation de l'entropie non supervisée. Au lieu de laisser les amas dominants dicter les mises à jour du gradient, DSBR repondère la perte pour empêcher qu'une seule classe ne submerge le signal d'optimisation.
2. Formulation Mathématique : La méthode définit une distribution cible équilibrée $p^*_X$ qui assigne une masse de probabilité égale ($1/K$) à chaque amas prédit. En utilisant un repondérage par importance, la perte pour un échantillon $x$ est mise à l'échelle par $1 / (K \cdot \hat{p}_{\hat{Y}}(\hat{y}(x)))$, où $\hat{p}_{\hat{Y}}$ est la fréquence estimée de la classe prédite. Cela garantit que les échantillons dans les amas sous-représentés contribuent davantage au gradient, tandis que ceux dans les amas surreprésentés y contribuent moins, encourageant activement la séparation des amas fusionnés.
3. Implémentation : Puisque la véritable distribution des classes prédites est inconnue au moment du test, DSBR l'approxime en utilisant une moyenne mobile exponentielle (Exponential Moving Average, EMA) des fréquences des amas à travers les lots (batches). Ceci est particulièrement crucial pour les ensembles de données à grand nombre de classes (par exemple, ImageNet avec $K=1000$) où de petits lots mèneraient autrement à des estimations par lot dégénérées.

Contributions Clés

• Identification du Biais de Prédiction : L'article établit que le biais de prédiction — un écart dans la distribution des classes prédites présent avant que l'adaptation ne commence en raison de la fusion des amas de caractéristiques — est la cause profonde de l'effondrement de l'EM. Il démontre que l'EM ne crée pas ce biais, mais l'amplifie jusqu'à ce que l'effondrement se produise.
• Algorithme DSBR : Les auteurs introduisent DSBR, une méthode qui cible spécifiquement ce mode de défaillance en repondérant la perte d'entropie pour équilibrer les contributions des classes. Contrairement à d'autres approches, elle ne repose pas sur le filtrage d'échantillons, des augmentations spécifiques au domaine ou des régularisateurs complexes.
• Évaluation Complète : L'étude conçoit des scénarios d'adaptation exigeants à travers quatre ensembles de données d'imagerie médicale (WILDSCamelyon, Histopantum, MammoBench, GliomaMRI) et le benchmark de vision naturelle ImageNet-C.

Résultats

• Prévention de l'Effondrement : Sur les benchmarks d'imagerie médicale, les méthodes EM standard (comme Tent) s'effondrent fréquemment vers une précision de niveau chance sur des paires domaine source-cible spécifiques. DSBR prévient systématiquement cet effondrement, atteignant une précision quasi optimale dans toutes les configurations.
• Gains de Performance : DSBR surpasse les bases de référence de l'état de l'art (incluant Tent, SAR, ROID et DeYO). Sur les données médicales, il a obtenu une amélioration moyenne de +4,2 % (ResNet) et +2,6 % (ViT) par rapport aux bases non adaptées, dépassant nettement les meilleures méthodes suivantes.
• Robustesse : Sur ImageNet-C, DSBR a démontré une stabilité supérieure sous des corruptions sévères, des corruptions mixtes et des décalages de labels extrêmes. Il a géré efficacement des tailles de lots aussi petites que 1, à condition que le déclin de l'EMA soit correctement ajusté, là où d'autres méthodes échouaient souvent ou s'effondraient.
• Validation du Mécanisme : Les visualisations des plongements d'espace de caractéristiques confirment que, tandis que l'EM provoque la fusion et l'effondrement des amas, DSBR maintient des amas bien séparés tout au long du processus d'adaptation.

Signification
L'article soutient que stabiliser la minimisation de l'entropie nécessite une compréhension mécaniste et fondée de pourquoi elle échoue. En isolant le biais de prédiction comme le principal moteur de l'effondrement, les auteurs montrent que corriger cette quantité unique est suffisant pour stabiliser la TTA. La signification de ce travail réside dans sa démonstration que l'adaptation au moment du test robuste dans des domaines critiques comme l'imagerie médicale ne nécessite pas d'heuristiques complexes ou de filtrage de données, mais plutôt une correction directe de la dynamique d'optimisation qui mène à l'effondrement du modèle. DSBR offre une solution simple, légère en hyperparamètres, qui fonctionne entièrement au moment du test, ce la rendant hautement applicable pour le déploiement clinique où la fiabilité est primordiale.