Résumé Technique : BP-TTA : Adaptation au Temps de Test Équilibrée et Guidée par des Prototypes dans des Scénarios Dynamiques

1. Définition du Problème

L'article traite des limites des méthodes existantes d'Adaptation au Temps de Test (TTA) lorsqu'elles sont déployées dans des scénarios dynamiques du monde réel. Alors que la TTA traditionnelle suppose que les données de test sont indépendantes et identiquement distribuées (i.i.d.) à partir d'un domaine cible unique, les applications pratiques impliquent des contextes d'Adaptation au Temps de Test Pratique (PTTA) caractérisés par deux défis simultanés :

1. Décalages de Domaine Continus : La distribution de test évolue continuellement au fil du temps en raison de changements des conditions environnementales (ex. : éclairage, météo, bruit des capteurs).
2. Déséquilibre de Classes dans les Données en Flux : En raison des corrélations temporelles dans les flux du monde réel (ex. : un véhicule sur une autoroute voyant principalement des voitures, puis entrant dans une zone résidentielle avec des piétons), les fenêtres de temps courtes présentent souvent un déséquilibre de classes sévère.

Les méthodes existantes échouent souvent dans ce contexte car :

• Déséquilibre de Classes : Les mises à jour de gradient sont dominées par les classes majoritaires, provoquant le surapprentissage des modèles sur des motifs à court terme et négligeant les classes minoritaires.
• Décalages Continus : Le recours aux pseudo-étiquettes ou à la minimisation de l'entropie devient instable à mesure que la distribution dérive, entraînant une supervision bruitée et un oubli catastrophique.

2. Méthodologie : BP-TTA

Les auteurs proposent BP-TTA (Balanced and Prototype-Guided Test-Time Adaptation), un cadre qui intègre un Échantillonnage par Lot Équilibré (BBS) et une Adaptation Guidée par les Prototypes de Catégories (CPGA) au sein d'une architecture de type Mean Teacher (réseaux étudiant et enseignant).

A. Échantillonnage par Lot Équilibré (BBS)

Pour atténuer le déséquilibre des classes dans les flux de données, le BBS reconstruit dynamiquement des lots d'entraînement équilibrés.

• Banque de Mémoire : Maintient une banque de mémoire sensible aux classes $\mathcal{M}$ stockant des échantillons avec les attributs suivants : pseudo-étiquette ($\hat{y}_i$), âge ($a_i$), confiance ($\gamma_i$) et incertitude ($u_i$).
• Mécanisme de Sélection : Utilise un score de sélection $H_i = \exp(a_i/K) + u_i$ pour gérer la banque de mémoire, privilégiant les échantillons récents et incertains tout en supprimant les redondances.
• Reconstruction du Lot : Pour chaque lot entrant, la méthode :
  • Sous-échantillonne les classes majoritaires en sélectionnant les $N$ échantillons ayant la plus haute confiance.
  • Complète les classes minoritaires en récupérant des échantillons de haute confiance depuis la banque de mémoire.
  • Réplique les échantillons si nécessaire pour assurer un nombre fixe d'échantillons par classe ($N_{per-class}$).
• Différenciation : Contrairement aux travaux antérieurs (ex. : RoTTA) qui reposent uniquement sur les échantillons de la banque de mémoire, le BBS opère directement sur le lot entrant, garantissant que le lot équilibré reflète la distribution cible actuelle tout en corrigeant le déséquilibre.

B. Adaptation Guidée par les Prototypes de Catégories (CPGA)

Pour stabiliser l'adaptation sous des décalages de domaine continus, la CPGA exploite les prototypes de classes pour guider l'apprentissage des caractéristiques.

• Initialisation et Mise à Jour des Prototypes : Les prototypes de classes $\{p_c\}$ sont initialisés à partir des poids du classificateur du modèle source. Ils sont mis à jour via un mécanisme de Moyenne Mobile Exponentielle (EMA) en utilisant uniquement des échantillons de haute confiance ($\gamma_i \geq \tau$) :
  $$p_c^{(t+1)} = \alpha p_c^{(t)} + (1-\alpha)z_i \quad \text{si } \hat{y}_i = c \text{ et } \gamma_i \geq \tau$$
• Perte de Prototype : Une perte de supervision est introduite pour minimiser la distance entre les caractéristiques des échantillons et leurs prototypes de classe correspondants, encourageant le regroupement intra-classe et la séparation inter-classe :
  $$\mathcal{L}_{proto} = \frac{1}{|S|} \sum_{i \in S} (1 - \text{sim}(z_i, p_{\hat{y}_i}))$$
  où $S$ est l'ensemble des échantillons de haute confiance.

C. Optimisation Globale

La fonction de perte totale combine la perte de cohérence standard (entre l'étudiant et l'enseignant sous augmentation) et la perte de prototype :
$$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \mathcal{L}_{proto}$$
Le modèle étudiant est mis à jour via la descente de gradient, tandis que le modèle enseignant est mis à jour via EMA.

3. Contributions Clés

1. Cadre Novateur : Propose BP-TTA, la première méthode traitant conjointement le déséquilibre des classes et les décalages de domaine continus dans les contextes de PTTA en combinant l'échantillonnage par lot équilibré avec l'adaptation guidée par les prototypes.
2. Échantillonnage par Lot Équilibré (BBS) : Introduit un mécanisme pour reconstruire dynamiquement des lots équilibrés à partir de flux déséquilibrés en utilisant une banque de mémoire sensible aux classes, garantissant des pseudo-étiquettes fiables pour toutes les classes.
3. Adaptation Guidée par les Prototypes de Catégories (CPGA) : Développe une méthode pour maintenir des prototypes de classes évolutifs pendant l'inférence, utilisant la similitude des prototypes comme contrainte pour améliorer la fiabilité des pseudo-étiquettes et la stabilité de l'espace des caractéristiques.
4. Évaluation Complète : Démontre une performance supérieure aux méthodes de pointe de la TTA (incluant TENT, CoTTA, EATA, SAR et RoTTA) sur trois jeux de données (CIFAR10-C, CIFAR100-C, ImageNet-C) et le jeu de données DomainNet-126 sous conditions de PTTA.

4. Résultats Expérimentaux

L'article rapporte des expériences approfondies validant l'efficacité de BP-TTA :

• Performance : BP-TTA surpasse systématiquement toutes les méthodes de référence. Sur CIFAR10-C, CIFAR100-C et ImageNet-C, il améliore la précision moyenne de 3,08 %, 1,84 % et 1,59 % respectivement par rapport aux deuxièmes meilleures méthodes.
• Études d'Ablation :
  • Efficacité des Composants : L'utilisation du BBS seul réduit considérablement les taux d'erreur par rapport au modèle source. La CPGA seule peine sous un déséquilibre sévère en raison de mises à jour de prototypes bruitées. La combinaison (BBS+CPGA) produit les meilleurs résultats.
  • Hyperparamètres : La méthode est robuste aux variations du seuil de confiance $\tau$ et du facteur de lissage $\alpha$. Un facteur de pondération $\lambda=10$ pour la perte de prototype a été jugé optimal.
  • Taille de Lot : Des tailles de lot modérées offrent le meilleur équilibre entre stabilité et vitesse de réponse.
• Robustesse :
  • Fréquence de Décalage de Domaine : BP-TTA se dégrade plus lentement que RoTTA à mesure que la fréquence des changements de domaine augmente.
  • Sévérité du Déséquilibre : La méthode maintient une performance stable même lorsque le paramètre de concentration de Dirichlet $\delta$ diminue (indiquant un déséquilibre plus élevé).
  • Ordre de Séquence : Contrairement à DA-TTA, qui montre une forte variance selon les séquences de décalage de domaine, BP-TTA maintient une performance constante quel que soit l'ordre des décalages.
  • Architecture du Modèle : La méthode est efficace sur diverses architectures de réseaux (ResNet, WideResNet, ResNeXt) sans chute de performance significative.
• Visualisation : Les visualisations t-SNE confirment que la CPGA produit des clusters intra-classes plus compacts et une meilleure séparation inter-classes par rapport aux méthodes de prototypes de référence comme T3A.

5. Signification et Revendications

L'article affirme que BP-TTA fournit une solution robuste pour l'Adaptation au Temps de Test Pratique, un contexte qui reflète plus fidèlement les défis de déploiement réel que les paradigmes précédents de TTA statique ou purement continu.

• Réponse aux Contraintes du Monde Réel : En gérant explicitement l'interaction entre le déséquilibre des classes et les décalages de domaine, la méthode prévient les "échecs catastrophiques" souvent observés lorsque les modèles sont exposés à des flux de données avec des corrélations temporelles.
• Stabilité : L'intégration du guidage par les prototypes stabilise le processus d'apprentissage, empêchant le modèle de faire du surapprentissage sur les classes dominantes ou d'être induit en erreur par des pseudo-étiquettes bruitées lors des dérives de distribution.
• État de l'Art : Les auteurs affirment que leur méthode atteint des performances de pointe dans les environnements de streaming dynamiques, offrant une solution flexible et pratique pour améliorer la robustesse des modèles dans des environnements non stationnaires.

Ce travail est soutenu par le Plan de Percée des Disciplines Fondamentales et Interdisciplinaires du Ministère de l'Éducation de Chine et la Fondation des Sciences Naturelles de la province du Sichuan.