Résumé Technique : GoTTA doit être Divers : Repenser les Politiques de Mémoire pour l'Adaptation au Moment du Test

Définition du Problème

L'Adaptation au Moment du Test (TTA) permet aux modèles pré-entraînés de s'adapter en ligne à des flux de test non étiquetés subissant des décalages de distribution, sans accès aux données sources. Bien que de nombreuses recherches se concentrent sur les objectifs d'adaptation (par exemple, minimisation de l'entropie, étiquetage pseudo), le déploiement pratique fait face à des défis liés à des flux non stationnaires, temporellement corrélés et déséquilibrés par classe. Dans de tels contextes, les lots consécutifs contiennent souvent des échantillons redondants ou présentent un déséquilibre sévère des étiquettes, entraînant une amplification des erreurs de prédiction et un oubli accéléré.

Les méthodes TTA existantes utilisent souvent des tampons de mémoire pour stabiliser l'adaptation. Cependant, ces mécanismes de mémoire sont généralement évalués comme des composants inséparables d'algorithmes spécifiques, rendant difficile l'isolement des choix de conception (par exemple, récence, équilibre des classes, diversité) qui déterminent les performances. De plus, les politiques de mémoire standard (par exemple, FIFO, échantillonnage de réservoir) ou même les stratégies guidées par la classe échouent souvent à empêcher la rétention d'échantillons quasi-dupliqués au sein d'une même classe, gaspillant une capacité mémoire limitée et affaiblissant le signal d'adaptation.

Méthodologie

Les auteurs proposent une approche systématique pour découpler la gestion de la mémoire de l'algorithme d'adaptation, traitant la mémoire comme un composant modulaire et de première classe de la TTA.

1. Évaluation Systématique

L'étude évalue les politiques de mémoire dans des conditions unifiées à travers :

• Types de Flux : i.i.d., non-i.i.d. (temporellement corrélés), continus, et flux vidéo pratiques.
• Familles de Politiques :
  • Non informées : FIFO, Échantillonnage de Réservoir.
  • Guidées par la classe : Échantillonnage de Réservoir Équilibré par Pseudo-étiquettes (PBRS), CSTU (équilibrage des classes avec ponctualité/incertitude).
  • Conscientes de la diversité : La famille proposée Guided Observational Test-Time Adaptation (GOTTA).

2. Le Cadre GOTTA

GOTTA introduit des politiques de mémoire conscientes de la diversité qui imposent conjointement un équilibre des classes et une diversité géométrique intra-classe. Le principe fondamental est que la mémoire doit agir comme un coreset compact d'échantillons observés plutôt que comme un tampon passif. GOTTA utilise deux mécanismes d'échantillonnage principaux :

• Échantillonnage du Point le Plus Éloigné (FPS) :

  • Attribue les échantillons entrants à des partitions de pseudo-étiquettes.
  • Au sein d'une partition, il compare le candidat au voisin stocké le plus proche.
  • Il utilise un score d'éviction partagé $H(m_i)$ basé sur l'âge et l'incertitude (adapté de CSTU) pour décider quelle entrée évacuer.
  • Vérification de la Diversité : Un candidat n'est accepté que si sa distance au voisin le plus proche dans la partition dépasse un seuil $\epsilon$ (fixé à 0,005).
  • FPSD (Dynamique) : Étend le FPS en ré-encodant périodiquement les échantillons stockés via le modèle actuel pour mettre à jour les représentations et les pseudo-étiquettes, garantissant que les métriques de diversité restent cohérentes avec l'espace de caractéristiques évolutif.

• Échantillonnage de Diversité Cosinus (CDS) :

  • Se concentre sur la diversité angulaire au sein des partitions de classes.
  • Utilise des représentations normalisées pour calculer la similarité cosinus.
  • Si une partition est pleine, elle forme un ensemble de candidats incluant le nouvel échantillon et identifie l'élément le plus redondant (similarité maximale la plus élevée avec les autres) pour l'éviction.
  • Inclut un filtre de redondance léger pour rejeter immédiatement les candidats hautement similaires.

3. Configuration Expérimentale

• Ensembles de Données : CIFAR-10-C, ImageNet-C, et ITD (un benchmark basé sur la vidéo avec une structure non-i.i.d. inhérente).
• Protocoles : Adaptation épisodique et continue sous divers budgets de mémoire ($M \in \{8, 16, 32, 64\}$) et niveaux de déséquilibre du flux (contrôlés par le paramètre de concentration de Dirichlet $\gamma$).
• Lignes de Base : Évaluées à travers diverses méthodes TTA incluant TENT, SHOT, PL, CoTTA, NOTE, RoTTA, EATA, SAR et Energy.

Résultats Clés

1. Impact de la Capacité de Mémoire et de la Corrélation du Flux

• Budgets Contraints : Sous des contraintes de mémoire strictes (par exemple, $M=32$) et des flux temporellement corrélés, les mémoires conscientes de la diversité (GOTTA) surpassent significativement les lignes de base non informées et guidées par la classe. Par exemple, sur CIFAR-10-C avec $M=32$, FPS couplé à la méthode Norm a atteint une précision de 76,11 %, surpassant FIFO (72,63 %) et CSTU (72,75 %).
• Sous-dimensionnement Sévère : Sur ImageNet-C ($M=64$ pour 1 000 classes), où un équilibre strict des classes est mathématiquement impossible, la sélection consciente de la diversité s'est révélée critique. CDS et FPS ont maintenu des performances compétitives là où d'autres méthodes ont échoué, démontrant que la diversité par instance est un critère plus robuste que l'équilibre strict des classes dans des scénarios extrêmes.
• Flux Vidéo : Sur le benchmark vidéo ITD, FPS couplé à RoTTA a obtenu les meilleurs résultats parmi les politiques de mémoire, soulignant la nécessité de gérer la redondance temporelle dans les données vidéo.

2. Sensibilité au Seuil de Diversité

• Les études d'ablation sur le seuil de diversité $\epsilon$ ont révélé que $\epsilon = 0,005$ offrait systématiquement le meilleur équilibre entre diversité et représentativité.
• Des valeurs plus faibles ($\epsilon = 0,001$) ont permis l'accumulation d'échantillons redondants, tandis que des valeurs plus élevées ($\epsilon = 0,01$) ont trop restreint les mises à jour de la mémoire, réduisant la couverture de la distribution des données.

3. Évolutivité

• À mesure que la capacité de mémoire augmentait (par exemple, jusqu'à $M=64$), l'écart de performance entre les politiques conscientes de la diversité et les politiques plus simples s'est réduit. Cela suggère que des tampons plus grands peuvent partiellement compenser des stratégies de sélection plus faibles, mais que les politiques conscientes de la diversité restent supérieures ou compétitives même lorsque la capacité évolue.

Importance et Revendications

L'article soutient que la gestion de la mémoire est un composant de première classe de l'Adaptation au Moment du Test robuste. Les auteurs affirment que :

1. La Diversité est Centrale : Une gestion efficace de la mémoire nécessite plus que la simple rétention d'échantillons récents ou équilibrés par classe ; la diversité des caractéristiques intra-classe est essentielle pour éviter des tampons redondants et maintenir des signaux d'adaptation représentatifs, en particulier sous des flux temporellement corrélés et déséquilibrés par étiquettes.
2. Modularité : Les politiques de mémoire peuvent être découplées des objectifs d'adaptation. GOTTA sert de "remplacement plug-and-play" pour les tampons existants, améliorant les performances à travers divers algorithmes TTA sans modifier la fonction de perte d'adaptation sous-jacente ni l'architecture.
3. Nécessité Pratique : Dans le déploiement réel où la mémoire est contrainte et les données non-i.i.d., imposer la diversité parallèlement à l'équilibre des classes est un principe de conception critique pour prévenir l'accumulation d'erreurs et l'oubli.

Limites

Les auteurs reconnaissent que GOTTA repose sur des distances dans l'espace des caractéristiques, dont la fiabilité dépend de la qualité des représentations pendant l'adaptation. De plus, l'approche introduit des coûts de curation plus élevés par rapport aux mémoires FIFO ou de réservoir simples. L'évaluation se concentre principalement sur des benchmarks de corruption et des flux vidéo contrôlés, une validation plus large sur des données de déploiement diverses étant laissée pour un travail futur.