Résumé Technique : USE – Un cadre d'auto-ensemblage unifié pour le réglage de prompts au moment du test

1. Énoncé du problème

Les modèles vision-langage (VLM), tels que CLIP, ont démontré une forte généralisation dans des contextes de zéro tir (zero-shot), mais restent vulnérables aux changements de distribution dans les tâches en aval. Bien que l'adaptation au moment du test (TTA - Test-Time Adaptation) offre une solution en exploitant des échantillons de test non étiquetés, les méthodes existantes souffrent souvent d'incohérences entre leurs étapes d'optimisation et d'inférence.

Plus précisément, la méthode pionnière de réglage de prompt au moment du test (TPT - Test-Time Prompt Tuning) optimise les prompts textuels en minimisant l'entropie marginale sur des prédictions moyennes de vues augmentées. Cependant, TPT et ses variantes s'appuient généralement sur une augmentation « faible » (l'image originale) pour l'inférence finale, tandis que l'étape d'optimisation utilise une moyenne d'augmentations « fortes ». Cette divergence crée un désalignement entre les pseudo-étiquettes utilisées pour l'optimisation et la stratégie de prédiction finale. De plus, les approches existantes sous-pondèrent ou excluent souvent l'image de test originale lors de la construction des pseudo-étiquettes, malgré la preuve que l'image originale peut être plus fiable que certaines vues augmentées dans la classification zero-shot.

2. Méthodologie

Le papier propose USE (Unified Self-Ensembling), un cadre qui unifie les étapes d'optimisation et d'inférence par une stratégie d'auto-ensemblage cohérente.

2.1 Reconsidérer TPT comme de l'auto-apprentissage

Les auteurs réinterprètent d'abord l'objectif de TPT. En introduisant une distribution auxiliaire $q$ (une version de la prédiction moyenne avec arrêt du gradient), l'objectif de minimisation de l'entropie marginale est décomposé en un terme d'entropie croisée inverse (RCE) et un terme de divergence KL. Puisque le terme KL est optimisé lorsque $q$ est fixe, l'objectif se réduit effectivement à la minimisation de la RCE. Cela révèle que TPT apprend implicitement à partir de pseudo-étiquettes auto-générées, où la pseudo-étiquette est construite en moyennant les prédictions de vues augmentées à faible entropie sélectionnées.

2.2 Stratégie d'Auto-Ensemblement (SE)

Pour améliorer la qualité de ces pseudo-étiquettes, les auteurs introduisent une stratégie d'Auto-Ensemblement (SE). L'analyse empirique montre que si les augmentations fortes sont utiles, l'augmentation faible (l'image de test originale) possède souvent une valeur distinctive et ne doit pas être écartée.

La stratégie SE agrège dynamiquement les prédictions des augmentations faibles ($p_w$) et fortes ($p_s$). Elle utilise un coefficient de pondération $\beta$ basé sur l'entropie pour ajuster de manière adaptative la contribution de l'image de test :

1. Classement : Le rang de l'auto-entropie relative $\delta$ de l'augmentation faible est calculé par rapport à l'ensemble des augmentations fortes.
2. Pondération : Une fonction linéaire redimensionne $\delta$ en un poids $\beta$ (contraint entre 0,3 et 0,7). Si l'augmentation faible présente une entropie plus faible (confiance plus élevée) que la plupart des augmentations fortes, elle reçoit un poids plus élevé.
3. Construction de la Pseudo-Étiquette : La pseudo-étiquette finale $q(x)$ est calculée comme suit :
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 Le Cadre Unifié (USE)

USE assure la cohérence entre les deux étapes de la TTA :

• Étape d'Optimisation : Le prompt textuel est optimisé à l'aide de la perte RCE, où la pseudo-étiquette cible $q(x)$ est générée via la stratégie SE.
• Étape d'Inférence : Contrairement à TPT, qui prédit uniquement sur l'augmentation faible, USE applique la même stratégie SE pour générer la prédiction finale $\hat{p}(x)$. Cela unifie l'objectif d'estimation de la pseudo-étiquette et l'inférence finale.

De plus, les auteurs introduisent une technique de saut (skip technique) pour réduire le coût computationnel. Si la prédiction de l'augmentation faible est identique aux augmentations fortes sélectionnées, l'étape d'optimisation est sautée, car la prédiction est jugée fiable.

Notamment, la stratégie SE peut fonctionner indépendamment comme une méthode TTA sans optimisation, ne nécessant aucune rétropropagation.

3. Contributions Clés

• Réinterprétation de TPT : Le papier révèle que TPT apprend implicitement à partir de pseudo-étiquettes auto-générées, formulant l'objectif d'entropie marginale comme une perte d'entropie croisée inverse contre une cible avec arrêt de gradient.
• Auto-Ensemblement (SE) : Une stratégie simple et efficace qui pondère de manière adaptative les augmentations faibles et fortes pour générer des pseudo-étiquettes plus fiables. Elle sert de méthode TTA autonome et sans optimisation.
• Cadre Unifié (USE) : Un cadre de TTA qui aligne l'objectif d'optimisation avec l'objectif d'inférence en appliquant la stratégie SE dans les deux étapes, garantissant la cohérence.
• Capacité Plug-and-Play : SE est présenté comme un module léger qui peut être intégré aux méthodes TTA existantes pour améliorer systématiquement les performances sans surcoût computationnel significatif.

4. Résultats Expérimentaux

Les auteurs ont évalué USE et SE sur ImageNet, ses variantes hors distribution (OOD) (ImageNet-A, V2, R, Sketch) et dix ensembles de données fines (ex: DTD, Flowers102, EuroSAT) en utilisant les architectures ViT-B/16 et ResNet-50.

• Performance :
  • Sans Optimisation : SE a obtenu les meilleurs ou seconds meilleurs résultats parmi les méthodes sans optimisation, surpassant CLIP, MTA et ZERO. Sur l'architecture ResNet-50, SE a atteint une précision moyenne de 47,80 % sur les ensembles de données OOD, dépassant de nombreuses méthodes basées sur l'optimisation.
  • Basée sur l'Optimisation : USE surpasse systématiquement les bases de référence comme TPT, C-TPT, R-TPT et STS. Sur les ensembles de données fins avec ViT-B/16, USE a amélioré la précision moyenne de 64,84 % (TPT) à 65,35 %.
  • Robustesse : Lorsqu'il est initialisé avec CoOp (une initialisation de prompt plus forte), SE et USE maintiennent tous deux des performances de premier plan, démontrant une robustesse aux différentes configurations pré-entraînées.
• Intégration : L'intégration de SE en tant que module plug-in dans les méthodes existantes (TPT, C-TPT, R-TPT, STS) a systématiquement produit des gains de précision. Par exemple, l'ajout de SE à C-TPT a augmenté sa précision IN&O de 61,09 % à 64,27 %.
• Efficacité :
  • SE est hautement efficace, nécessitant seulement 0,059 seconde par échantillon et 1,06 Go de mémoire, ce qui est comparable à 64 passages forward de CLIP mais avec une précision supérieure.
  • USE, utilisant la technique de saut, a réduit le temps de test moyen à 0,144 seconde par image. Plus de 60 % des échantillons de test ont été sautés sans dégradation de la précision.

5. Signification et Revendications

Le papier affirme que la principale importance de USE réside dans son unification des objectifs d'optimisation et d'inférence. En garantissant que les pseudo-étiquettes utilisées pour l'adaptation sont construites selon la même stratégie que l'inférence finale, USE élimine l'écart de performance souvent observé dans les méthodes TTA.

Les auteurs soulignent que :

1. La Cohérence est la Clé : Les gains de performance sont largement attribués à la cohérence fournie par la stratégie SE à travers les deux étapes.
2. Simplicité et Efficacité : La stratégie SE est un mécanisme de pondération basé sur l'entropie simple qui ne nécessite ni objectifs d'entraînement complexes ni paramètres supplémentaires, tout en apportant des améliorations substantielles.
3. Polyvalence : Le cadre est polyvalent, fonctionnant efficacement à la fois comme une méthode autonome sans optimisation et comme une amélioration cohérente pour les méthodes basées sur l'optimisation.

Le papier conclut que bien que la méthode introduise un certain surcoût computationnel dû à la génération de multiples augmentations (un trait commun de la TTA épisodique), l'utilisation de la technique de saut et les gains de précision élevés en font une approche pratique et efficace pour améliorer la robustesse des VLM face aux changements de distribution.