Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

1. Problématique : L'Adaptation au Moment du Test (TTA) en Boîte Noire Stricte

Le Deep Learning souffre souvent d'une dégradation des performances lors du déploiement en raison de décalages de distribution entre les données d'entraînement et les données de test. L'Adaptation au Moment du Test (TTA) vise à résoudre ce problème en adaptant un modèle pré-entraîné sur des données cibles non étiquetées.

Cependant, la plupart des méthodes existantes supposent un accès blanc (paramètres et gradients accessibles) ou gris (accès aux tokens internes ou caractéristiques intermédiaires). Dans le monde réel, les modèles les plus performants (comme CLIP ou les grands modèles de vision) sont souvent déployés via des API commerciales opaques.

• Contraintes de la Boîte Noire Stricte : L'utilisateur ne peut envoyer qu'une image brute et recevoir une distribution de probabilités (softmax). L'architecture, les paramètres, les données d'entraînement et les gradients sont inaccessibles.
• Défis majeurs :
  • Coût des requêtes : Chaque appel API a un coût financier et une latence réseau. Les méthodes nécessitant de multiples appels (comme l'optimisation d'ordre zéro) sont impraticables.
  • Instabilité : Sans labels ni gradients, l'optimisation directe (ex: minimisation de l'entropie via ZOO) conduit souvent à l'effondrement du modèle (catastrophic collapse), apprenant des solutions dégénérées qui corrompent le contenu sémantique de l'image.
  • Limites des approches actuelles : Les méthodes de raffinement de sortie (post-hoc) ont une capacité d'adaptation limitée, tandis que les méthodes de purification (basées sur la diffusion) introduisent une latence excessive.

2. Méthodologie : Le Framework BETA

Les auteurs proposent BETA (Black-box Efficient Test-time Adaptation), un cadre qui contourne l'inaccessibilité des gradients du modèle cible en utilisant un modèle de pilotage (steering model) local et léger.

A. Architecture Hybride

• Modèle Cible ($f_B$) : Le modèle boîte noire puissant (ex: ViT-B/16, CLIP) via API. Ses poids sont figés.
• Modèle de Pilotage ($f_S$) : Un modèle local léger (ex: ViT-S/16) entièrement accessible, initialisé à partir de checkpoints publics. Il sert de "guide" pour générer des gradients.

B. Appariement des Prédictions (Prediction Harmonization)

Au lieu d'essayer d'estimer le gradient du modèle cible (impossible) ou de transférer naïvement le gradient du modèle local (inefficace car la similarité des gradients entre architectures différentes est proche de zéro), BETA optimise un objectif partagé.

• On définit une prédiction harmonisée $p_H$ comme une combinaison pondérée des sorties du modèle local et du modèle cible :
  $$p_H(x') = \alpha \cdot p_S(x') + (1 - \alpha) \cdot p_B(x')$$
• L'objectif est de minimiser l'entropie de cette distribution harmonisée.
• Analyse théorique : L'entropie de $p_H$ se décompose en une somme pondérée des entropies individuelles plus une divergence de Jensen-Shannon (JS) entre les deux modèles.
  $$H(p_H) = \alpha H(p_S) + (1 - \alpha) H(p_B) + JS_\alpha(p_S \| p_B)$$
• Puisque $f_B$ est inaccessible, le gradient est calculé uniquement via $f_S$. La divergence JS agit comme un terme d'ancrage : elle force le prompt appris à aligner les prédictions du modèle local avec celles du modèle cible, évitant ainsi que le prompt ne "dérive" vers des classes incorrectes.

C. Stabilisation et Optimisation

Pour éviter l'instabilité inhérente à l'apprentissage de prompts sans supervision, BETA intègre deux mécanismes clés :

1. Filtrage des données orienté Prompt : Seuls les échantillons avec une entropie de prédiction faible (confiance élevée) sont utilisés pour mettre à jour le prompt. Cela élimine le bruit des échantillons incertains.
2. Régularisation de Cohérence (Consistency Regularization) : Une contrainte KL (Kullback-Leibler) est ajoutée pour minimiser la divergence entre les prédictions du modèle local sur l'image originale ($x$) et sur l'image promptée ($x'$). Cela empêche le prompt de détruire les représentations sémantiques apprises lors du pré-entraînement.

D. Optimisation

Le processus se fait en une seule passe (one-pass) par lot de données :

• Un seul appel API par échantillon.
• Mise à jour du prompt visuel $\delta$ et des couches de normalisation du modèle local via descente de gradient locale.
• Latence négligeable par rapport à l'inférence standard.

3. Contributions Clés

1. Première étude systématique de la TTA en boîte noire stricte : Identification des limites des méthodes existantes (raffinement de sortie, augmentation, purification, ZOO) dans ce contexte spécifique.
2. Introduction de BETA : Un cadre qui utilise un modèle de pilotage local pour créer un chemin de gradient tractable, stabilisé par une harmonisation des prédictions, une régularisation de cohérence et un filtrage de données.
3. Fondement analytique : Démonstration que l'objectif harmonisé introduit un terme d'alignement (JS) qui guide l'optimisation sans nécessiter l'accès aux gradients du modèle cible.
4. Résultats SOTA : Démonstration que BETA surpasse les méthodes boîte noire existantes et rivalise avec, voire dépasse, des méthodes boîte blanche puissantes (comme TENT, CoTTA) avec un coût d'API minimal.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (ImageNet-C, ImageNet-S, ImageNet-R) et avec des modèles variés (ViT-B/16, ViT-L/16, CLIP).

• Performance sur ImageNet-C (ViT-B/16) :

  • BETA atteint 62,6 % de précision, soit un gain de +7,1 % par rapport au modèle source.
  • Il surpasse les méthodes boîte blanche (TENT, SAR, CoTTA) et toutes les méthodes boîte/noire/grise existantes.
  • Gain sur CLIP : +3,4 % (atteignant 63,4 %), surpassant des méthodes spécialisées comme TPT et DynaPrompt.

• Efficacité et Coût (API Réelle) :

  • Sur l'API commerciale Clarifai, BETA améliore la précision de +5,2 % avec un budget de 0,4 $ (environ 120 échantillons).
  • À performance égale, les méthodes ZOO nécessitent plus de 100 $, soit un avantage de coût de 250x pour BETA.
  • Latence : BETA maintient une vitesse d'inférence réelle (un seul appel API), tandis que les méthodes ZOO ou d'augmentation souffrent de latences massives dues à de multiples appels.

• Robustesse :

  • BETA reste stable face aux déséquilibres de classes, aux décalages de domaine continus et aux variations de taille de lot.
  • Il fonctionne même avec un modèle de pilotage beaucoup plus faible (ViT-Tiny) que le modèle cible, prouvant qu'il apprend des signaux d'adaptation bénéfiques plutôt que de simplement copier les prédictions du modèle local.

5. Signification et Impact

Ce travail transforme l'adaptation de modèles en boîte noire d'un problème théoriquement difficile en une solution pratique et économiquement viable.

• Déploiement Réel : BETA rend possible l'adaptation en temps réel de modèles commerciaux (SaaS) sans coût prohibitif ni latence excessive, ce qui est crucial pour des applications critiques comme le diagnostic médical ou la surveillance industrielle.
• Paradigme de Pilotage : L'idée d'utiliser un petit modèle local pour "piloter" un grand modèle distant via des prompts d'entrée ouvre de nouvelles perspectives pour l'adaptation de systèmes d'agents complexes (LLM, agents multimodaux) où le modèle principal est inaccessible.
• Efficacité Écologique et Économique : En réduisant le nombre d'appels API de plusieurs ordres de grandeur, BETA réduit considérablement l'empreinte carbone et le coût financier des déploiements de modèles d'IA.

En résumé, BETA résout le dilemme entre l'efficacité de l'adaptation et les contraintes d'accès aux modèles, offrant une méthode robuste, stable et ultra-efficace pour s'adapter aux changements de distribution dans des environnements de production réels.