Résumé Technique : Tempora – Caractérisation de l'utilité dépendante du temps de l'adaptation en temps réel (Test-Time Adaptation)

1. Énoncé du problème

Les modèles d'apprentissage automatique déployés dans des systèmes réels non stationnaires souffrent souvent d'une dégradation des performances lorsque la distribution de test dévie de la distribution d'entraînement (décalage de covariables ou covariate shift). L'adaptation en temps réel (Test-Time Adaptation ou TTA) répond à ce problème en permettant aux modèles de s'adapter en utilisant uniquement les données non étiquetées entrantes et les paramètres pré-entraînés, sans nécessiter de données sources ou de labels.

Cependant, les évaluations conventionnelles des méthodes de TTA souffrent d'une faille critique : elles supposent un temps de traitement illimité. Les benchmarks standards rapportent des améliorations de précision agrégées tout en ignorant la surcharge computationnelle introduite par les mécanismes d'adaptation (ex: mises à jour de gradients, optimisation itérative). Dans les déploiements sensibles à la latence (ex: conduite autonome, photographie sur appareil mobile, aide à la décision clinique), une prédiction correcte arrivant après qu'un utilisateur a fermé une application ou qu'un robot a pris une décision est futile. Le paradigme d'évaluation actuel ne tient pas compte du compromis précision-latence, menant à la sélection de méthodes qui peuvent être computationnellement « insolvables » sous des contraintes temporelles réelles.

2. Méthodologie : Le cadre Tempora

Les auteurs introduisent Tempora, un cadre conçu pour évaluer la TTA sous pression temporelle. Il opérationnalise le compromis précision-latence à travers trois scénarios temporels distincts, chacun doté d'un protocole d'évaluation spécifique et d'une métrique d'utilité dépendante du temps correspondante.

2.1 Scénarios temporels et métriques

Le cadre définit l'utilité $U$ comme une application fonctionnelle cartographiant la trajectoire conjointe des prédictions et de la latence vers une valeur scalaire, conditionnée par le contexte de déploiement :

1. Utilité discrète (Pilotée par l'environnement) :

   • Scénario : Flux asynchrones avec des échéances strictes (ex: réseaux de capteurs). Les lots (batches) arrivent à des intervalles fixes $\gamma$. Si le pipeline est occupé, des lots sont sautés.
   • Métrique : $U_{discrete} = \alpha \cdot \bar{a}_{served}$, où $\alpha$ est la disponibilité (fraction des lots servis) et $\bar{a}_{served}$ est la précision sur les lots servis.
   • Protocole : Utilise un pipeline à modèle unique avec un tampon de taille de lot. Contrairement aux travaux antérieurs qui utilisent des modèles de secours pour garantir la disponibilité, ce protocole expose le coût des lots manqués.

2. Utilité continue (Pilotée par l'utilisateur) :

   • Scénario : Environnements interactifs où la valeur décroît avec la latence (ex: étiquetage de photos sur appareil). Le flux se synchronise avec l'émission de prédictions ; aucun lot n'est sauté, mais les délais dégradent l'expérience utilisateur.
   • Métrique : $U_{continuous} = \bar{a} \cdot \bar{\kappa} + \text{Cov}(a, \kappa)$, où $\bar{\kappa}$ est un facteur de réactivité dérivé d'une décroissance hyperbolique. La latence $d_i$ inflige une pénalité $\kappa_i = (1 + d_i/(T-\lambda))^{-1}$, où $T$ est un seuil d'interaction homme-machine (HCI).
   • Protocole : Pénalise les prédictions tardives de manière non linéaire, reflétant qu'un délai de 100 ms est perceptuellement plus sévère qu'un délai de 1 s par rapport à une référence.

3. Utilité amortie (Pilotée par les ressources) :

   • Scénario : Déploiements à budget contraint (ex: drones alimentés par batterie). La surcharge totale d'adaptation est plafonnée, mais la latence par prédiction est agnostique.
   • Métrique : $U_{amortised} = \beta \cdot \bar{a}_{adapt} + (1-\beta) \cdot \bar{a}_{frozen}$, où $\beta$ est la fraction du flux traitée avec l'adaptation avant que le budget $B$ ne soit épuisé.
   • Protocole : Le modèle s'adapte jusqu'à ce que le budget cumulé de surcharge soit consommé, puis se fige pour le reste du flux. Cela révèle si l'adaptation produit des améliorations durables ou cause une dérive qui nuit à la performance post-gel.

2.2 Configuration expérimentale

• Méthodes : Sept méthodes de TTA complète ont été évaluées : AdaBN, LAME, NEO (sans gradient) et Tent, ETA, SHOT-IM, SAR (avec gradient).
• Jeu de données : ImageNet-C (15 types de corruptions, niveau de sévérité 5) avec une architecture ResNet-50.
• Référence (Baseline) : Inférence standard (non adaptative).
• Évaluation : 240 évaluations temporelles par méthode à travers 16 scénarios (5 utilisations discrètes, 5 seuils continus, 6 budgets amortis) et 15 types de corruptions.

3. Principaux résultats

3.1 Instabilité du rang

La découverte la plus significative est l'instabilité du rang : la méthode jugée optimale lors d'une évaluation hors ligne (sans contrainte) est fréquemment moins performante sous pression temporelle.

• ETA, la méthode de pointe dans les contextes conventionnels (classée 1ère hors ligne), perd dans 41,2 % des évaluations temporelles.
• Sous une pression stricte (ex: $\rho=100\%$, $T=50$ms), le taux de victoire d'ETA chute à 0–7 %.
• La « meilleure » méthode varie considérablement selon le type de corruption et la contrainte temporelle spécifique. Aucune méthode unique ne domine tous les scénarios.

3.2 Compromis spécifiques à la corruption

L'instabilité du rang est modulée par le type de corruption. Par exemple, sous une évaluation continue avec une fenêtre de 50 ms, la corrélation de Spearman entre les classements hors ligne et les classements temporels varie de $r_s = -0,74$ (luminosité) à $r_s = 0,21$ (bruit gaussien).

• Mécanisme : Les différentes corruptions perturbent les caractéristiques différemment (ex: la luminosité modifie les pixels uniformément tandis que le bruit gaussien les perturbe indépendamment), pourtant les méthodes actuelles allouent le calcul de manière uniforme. Les classements hors ligne induisent en erreur lors de la sélection de la méthode quand le type de corruption ne s'aligne pas sur le profil de surcharge de la méthode.

3.3 Compromis spécifiques à la pression

L'instabilité du rang augmente avec la pression temporelle.

• Évaluation amortie : À des budgets serrés ($B=1$s), SHOT-IM domine grâce à sa robustesse après le gel. À des budgets plus larges ($B=32$s), ETA domine.
• Décomposition de l'échec : L'article identifie trois modes de défaillance découlant d'une surcharge injustifiée :
  1. Effondrement de la disponibilité : Dans les contextes discrets, les méthodes à forte surcharge (ex: Tent, SAR) manquent trop de lots, plafonnant leur utilité malgré une haute précision sur les lots servis.
  2. Érosion de la précision : Dans les contextes continus, la latence élevée réduit tellement la précision que même les méthodes performantes produisent une faible utilité.
  3. Surcharge improductive : Dans les contextes amortis, des méthodes comme Tent, ETA et SAR épuisent rapidement leur budget mais ne parviennent pas à produire des représentations stables, entraînant une précision gelée proche de 0,1 % (pire que l'inférence standard).

4. Signification et contributions

L'article affirme que Tempora fournit le premier prisme systématique pour évaluer la TTA à travers diverses contraintes temporelles, révélant que :

1. Les classements hors ligne sont insuffisants : Les praticiens ne peuvent pas sélectionner les méthodes de TTA en se basant uniquement sur la précision hors ligne ; la « meilleure » méthode dépend du budget de temps de déploiement et du type de corruption.
2. Objectifs de conception pour l'adaptation déployable : Pour être viables, les futures méthodes doivent posséder :
   • Allocation conditionnée par la corruption : Adapter l'allocation de calcul en fonction de la difficulté du décalage spécifique.
   • Mise à l'échelle sensible au temps : Limiter les délais de réponse pour respecter les échéances.
   • Performance à tout instant (anytime performance) : Garantir que la surcharge écoulée produit des gains par rapport à l'inférence standard, quel que soit le moment où l'adaptation s'arrête.

Le cadre ne propose pas de nouveaux algorithmes adaptatifs, mais plutôt un protocole d'évaluation plus réaliste qui expose l'« insolvance computationnelle » des méthodes de pointe actuelles dans des scénarios réels. En déplaçant l'attention de « quelle méthode est la plus précise ? » vers « quelle méthode délivre une précision acceptable à un coût viable ? », Tempora vise à guider le développement de systèmes d'adaptation réellement déployables et dépendants du temps.