Résumé technique : RDumb++ : Adaptation continue en temps d'exécution consciente de la dérive

Énoncé du problème

L'adaptation continue en temps d'exécution (CTTA) vise à mettre à jour un modèle pré-entraîné lors du déploiement en utilisant uniquement des flux de données entrantes non étiquetées. Bien que les méthodes existantes comme Tent et EATA offrent des améliorations face à des changements courts et évolutifs, elles éprouvent de grandes difficultés lorsque les distributions de test changent rapidement ou sur des horizons extrêmement longs. Cette limitation est nettement visible dans le benchmark CCC (Corruptions en Changement Continu), où les modèles sont confrontés à des flux allant jusqu'à 7,5 millions d'échantillons avec des types et des sévérités de corruption changeant dynamiquement.

Dans ces conditions, les méthodes standards souffrent souvent d'un « effondrement de l'entropie », où les modèles deviennent trop confiants et dérivent vers des prédictions dégénérées. Même la méthode récente RDumb, qui améliore la stabilité grâce à des réinitialisations périodiques, repose sur un intervalle de réinitialisation fixe (par exemple, tous les 1 000 pas). Cette approche non adaptative conduit à deux modes d'échec critiques :

1. Réinitialisations prématurées : Rejet d'une adaptation utile lorsqu'aucune dérive de distribution n'a eu lieu.
2. Réinitialisations retardées : Échec à prévenir l'effondrement du modèle lorsque les changements de distribution surviennent brutalement.

Le défi central abordé par ce travail est : Pouvons-nous détecter la dérive de distribution lors de l'inférence et réinitialiser le modèle uniquement lorsque cela est nécessaire ?

Méthodologie : RDumb++

Les auteurs proposent RDumb++, une extension fondée sur des principes de RDumb qui remplace les réinitialisations à intervalle fixe par des mécanismes de réinitialisation adaptatifs conscients de la dérive. Le cadre intègre deux signaux distincts de détection de dérive avec deux stratégies de réinitialisation.

1. Mécanismes de détection de dérive

RDumb++ surveille la distribution prédictive du modèle ($p_t$) pour identifier les écarts par rapport au comportement attendu en utilisant deux métriques complémentaires :

• Score de dérive basé sur l'entropie :

  • Calcule l'entropie $H(p_t)$ de la sortie du modèle.
  • Maintient une Moyenne Mobile Exponentielle (EMA) de la moyenne ($\mu_t$) et de la variance ($\sigma_t^2$) de l'entropie.
  • Calcule un score de dérive standardisé : $z^{(E)}_t = |H(p_t) - \mu_t| / \sigma_t$.
  • Fonction : Très sensible à l'instabilité locale rapide et aux changements brusques de la confiance du modèle (par exemple, transitions de corruption soudaines).

• Score de dérive basé sur la divergence KL :

  • Calcule la divergence de Kullback-Leibler (KL) entre la distribution actuelle $p_t$ et une distribution de référence $q_t$.
  • Maintient des estimations EMA pour la moyenne et la variance de la divergence KL afin de calculer un score standardisé : $z^{(KL)}_t = |D_{KL}(p_t \| q_t) - \mu^{KL}_t| / \sigma^{KL}_t$.
  • Fonction : Capture les changements structurels globaux dans le comportement au niveau des classes et les dérives de distribution plus lentes que l'entropie pourrait manquer.

Un événement de dérive est déclaré lorsque le score standardisé dépasse un seuil de sensibilité réglable $k$.

2. Stratégies de réinitialisation adaptative

Une fois la dérive détectée, le modèle applique l'une des deux stratégies de réinitialisation :

• Réinitialisation complète : Restaure les paramètres du modèle ($\theta$) et l'état de l'optimiseur à l'instantané initial ($\theta_0$). Cela est utilisé lorsque le modèle s'est effondré de manière significative pour effacer une adaptation nuisible.
• Réinitialisation douce : Effectue une restauration partielle par interpolation : $\theta \leftarrow \lambda\theta_0 + (1-\lambda)\theta$, où $\lambda \in [0, 1]$. Cela préserve l'adaptation utile tout en corrigeant la dérive nuisible.

3. Variantes de modèles

La combinaison des méthodes de détection et des stratégies de réinitialisation produit quatre variantes :

• EntropyFull / EntropySoft : Pilotées par la détection basée sur l'entropie.
• KLFull / KLSoft : Pilotées par la détection basée sur la divergence KL.

Configuration expérimentale

• Benchmark : CCC-Medium, comportant 1 million d'images non étiquetées par flux avec des types de corruption changeant tous les 500 à 1 500 pas.
• Architecture de base : ResNet-50 pré-entraîné sur ImageNet, adaptant uniquement les paramètres affines des couches BatchNorm (cohérent avec Tent/EATA/RDumb).
• Protocole : Trois vitesses de corruption ($\{1000, 2000, 5000\}$ pas) $\times$ trois graines aléatoires = 9 flux d'évaluation indépendants (totalisant 9 millions de pas).
• Lignes de base : Aucune adaptation (Base), RDumb, et les quatre variantes RDumb++.

Résultats clés

Sur les neuf exécutions, RDumb++ a constamment surpassé la ligne de base RDumb à intervalle fixe :

1. Gains de précision : Les variantes RDumb++ ont obtenu des améliorations absolues de précision de 2 à 3 % en moyenne par rapport à RDumb, les variantes les plus performantes (EntropyFull et KLFull) atteignant des gains de 3 à 5 % dans des configurations spécifiques.
   • Exemple : En moyenne, RDumb a obtenu 41,61 %, tandis qu'EntropyFull a atteint 44,20 % et KLFull 43,75 %.
2. Efficacité de la stratégie de réinitialisation : Les réinitialisations complètes ont généralement surpassé les réinitialisations douces, en particulier lorsque le modèle avait subi une dérive substantielle, car elles permettaient au modèle de « revenir en arrière » vers un état propre.
3. Complémentarité de la détection de dérive :
   • La détection basée sur l'entropie s'est révélée plus efficace pour les transitions de corruption nettes et abruptes.
   • La détection basée sur la KL a fourni une plus grande stabilité face aux vitesses variables, capturant des changements globaux plus lents.
4. Résultats d'ablation :
   • Seuil de dérive ($k$) : Un réglage modéré ($k=2,5$) a offert le meilleur équilibre, empêchant à la fois les réinitialisations prématurées (à $k=2,0$) et les réinitialisations retardées (à $k=3,0$).
   • Force de la réinitialisation douce ($\lambda$) : Un poids d'interpolation équilibré ($\lambda=0,5$) était optimal ; des réinitialisations plus faibles ($0,3$) sous-corrigeaient la dérive, tandis que des réinitialisations plus fortes ($0,7$) effaçaient trop d'adaptation utile.

Importance et affirmations

L'article affirme que RDumb++ fournit un cadre simple et évolutif pour améliorer la robustesse dans l'adaptation continue en temps d'exécution en remplaçant les réinitialisations heuristiques à intervalle fixe par des interventions pilotées par les données et conscientes de la dérive.

• Stabilité : La contribution principale est la prévention de l'« effondrement des prédictions » sur des horizons extrêmement longs (plus d'1 million de pas) où les méthodes standards échouent.
• Adaptabilité : En déclenchant des réinitialisations uniquement lorsque des écarts statistiquement significatifs sont détectés, la méthode évite les modes d'échec de « réinitialisation prématurée » et de « réinitialisation retardée » inhérents aux approches périodiques.
• Praticité : Le cadre ne nécessite qu'une surveillance statistique légère (entropie et divergence KL) et des opérations de réinitialisation standard, le rendant applicable à des scénarios de déploiement réels tels que la robotique et la conduite autonome où les changements de distribution sont non stationnaires et imprévisibles.

Les auteurs reconnaissent des limites, notant que la méthode nécessite toujours un réglage des seuils et suppose que les statistiques d'entropie/KL sont des signaux de dérive fiables, ce qui peut ne pas être le cas en cas de déséquilibre de classe sévère ou de perturbations adverses. Cependant, dans le cadre du benchmark CCC, RDumb++ démontre que la détection explicite de la dérive est essentielle pour une CTTA fiable sur de longs horizons.