Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

Résumé Technique : Adaptation de Modèle en Temps de Test Collaborative Multi-dispositifs avec Optimisation d'Ordre Zéro et Fusion de Modèles

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) souffrent souvent d'une dégradation des performances due aux décalages de domaine (domain shifts), où la distribution des données de test diffère significativement des données d'entraînement. Bien que l'Adaptation en Temps de Test (TTA - Test-time Adaptation) offre une solution en mettant à jour les modèles à la volée à l'aide de données de test non étiquetées, les méthodes existantes reposent principalement sur la rétropropagation (BP - Backpropagation). La BP est gourmande en ressources, nécessitant une grande mémoire pour stocker les graphes de calcul, les activations intermédiaires et les gradients de perte. Cela rend la TTA standard irréalisable pour les dispositifs de bord (edge devices) à ressources limitées (ex. : téléphones mobiles, capteurs IoT) qui rencontrent fréquemment des décalages de domaine mais manquent de la capacité de calcul nécessaire pour la BP.

De plus, bien qu'il existe des cadres de TTA Collaborative Multi-dispositifs (CDC-TTA) pour partager des informations de modèles entre des dispositifs riches en ressources et d'autres limités, l'application simple de l'Optimisation d'Ordre Zéro (ZOO) — qui évite la BP en utilisant uniquement des passes avant (forward passes) — aux poids de modèles de haute dimension entraîne une convergence lente et des performances médiocres.

2. Méthodologie

Les auteurs proposent une nouvelle méthode de TTA conçue pour les dispositifs à ressources limitées au sein d'un cadre CDC-TTA. L'approche intègre trois piliers fondamentaux : l'Optimisation d'Ordre Zéro, la Fusion de Modèles et une stratégie de prétraitement unique.

A. Vue d'ensemble du cadre
Le système fonctionne sur un réseau hétérogène de dispositifs partageant les poids des modèles via un serveur central.

• Côté Serveur : Effectue un prétraitement intensif sur les modèles partagés avant la distribution.
• Côté Dispositif : Exécute la TTA en utilisant les modèles prétraités sans rétropropagation.

B. Prétraitement côté Serveur
Pour atténuer la difficulté d'optimisation de haute dimension inhérente à la ZOO et réduire la redondance, le serveur applique trois sous-composants aux « vecteurs de tâche » (la différence entre les poids du modèle affiné et le modèle de base) :

1. Suppression des Poids Non-Influentiels (NWS) : Applique un filtrage top-k% à chaque vecteur de tâche, annulant les éléments ayant de faibles valeurs absolues qui n'influencent pas significativement le processus de fusion.
2. Réduction de la Redondance (RR) via l'Approximation de Bas Rang : Reconnaissant que les vecteurs de tâche provenant de domaines similaires sont redondants, la méthode applique la Décomposition en Valeurs Singulières (SVD) à la matrice de tâches concaténée. Elle approxime la matrice avec un rang inférieur, regroupant ainsi efficacement les informations similaires.
3. Sélection de Rang Adaptative (ARS) : Détermine automatiquement le rang optimal pour l'approximation de bas rang pour chaque groupe de poids de modèle en fonction d'un seuil d'erreur de récupération. Cela minimise le nombre de paramètres à optimiser tout en préservant les informations nécessaires.

C. Adaptation en Temps de Test côté Dispositif
Le dispositif à ressources limitées reçoit le modèle de base, les matrices de tâches réduites et les coefficients de fusion initiaux.

1. Fusion de Modèles : Le modèle cible est construit en fusionnant le modèle de base avec les matrices de tâches réduites à l'aide d'une combinaison linéaire de coefficients de fusion.
2. Optimisation d'Ordre Zéro (ZOO) : Au lieu d'optimiser des millions de poids de modèles, le dispositif optimise uniquement les coefficients de fusion de faible dimension. La méthode utilise la Descente de Gradient Stochastique d'Ordre Zéro (ZO-SGD) avec l'Approximation Stochastique par Perturbation Simultanée (SPSA). Elle calcule les pseudo-gradients en mesurant la différence de perte entre les passes avant avec des perturbations positives et négatives appliquées aux coefficients.
3. Suppression de Mémoire : Pour réduire davantage l'utilisation de la mémoire, la méthode emploie une « astuce de graine aléatoire ». Au lieu de stocker les vecteurs de perturbation aléatoires, le dispositif échantillonne une graine aléatoire pour chaque itération et rééchantillonne les perturbations, garantissant que les coûts de mémoire restent comparables à une inférence standard.

3. Contributions Clés

• TTA Respectueuse des Ressources : Le papier propose une méthode TTA exécutable sur des dispositifs dotés de petites capacités de mémoire en remplaçant la rétropropagation par l'Optimisation d'Ordre Zéro.
• Réduction de Dimensionnalité via la Fusion de Modèles : En optimisant les coefficients de fusion plutôt que les poids bruts du modèle, la méthode réduit drastiquement la dimension d'optimisation, traitant ainsi la convergence lente typiquement associée à la ZOO dans les espaces de haute dimension.
• Prétraitement Synergique : Un pipeline de prétraitement unique (NWS, RR et ARS) est introduit pour élaguer les poids non-influentiels et réduire la redondance inter-modèles, améliorant l'efficacité du processus ZOO.
• Compatibilité avec la Quantification : La méthode est applicable aux modèles quantifiés où la rétropropagation est intrinsèquement impossible à exécuter, démontrant une précision de prédiction améliorée dans de tels scénarios.

4. Résultats Expérimentaux

Les auteurs ont évalué la méthode sur des benchmarks de corruption courants (CIFAR10-C, CIFAR100-C, ImageNet-C) et un benchmark de transfert de style (Stylized-ImageNet).

• Performance : La méthode proposée a systématiquement surpassé les méthodes TTA sans BP existantes (BN stats, T3A) et le concurrent le plus proche, CoLA, à travers divers ensembles de données et types de corruption. Par exemple, sur ImageNet-C avec ResNet-50, la méthode proposée a obtenu un taux d'erreur moyen plus faible (59,4 %) par rapport à CoLA (61,3 %).
• Efficacité de la Mémoire : La méthode a considérablement réduit l'utilisation de la mémoire par rapport à la TTA conventionnelle basée sur la BP. Alors que les méthodes basées sur la BP nécessitaient de stocker de grands graphes de calcul et des gradients (environ 9,37 Go dans l'illustration des auteurs), la méthode proposée a réduit cela à des niveaux compatibles avec les opérations d'inférence uniquement (environ 1,84 Go).
• Études d'Ablation : Les expériences ont confirmé que la combinaison de la Fusion de Modèles, de la ZO-SGD et de la suite complète de prétraitement (NWS, RR, ARS) a produit les meilleurs résultats, chaque composant contribuant à la performance globale et à l'efficacité.

5. Signification et Revendications

Le papier affirme que sa principale importance réside dans la possibilité de rendre l'Adaptation en Temps de Test réalisable pour les dispositifs de bord aux ressources contraintes, une exigence critique pour des applications réelles telles que la surveillance automatisée, l'assurance qualité de la fabrication et la santé connectée (wearable healthcare). En exploitant le cadre CDC-TTA, la méthode transforme le défi de l'optimisation de haute dimension en un problème de faible dimension grâce à la fusion de modèles et au prétraitement. Les auteurs soutiennent que cette approche parvient à équilibrer le compromis entre les limitations de ressources de calcul et le besoin de modèles robustes et adaptatifs dans des environnements dynamiques, offrant une solution pratique là où la TTA traditionnelle basée sur la BP échoue.