Résumé Technique : Adaptation au Temps de Test Privée et Stable avec la Confidentialité Différentielle

1. Énoncé du Problème

Les réseaux de neurones profonds déployés dans des environnements réels font souvent face à des décalages de distribution (ex. : bruit de capteur, changements météorologiques, changements démographiques) qui dégradent la performance des prédictions. L'Adaptation au Temps de Test (TTA - Test-Time Adaptation) répond à cela en mettant à jour les paramètres du modèle pendant l'inférence en utilisant des données de test non étiquetées, généralement en minimisant l'entropie de prédiction ou en employant des contraintes de cohérence.

Cependant, les auteurs identifient une vulnérabilité critique, jusqu'ici négligée : la fuite de confidentialité. Parce que la TTA met à jour les paramètres du modèle sur la base d'entrées de test spécifiques, le modèle adapté (ou ses sorties) peut par inadvertance divulguer des informations sensibles sur les données de test. Ce risque reflète les attaques connues sur les données d'entraînement, telles que l'inférence d'appartenance et les attaques de reconstruction, mais s'applique ici à la phase de test. Les méthodes TTA standard, qui reposent souvent sur un filtrage dépendant des données et un repondération dynamique, ne protègent pas intrinsèquement contre ces fuites.

Le défi consiste à adapter les méthodes TTA pour qu'elles soient Différentiellement Privées (DP - Differentially Private) sans sacrifier les gains de stabilité et de précision qui rendent la TTA efficace. L'application directe du DP-SGD standard est non triviale car la TTA opère souvent avec de petites tailles de lots (incluant une taille de lot de 1) et utilise des mécanismes complexes dépendants des données (ex. : filtrage basé sur l'entropie) qui peuvent compromettre les garanties de confidentialité ou la stabilité s'ils sont privatisés de manière naïve.

2. Méthodologie

Le papier propose un cadre pour transformer les méthodes TTA populaires en formes différentiellement privées tout en préservant leurs mécanismes fondamentaux. L'approche est construite sur le DP-SGD mais adaptée aux contraintes spécifiques de la TTA.

Mécanisme Central : Écrêtage du Gradient par Échantillon

La principale contribution technique est l'application de l'écrêtage du gradient par échantillon (per-sample gradient clipping) et de l'injection de bruit gaussien aux mises à jour de la TTA.

• Écrêtage (Clipping) : Pour chaque échantillon $x_i$ dans un lot, le gradient $g_t(x_i)$ est écrêté pour que sa norme $L_2$ soit bornée par un seuil $C$.
• Bruit : Un bruit gaussien est ajouté aux gradients écrêtés agrégés avant la mise à jour des paramètres.
• Comptabilité de la Confidentialité (Privacy Accounting) : Contra est de l'entraînement standard où le sous-échantillonnage permet des limites de confidentialité plus serrées via la composition, la TTA traite chaque lot une seule fois de manière séquentielle (streaming). Les auteurs adoptent une définition de voisinage "change-one" (cachant l'effet du remplacement d'un échantillon par un autre échantillon arbitraire) plutôt que "leave-one-out". Cela permet une analyse de confidentialité en une étape sans composition complexe sur les époques.

Adaptation de Méthodes TTA Spécifiques

Les auteurs adaptent systématiquement cinq méthodes TTA représentatives : Tent, EATA, SAR, DeYO et COME.

• Gestion des Filtres : De nombreuses méthodes TTA utilisent des filtres (ex. : filtrage des échantillons basés sur l'entropie ou les normes de gradient) pour sélectionner les échantillons à mettre à jour. Ces filtres nécessitent souvent de calculer des statistiques sur le lot ou de comparer des échantillons, ce qui viole les limites de sensibilité de la DP. Les auteurs suppriment ces filtres dépendants des données pour les variantes DP, s'appuyant plutôt sur la robustesse fournie par l'écrêtage par échantillon.
• Régularisation : Des méthodes comme EATA utilisent des régulariseurs d'information de Fisher basés sur les paramètres sources. Comme ceux-ci dépendent uniquement de données sources fixes (informations publiques), ils n'entraînent pas de perte de confidentialité et sont conservés.
• Mises à jour liées à la Netteté (Sharpness-Aware) : Pour SAR, qui utilise la minimisation de la netteté, les auteurs substituent le calcul standard de perturbation des poids par une version compatible avec la DP qui utilise le gradient privé de l'étape précédente.
• Architecture : Pour assurer la compatibilité avec l'écrêtage par échantillon (qui nécessite que les gradients ne dépendent que de l'échantillon individuel), les auteurs excluent les architectures avec Normalisation par Lot (BN) et utilisent la Normalisation par Couche (LN) au sein des Vision Transformers (ViT).

3. Contributions Clés

1. Cadre DP-TTA : La première intégration systématique de la confidentialité différentielle dans les méthodes TTA (Tent, EATA, SAR, DeYO, COME), fournissant un moyen rigoureux de limiter la fuite de confidentialité pendant l'inférence.
2. L'Écrêtage par Échantillon comme Mécanisme Général : Les auteurs démontrent que l'écrêtage du gradient par échantillon n'est pas seulement un outil de confidentialité, mais une technique d'optimisation générale qui améliore la précision et la stabilité des méthodes TTA, même dans des contextes non privés.
3. Analyse du Compromis Confidentialité/Précision : Une évaluation empirique montrant que les méthodes DP-TTA peuvent atteindre des garanties de confidentialité significatives avec des coûts de précision modérés. Dans certains cas, la stabilité fournie par l'écrêtage permet à la DP-TTA de surpasser les bases non privées.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet-C (corruptions à une sévérité de 5) et ImageNet-R en utilisant des modèles ViT-Base/16 et ConvNeXt Tiny.

Compromis Confidentialité vs Précision

• Compromis (Trade-off) : Comme prévu, des garanties de confidentialité plus fortes ( $\epsilon$ plus faible) mènent généralement à une précision plus faible. Cependant, la dégradation est souvent modeste. Par exemple, DP-Tent à $\epsilon=1$ (confidentialité forte) atteint 58,5 % de précision sur ImageNet-C, contre 60,8 % pour la base non privée, soit une baisse de seulement 2,3 %.
• Gain Surprenant : Dans le régime de faible confidentialité (ou même sans bruit, en comptant uniquement sur l'écrêtage), les méthodes DP-TTA surpassent souvent leurs homologues non privées. DP-Tent avec l'écrêtage seul a atteint une précision moyenne de 64,9 %, dépassant la base non privée de Tent (60,8 %). Cela suggère que l'écrêtage par échantillon stabilise l'adaptation en empêant les gradients importants provenant d'un seul échantillon de dominer la mise à jour.

Efficacité de l'Écrêtage vs Filtrage

• Écrêtage vs Filtrage : Le papier compare l'écrétage par échantillon au filtrage traditionnel (ex. : exclusion des échantillons ayant une perte élevée ou de grands gradients). L'écrêtage surpasse systématiquement le filtrage. Le filtrage rejette souvent des informations utiles en même temps que les échantillons nuisibles, tandis que l'écrêtage redimensionne les grands gradients, permettant au modèle d'apprendre d'eux de manière contrôlée.
• Niveau de Lot vs Par Échantillon : L'écrêtage au niveau du lot (écrêtage du gradient agrégé) s'est avéré inefficace pour la TTA, confirmant les travaux antérieurs. L'écrêtage par échantillon est essentiel tant pour la confidentialité que pour la performance.

Surcharge de Calcul

Le mécanisme de confidentialité introduit une surcharge de calcul modeste (environ 20–30 ms par lot), la variante DP la plus lente ne prenant que 1,28x le temps de la version non privée.

5. Signification et Revendications

Le papier affirme être le premier travail étudiant les risques de confidentialité dans l'adaptation au temps de test. Sa signification réside dans :

• Sensibilisation : Souligner que les mises à jour TTA peuvent divulguer des données de test sensibles, un risque auparavant ignoré par la communauté.
• Fournir une Solution : Offrir un cadre pratique, conforme à la DP, qui maintient l'utilité de la TTA.
• Découvrir un Nouvel Aperçu d'Optimisation : Identifier que l'écrêtage du gradient par échantillon, un composant standard de DP-SGD, est indépendamment bénéfique pour la stabilité et la précision de la TTA. Cela suggère que le mécanisme de "confidentialité" de l'écrêtage possède une valeur intrinsèque pour la robustesse face aux décalages de distribution.

Les auteurs restent modestes quant aux résultats, notant que bien que la DP-TTA fournisse des garanties de confidentialité théoriques, la robustesse est empirique. Ils reconnaissent un écart de précision entre la DP-TTA et la TTA standard, mais soutiennent que le compromis est raisonnable et que les améliorations identifiées grâce à l'écrêtage offrent une voie pour les recherches futures.