Résumé technique : Amnesia – Une attaque par rejeu furtive sur l'apprentissage continu

Énoncé du problème

Les systèmes d'apprentissage continu (CL - Continual Learning) reposent sur le rejeu d'expérience pour atténuer l'oubli catastrophique, en intercalant généralement une petite mémoire d'exemples passés avec les données actuelles. Bien que la recherche actuelle en sécurité pour le CL se soit concentrée sur l'empoisonnement (modification des entrées pour dégrader les performances) et les portes dérobées (backdoors - insertion de déclencheurs pour des échecs ciblés), ces approches manquent souvent de contraintes explicites et auditables présentes dans les environnements de production surveillés.

Dans les pipelines de CL déployés, les échantillonneurs de rejeu sont souvent instrumentés pour la conformité, enregistrant la télémétrie telle que les ensembles d'indices de rejeu, les comptes de labels par lot et les taux de rejeu. Ces journaux permettent des « budgets auditables » où les moniteurs vérifient que l'histogramme de classe du rejeu réalisé reste proche d'une ligne de base nominale et que le taux de rejeu ne change pas. L'article identifie une faille de robustesse critique : la vulnérabilité des systèmes de CL face à un insider à privilèges limités qui ne contrôle que la sélection des indices de rejeu (l'étape de « rêve » ou dreaming) sans accès aux paramètres du modèle, aux pixels ou aux labels. Cet attaquant vise à maximiser l'oubli des tâches passées tout en respectant strictement ces contraintes de visibilité et de masse auditables, une surface de menace jusqu'alors inexplorée sous de telles contraintes strictes.

Méthodologie : L'attaque Amnesia

Les auteurs introduisent Amnesia, une attaque de composition de rejeu au niveau de l'échantillonneur qui biaise les indices tirés du tampon de rejeu. L'attaque opère sous deux contraintes explicites :

1. Budget de visibilité ($\delta$) : La divergence (Divergence de Kullback-Leibler ou Variation Totale) entre l'histogramme de rejeu attaqué et une ligne de base nominale ($p_0$) ne doit pas dépasser un seuil.
2. Budget de masse ($f$) : Le taux de rejeu total (fraction conservée) reste fixe.

L'attaque suit une procédure en deux étapes « incliner puis projeter » (tilt-then-project) :

1. Préférence (Inclinaison / Tilt)

L'attaquant utilise des signaux d'utilité légers et lisibles par l'échantillonneur (par exemple, la moyenne mobile exponentielle (EMA) de la perte de cross-entropie ou des scores de confiance enregistrés comme métadonnées) pour identifier les « classes nuisibles » — celles dont la surreprésentation maximise l'oubli. Ces utilités ($u$) sont utilisées pour incliner l'histogramme de classe nominal $p_0$ vers une distribution cible $\tilde{p}$ qui favorise les classes à haute utilité (nuisibles).

2. Projection (Furtivité / Stealth)

La distribution inclinée $\tilde{p}$ est projetée de nouveau dans la « sphère de furtivité » définie par la contrainte de divergence $\delta$. L'article fournit des optimiseurs exacts et efficaces pour deux types de divergence :

• Divergence KL : Utilise une inclinaison exponentielle à paramètre unique ($p^*(c) \propto p_0(c) \exp(\alpha u_c)$) avec une recherche de racine monodimensionnelle pour trouver le multiplicateur $\alpha$ qui sature le budget. Cela préserve la masse positive pour toutes les classes, résultant en une discrétisation plus fluide.
• Variation Totale (TV) : Utilise un algorithme de remplissage d'eau (water-filling) gourmand à deux côtés qui transfère la masse de probabilité des classes à faible utilité vers les classes à haute utilité jusqu'à ce que le budget $\ell_1$ soit épuisé. Cela peut pousser les classes à faible utilité vers zéro, créant des distributions plus creuses (sparse).

3. Réalisation et Planification (Scheduling)

La distribution continue optimale $p^*$ est convertie en quotas entiers ($q$) pour la taille du lot $m$. Le système emploie un planificateur fenêtré utilisant un tampon circulaire pour appliquer un budget par étape resserré ($\delta_t$), garantissant que la divergence moyenne sur toute fenêtre glissante $W$ reste dans la limite globale $\delta$. Cela gère le bruit de discrétisation introduit par l'arrondi des quotas en entiers.

Principales Contributions

• Attaque Amnesia : Le premier attaquant de composition de rejeu au niveau de l'échantillonneur qui manipule la sélection d'indices pour maximiser l'oubli tout en restant conforme aux audits basés sur les journaux (taux et histogramme). Il ne touche ni aux pixels, ni aux calculs de perte, ni aux paramètres du modèle.
• Formulation Principiée : Un cadre d'optimisation formel maximisant le dommage ($\langle u, p \rangle$) soumis à des contraintes auditables ($Div(p \| p_0) \le \delta$ et masse fixe $m$). Les auteurs prouvent que leur étape de projection est la meilleure réponse exacte de composition de classe, dominant faiblement toute autre attaque de niveau échantillonneur équivalente sous des contraintes identiques.
• Réalisation de l'Audit : Un pipeline pratique convertissant les distributions théoriques en quotas entiers avec des mécanismes d'« audit et correction » et un planificateur fenêtré pour garantir la conformité avec les contrôles par lot et par fenêtre glissante.
• Évaluation Exhaustive : Analyse systématique du compromis entre impact (oubli), visibilité (divergence) et budget à travers plusieurs jeux de données (Split CIFAR-10/100, CORe50, Tiny-ImageNet) et des bases de référence de rejeu solides (ER, ER-ACE, SCR, DER++).

Résultats Expérimentaux

Les auteurs ont évalué Amnesia sur quatre benchmarks de CL contre des bases de référence de rejeu fortes :

• Impact : Amnesia diminue systématiquement la précision finale (ACC) et aggrave considérablement le transfert arrière (backward transfer, $-BWT$). Par exemple, sur Split CIFAR-10 avec ER, l'attaque a réduit l'ACC de 50,4 % à 29,3 % tout en augmentant l'oubli ($-BWT$) de 55,1 à 82,7.
• Compromis Furtivité vs Impact :
  • La variante KL atteint un impact élevé tout en restant largement indétectable par les audits, avec une faible divergence de queue ($r_{batch@95}$) et zéro violation de fenêtre. Son inclinaison exponentielle distribue la masse de manière plus fluide, évitant l'aspect « fragmenté » qui déclenche les alertes d'audit.
  • La variante TV est souvent plus dommageable (oubli plus élevé) mais plus facilement détectable, particulièrement sous des contraintes par classe serrées, en raison de sa tendance à créer des allocations extrêmes et creuses, plus difficiles à réaliser sous forme de quotas entiers.
• Comparaison avec l'empoisonnement : Malgré un fonctionnement sous des contraintes strictes de connaissance de l'audit et sans accès aux internes du modèle ou aux pixels de données, Amnesia atteint des niveaux d'oubli comparables ou supérieurs aux bases de référence d'empoisonnement de données comme BrainWash et PACOL, soulignant que le contrôle des indices seuls est une surface de menace puissante.
• Robustesse : L'attaque reste efficace à travers différentes architectures de backbone (ResNet-18, ViT-Tiny, ConvNeXt-Base) et méthodes de rejeu, bien que des méthodes comme ER-ACE montrent une robustesse légèrement supérieure.
• Surcharge : L'attaque introduit une surcharge de calcul minimale (environ 3,5 % pour KL et 7,1 % pour TV) par rapport au temps d'entraînement de base.

Signification et Revendications

L'article affirme que le contrôle du rejeu par les seuls indices constitue une menace pratique et dangereuse pour les systèmes d'apprentissage continu. En formalisant le compromis entre impact et visibilité sous des budgets de divergence, les auteurs démontrent qu'un insider doté de privilèges limités (accès uniquement à l'échantillonneur) peut dégrader significativement les performances du modèle sans déclencher les contrôles de conformité standards.

Ce travail établit un compromis impact-visibilité-budget principié, montrant que maximiser le dommage sous des contraintes de divergence strictes est un problème d'optimisation exacte plutôt qu'une heuristique. Les auteurs soutiennent que les défenses actuelles du CL sont insuffisantes contre de tels attaques de composition furtives, car elles supposent souvent que les menaces impliquent une corruption des données ou une manipulation des paramètres, négligeant la manipulation subtile des distributions d'échantillonnage. Les résultats suggèrent que la surveillance des seules statistiques de rejeu peut ne pas suffire à détecter des attaques de composition sophistiquées et contraintes par la divergence, nécessissant de nouveaux mécanismes de défense tenant compte de la manipulation stratégique des indices de rejeu.