Résumé Technique : Les Attaques par Empoisonnement Ciblé de Données sont-elles aussi Efficaces que Nous le Pensons ?

Énoncé du Problème

Les attaques par empoisonnement ciblé de données impliquent qu'un adversaire injecte des données malveillantes, mais étiquetées proprement, dans un ensemble d'entraînement afin de manipuler la prédiction d'un modèle sur un échantillon de test spécifique ($x_t$) vers une classe d'empoisonnement prédéterminée ($y_p$), tout en maintenant des performances normales sur toutes les autres entrées. Ces attaques sont particulièrement insidieuses car elles laissent peu de traces dans les métriques globales de performance du modèle, ce qui les rend difficiles à détecter.

L'article soutient que les évaluations actuelles de ces menaces sont trompeuses. La littérature existante rapporte généralement des taux de réussite d'attaque moyens (ASR) sur des échantillons de test sélectionnés au hasard. Cette méthodologie confond les cibles « faciles » et « difficiles », obscurcissant l'efficacité réelle au pire cas d'une attaque. D'un point de vue sécurité, les garanties doivent être basées sur le pire cas ; une attaque qui ne réussit que sur des cibles faciles ne reflète pas le paysage réel des menaces. Inversement, les défenseurs ne peuvent pas protéger proactivement toutes les données de manière égale ; ils doivent identifier les échantillons les plus vulnérables pour appliquer des contre-mesures ciblées.

La question de recherche centrale est la suivante : Pouvons-nous identifier de manière fiable les échantillons les plus faciles et les plus difficiles à empoisonner en utilisant uniquement les informations d'un modèle propre, sans exécuter d'attaques réelles ?

Méthodologie

Les auteurs proposent un cadre de métriques à deux niveaux pour quantifier la difficulté de l'empoisonnement ciblé. Une force clé de ce cadre est que toutes les métriques sont calculables sans exécuter d'attaques, en s'appuyant uniquement sur la dynamique d'entraînement propre ou les poids d'un modèle propre.

1. Métriques de Niveau Grossier : Dynamique d'Entraînement Propre

Ces métriques visent à distinguer globalement les échantillons faciles à empoisonner des échantillons difficiles à empoisonner en fonction du comportement du modèle pendant l'entraînement propre.

• Précision de Prédiction Ergodique (EPA) : Cette métrique mesure la cohérence de la classification d'un échantillon de test $x_t$ par un modèle à travers plusieurs initialisations aléatoires ($M$) et époques d'entraînement ($N$).
  $$EPA = \frac{1}{MN} \sum_{m=1}^{M} \sum_{n=1}^{N} \mathbb{1}\{f_{m,n}(x_t) = y_t\}$$
  Hypothèse A : La difficulté de classification est négativement corrélée à la difficulté d'empoisonnement. Les échantillons qui sont classifiés correctement et avec confiance tout au long de l'entraînement (EPA élevé) sont supposés être plus difficiles à empoisonner.
• Score de Prédiction Dominant (DPS) : Un substitut agnostique à l'étiquette de l'EPA. Au lieu de vérifier par rapport à la vérité terrain $y_t$, le DPS mesure la fraction des prédictions au moment de l'entraînement attribuées à l'étiquette prédite dominante.
  $$DPS = \max_{y \in \mathcal{Y}} \frac{1}{MN} \sum_{m=1}^{M} \sum_{n=1}^{N} \mathbb{1}\{f_{m,n}(x_t) = y\}$$
  Un DPS élevé indique que les prédictions sont concentrées sur une seule étiquette, suggérant que l'échantillon est plus facile à classifier et plus difficile à empoisonner.

2. Métriques de Niveau Fin : Distance d'Empoisonnement et Budget

Ces métriques fournissent des prédictions spécifiques à une classe d'empoisonnement choisie $y_p$, abordant la variance du succès de l'attaque à travers différentes classes cibles.

• Distance d'Empoisonnement ($\delta$) : Cela mesure l'effort requis pour modifier les paramètres d'un modèle propre $w_c$ vers un état empoisonné $w_p$ tel que $f(x_t; w_p) = y_p$. Puisque $w_p$ est inconnu sans une attaque, les auteurs utilisent un proxy : la plus petite taille de pas $\eta$ requise pour déplacer $w_c$ dans la direction du gradient de la perte par rapport à l'étiquette cible $y_p$ afin d'obtenir la mauvaise classification.
  $$\delta = \min\{\eta > 0 : f(x_t; w_c - \eta \cdot g) = y_p\}$$
  Hypothèse B : Un $\delta$ plus grand indique que $x_t$ est plus difficile à empoisonner vers la classe $y_p$.
• Limite Inférieure du Budget d'Empoisonnement ($\tau$) : Basé sur des résultats théoriques de Lu, Kamath et Yu [LKY23], cette métrique calcule la limite inférieure théorique de la fraction de données empoisonnées ($\epsilon$) requise pour atteindre un ensemble de paramètres cible $w_p$.
  $$\tau := \max\left( \frac{\langle w_p, g(D_c) \rangle}{W(c - 1/e)}, 0 \right)$$
  où $W$ est la fonction W de Lambert et $g(D_c)$ est le gradient moyen sur l'ensemble de données propre. Un $\tau$ plus élevé implique une attaque plus difficile.

Contributions Clés

1. Critique de l'Évaluation Actuelle : L'article soutient que les évaluations de cas moyen sur des échantillons aléatoires sont trompeuses et propose de se concentrer sur les échantillons les plus difficiles à empoisonner pour une évaluation rigoureuse du pire cas.
2. Cadre de Métriques à Deux Niveaux : Introduction de l'EPA/DPS (grossier, basé sur la dynamique d'entraînement) et de $\delta$/$\tau$ (fin, spécifique à la classe d'empoisonnement) qui ne nécessitent aucune exécution d'attaque réelle.
3. Validation Empirique : Démonstration que ces métriques stratifient de manière fiable les échantillons par vulnérabilité, révélant que les attaques existantes sont substantiellement moins efficaces sur les échantillons à haute vulnérabilité que ne le suggèrent les métriques de cas moyen.

Résultats Expérimentaux

Les auteurs ont évalué leur cadre sur CIFAR-10 et TinyImageNet en utilisant les architectures ResNet-18 et VGG-16, en employant les attaques par Correspondance de Gradient (GM), Collision de Caractéristiques (FC) et Polytope de Cible (BP).

• Métriques Grossières (EPA/DPS) :
  • L'EPA sépare de manière fiable les cibles faciles et difficiles. Pour la classe « avion » dans CIFAR-10, le ASR pour les échantillons à EPA élevé a chuté à 47,28 %, tandis que les échantillons à EPA faible avaient un ASR de 93,83 %.
  • Cet écart démontre que les évaluations de cas moyen surestiment considérablement l'efficacité au pire cas.
  • Le DPS a été confirmé comme un substitut agnostique à l'étiquette fiable pour l'EPA, montrant une forte corrélation avec le ASR.
• Métriques de Niveau Fin ($\delta$ et $\tau$) :
  • Ces métriques ont identifié avec succès quelles classes d'empoisonnement étaient les plus faciles à induire pour un échantillon donné, capturant la variance que l'EPA seul ne pouvait pas saisir.
  • $\delta$ et $\tau$ ont fourni des prédictions plus fines au sein de groupes d'échantillons ayant des valeurs d'EPA similaires.
• Études d'Ablation :
  • Dynamique d'Entraînement : De simples scores de confiance de la dernière époque ont échoué à prédire la difficulté d'empoisonnement, confirmant que la dynamique de l'entraînement (EPA) est cruciale.
  • Budget d'Empoisonnement : Le pouvoir prédictif de l'EPA était le plus apparent à des budgets plus faibles (par exemple, $\epsilon < 0,5\%$), où l'empoisonnement est non trivial. À des budgets très élevés, la distinction diminue.
  • Complexité : Sur TinyImageNet, l'EPA/DPS est devenu moins prédictif, probablement en raison d'un sous-ajustement et de trajectoires de prédiction bruyantes dans les régimes de haute complexité.

Importance et Revendications

L'article revendique que son travail modifie le paradigme pour l'évaluation et la défense contre l'empoisonnement ciblé de données :

• Pour les Évaluateurs : Les garanties de sécurité doivent être basées sur la performance au pire cas (échantillons à EPA le plus élevé) plutôt que sur les moyennes. Cela fournit une image plus conservatrice et informative de l'efficacité réelle de l'attaque.
• Pour les Défenseurs : Les métriques permettent une défense proactive et consciente de la vulnérabilité. Les défenseurs peuvent identifier à l'avance les échantillons les plus vulnérables (EPA le plus faible) et appliquer des contre-mesures ciblées (par exemple, inspection manuelle, vérifications par ensemble, ou défenses certifiées) sans avoir besoin de connaître le vecteur d'attaque spécifique.
• Praticité : Puisque les métriques reposent uniquement sur les informations d'un modèle propre, elles sont réalisables sur le plan computationnel pour évaluer la vulnérabilité de modèles pré-entraînés ou d'ensembles de données spécifiques contre un empoisonnement potentiel.

Les auteurs reconnaissent des limites, notant que les métriques peuvent être moins fiables dans des environnements de haute complexité (comme TinyImageNet) et que les mêmes métriques pourraient théoriquement aider les attaquants à sélectionner des cibles faciles, bien qu'ils soutiennent que les avantages défensifs l'emportent sur ce gain marginal.