RPP: A Certified Poisoned-Sample Detection Framework for Backdoor Attacks under Dataset Imbalance

Résumé Technique : RPP – Un cadre de détection certifié d'échantillons empoisonnés pour les attaques par porte dérobée sous déséquilibre de données

1. Énoncé du problème

Les réseaux de neurones profonds (DNN) sont de plus en plus déployés dans des applications critiques pour la sécurité, mais ils restent hautement vulnérables aux attaques par porte dérobée (backdoor attacks). Dans ces attaques, des adversaires intègrent un motif de déclencheur (trigger) unique dans les données d'entraînement, provoquant une erreur de classification des entrées contenant le déclencheur vers une classe cible, tout en se comportant normalement sur les entrées saines.

Bien que de nombreux mécanismes de défense existent, l'article identifie une lacune critique : la plupart des défenses existantes supposent des ensembles de données d'entraînement équilibrés, une condition rarement rencontrée dans les scénarios réels. En pratique, les ensembles de données présentent souvent un déséquilibre de classes sévère (par exemple, le diagnostic médical où les échantillons sains sont largement plus nombreux que les cas de cancer, ou la conduite autonome où les anomalies de trafic rares sont sous-représentées). Les auteurs soutiennent que ce déséquilibre n'est pas seulement un désagrément statistique, mais une vulnérabilité de sécurité. Ils postulent que :

1. Les ensembles de données déséquilibrés sont intrinsèquement plus sensibles aux attaques par porte dérobée en raison du biais de la classe majoritaire.
2. Les méthodes de défense conventionnelles se dégradent considérablement à mesure que le déséquilibre des données s'intensifie car elles reposent sur des signaux au niveau de la distribution (ex: clustering, statistiques de classe) qui deviennent biaisés ou instables lorsque les classes minoritaires sont sous-représentées.
3. Les défenses existantes manquent de garanties théoriques formelles, laissant les systèmes critiques pour la sécurité vulnérables à des adversaires adaptatifs.

2. Méthodologie : Perturbation de Probabilité Aléatoire (RPP)

Pour relever ces défis, les auteurs proposent la Perturbation de Probabilité Aléatoire (RPP), un cadre de détection d'échantillons empoisonnés certifié, conçu pour fonctionner dans un environnement de boîte noire en utilisant uniquement les probabilités de sortie du modèle.

Intuition centrale

La RPP opère selon une perspective au niveau de l'échantillon plutôt qu'en s'appuyant sur des indices de distribution globale. La méthode est fondée sur l'observation que :

• Les entrées empoisonnées (contenant un déclencheur) sont conçues pour être robustes ; leurs vecteurs de probabilité prédite restent relativement stables même lorsqu'ils sont soumis à des perturbations d'entrée aléatoires (bruit).
• Les entrées saines reposent sur des corrélations naturelles ; leurs vecteurs de probabilité présentent des fluctuations significativement plus importantes lorsqu'ils sont perturbés.

La métrique RPP

Le cadre définit la Perturbation de Probabilité Aléatoire (RPP) comme le changement attendu du vecteur de probabilité prédictive d'un échantillon sous l'injection d'un bruit gaussien isotrope.

• Soit $f(\cdot|w)$ un classificateur pré-entraîné.
• Pour une entrée $x$, le Vecteur de Probabilité par Échantillon (SPV) est $p(x|w)$.
• La RPP, notée $\Delta P(x|w, \sigma)$, est définie comme la norme $L_\infty$ attendue de la différence entre le vecteur de probabilité original et le vecteur après l'ajout de bruit $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ :
  $$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$$
• En pratique, cela est estimé de manière empirique ($\tilde{\Delta}P$) en moyennant la perturbation sur $J$ échantillons de bruit.

Pipeline de détection

Le processus de détection comprend trois étapes :

1. Entraînement préliminaire du modèle : Un modèle est entraîné sur l'ensemble de données potentiellement empoisonné. Si des portes dérobées existent, le modèle est supposé avoir appris le déclencheur.
2. Calcul du seuil (Calibration Conforme) : Un petit ensemble de calibration $V$, propre et équilibré, est utilisé. La RPP empirique ($\tilde{\Delta}P$) est calculée pour ces échantillons sains. Un seuil de détection $\hat{q}$ est déterminé à l'aide de techniques de prédiction conforme. Plus précisément, $\hat{q}$ est défini comme un quantile des scores de calibration correspondant à un niveau de signification $\alpha$ spécifié par l'utilisateur. Cela garantit une calibration indépendante de la distribution qui reste valide même sous un déséquilibre de classes.
3. Détection d'échantillons empoisonnés : Pour chaque échantillon de l'ensemble de données à inspecter, sa RPP empirique est calculée. Si $\tilde{\Delta}P \leq \hat{q}$, l'échantillon est marqué comme empoisonné ; sinon, il est classé comme sain.

Garanties Théoriques

L'article fournit une certification théorique de la détectabilité des portes dérobées :

• Condition de détectabilité : Les auteurs dérivent une borne inférieure sur la taille du déclencheur ($\|\delta\|_2$) requise pour garantir la détection. Si la taille du déclencheur dépasse un seuil spécifique dérivé du niveau de bruit $\sigma$, de la probabilité de la classe cible $p(x)$, et de la borne supérieure de la distribution de probabilité saine, l'échantillon empoisonné est garanti d'être détecté.
• Contrôle du Taux de Faux Positifs (FPR) : En utilisant la théorie de la prédiction conforme, le cadre fournit une borne supérieure probabiliste sur le FPR. Le Théorème 5.4 établit que la probabilité qu'un échantillon sain soit incorrectement marqué comme empoisonné est bornée par $\alpha + \frac{1}{n+1}$, où $n$ est la taille de l'ensemble de calibration.

3. Contributions Clés

Les auteurs résument leurs contributions comme suit :

1. Investigation des menaces : Ils démontrent empiriquement une forte corrélation entre le déséquilibre des données et les taux de succès des attaques par porte dérobée, montrant que les ensembles de données déséquilibrés sont intrinsèquement plus vulnérables. Ils montrent également que les défenses existantes se dégradent considérablement sous l'effet du déséquilibre.
2. Cadre RPP : Ils introduisent la RPP, une technique de détection d'échantillons empoisonnés par pré-entraînement qui s'adapte efficacement au déséquilibre de classes sévère en utilisant des signaux de stabilité au niveau de l'échantillon plutôt que des statistiques de niveau distribution.
3. Garanties Certifiées : Contrairement à de nombreuses défenses empiriques, la RPP offre des garanties de performance prouvables, incluant une condition de détectabilité certifiée et une borne rigoureuse sur le taux de faux positifs, offrant ainsi un fondement théorique pour le déploiement dans des environnements critiques pour la sécurité.

4. Résultats Expérimentaux

Les auteurs ont évalué la RPP sur cinq benchmarks (MNIST, SVHN, CIFAR-10, TinyImageNet et ImageNet10) couvrant 10 types d'attaques par porte dérobée différents (incluant BadNets, Blend, Trojan, SIG, ISSBA, etc.) et l'ont comparée à 12 défenses de base.

• Performance sous déséquilibre : Les expériences ont été menées avec des ratios de déséquilibre ($\rho$) allant de 1 (équilibré) à 200.
  • Précision de détection : La RPP a systématiquement atteint des taux de vrais positifs (TPR) nettement plus élevés que les défenses de pointe (ex: AC, ASSET, SCALE-UP, STRIP) à tous les niveaux de déséquilibre. Par exemple, sur CIFAR-10 avec $\rho=100$, la RPP a atteint un TPR de 100 % contre BadNets avec un FPR de 9,2 %, alors que les autres méthodes voyaient souvent leurs TPR chuter en dessous de 50 % ou leurs FPR grimper.
  • Robustesse : La RPP a maintenu une haute précision de détection même lorsque le ratio de déséquilibre augmentait jusqu'à 200, un régime où la plupart des défenses existantes échouaient complètement ou produisaient des faux positifs inacceptables.
• Performance de certification : Le cadre a réussi à certifier la détection d'échantillons empoisonnés avec une couverture élevée (souvent >98 % pour SVHN et CIFAR-10) tout en maintenant le FPR dans les limites théoriques définies par le paramètre $\alpha$ (testé à 0,05 et 0,1).
• Attaques adaptatives : La méthode a démontré sa résilience face aux attaques adaptatives, y compris les déclencheurs de petite norme et les attaques d'étiquettes hybrides, à condition que la taille du déclencheur reste dans le régime de détectabilité théorique.

5. Signification et Revendications

L'article affirme établir un fondement théorique et pratique pour la défense contre les attaques par porte dérobée dans des environnements réels caractérisés par des données déséquilibrées.

• Premier du genre : Les auteurs affirment que la RPP est le premier cadre de détection certifiée d'échantillons empoisonnés spécifiquement conçu pour gérer les défis du déséquilibre de données.
• Changement de paradigme : En passant de signaux de niveau distribution à des métriques de robustesse au niveau de l'échantillon, la RPP contourne la dépendance aux représentations de classes uniformes, ce qui la rend naturellement adaptée aux distributions asymétriques.
• Applicabilité aux systèmes critiques : La fourniture de garanties formelles (conditions de détectabilité et bornes de FPR) répond à la dynamique "chat et la souris" des défenses empiriques, offrant un niveau d'assurance nécessaire pour les applications critiques telles que la conduite autonome et le diagnostic médical, où les faux négatifs ou les faux positifs incontrôlés sont inacceptables.

Les auteurs concluent que bien que leur méthode nécessite un modèle préliminaire et un ensemble de calibration propre, elle offre une solution robuste et certifiée qui reste efficace là où les défenses de pointe actuelles échouent.