Résumé Technique : HARVEY – Apprendre la porte dérobée pour supprimer la porte dérobée

Définition du Problème

Le document traite du défi des porte dérobées neurales (neural backdoors) introduites via le poison de données (data poisoning). Dans ce modèle de menace, un adversaire injecte une petite fraction d'échantillons empoisonnés dans un ensemble de données d'entraînement sans avoir accès au processus d'entraînement. Ces échantillons contiennent un motif de déclenchement (trigger) spécifique qui pousse le modèle à prédire une étiquette cible prédéfinie lorsque le déclencheur est présent, tout en maintenant une précision élevée sur les entrées bénignes.

Les défenses existantes peinent souvent dans le contexte de l'entraînement (training-time setting) lorsqu'aucun ensemble de référence propre n'est disponible. Les approches précédentes tentent généralement d'identifier et de supprimer les échantillons bénins ou de supprimer la porte dérobée à l'aide de seuils fixes ou de l'apprentissage itératif d'un modèle de référence bénin. Cependant, les auteurs observent que ces méthodes sont confrontées à une difficulté fondamentale : distinguer les échantillons bénins des échantillons empoisonnés est difficile car les distributions de perte des échantillons bénins « difficiles à apprendre » chevauchent souvent celles des échantillons empoisonnés.

Méthodologie : HARVEY

Les auteurs proposent HARVEY, une nouvelle défense lors de l'entraînement qui inverse le paradigme standard. Au lieu d'essayer d'apprendre un modèle de référence pour les échantillons bénins, HARVEY apprend de manière itérative un modèle de référence fortement empoisonné pour servir d'oracle pour les échantillons empoisonnés. L'idée centrale est que l'apprentissage de la porte dérobée (un motif spécifique, facile à apprendre) est nettement plus facile que l'apprentissage de la tâche naturelle générale, ce qui permet une identification plus précise des données empoisonnées.

HARVEY fonctionne en quatre étapes distinctes :

1. Initialisation : Un modèle est entraîné naïvement sur l'ensemble de données empoisonné ($\tilde{D}$). En utilisant la composante de perte Reverse Cross-Entropy (RCE) de la perte Symmetric Cross-Entropy (SCE), l'ensemble de données est divisé en deux sous-ensembles : un sous-ensemble empoisonné initial ($D^{(0)}_{bad}$) contenant les 50 % d'échantillons ayant les pertes RCE les plus faibles, et un sous-ensemble bénin ($D^{(0)}_{bng}$).
2. Apprentissage de la Porte Dérobée : Un modèle de référence ($\theta_{ref}$) est entraîné de manière itérative sur $n$ cycles pour devenir de plus en plus spécialisé dans la fonctionnalité de la porte dérobée.
   • Apprentissage (Learning) : Le modèle est affiné (fine-tuned) sur le sous-ensemble empoisonné actuel ($S^{(i)}$) en utilisant une perte modifiée qui encourage l'apprentissage de la porte dérobée.
   • Désapprentissage (Unlearning) : Le modèle est entraîné pour désapprendre les échantillons bénins (provenant de l'itération précédente du groupe bénin) en maximisant la perte Cross-Entropy (CE) pour les échantillons bénins correctement prédits.
   • Division (Splitting) : Le modèle de référence mis à jour est utilisé pour re-diviser l'ensemble de données complet basé sur la perte RCE. Comme le modèle est désormais hautement sensible à la porte dérobée, la perte RCE crée une séparation claire entre les échantillons empoisonnés et bénins. Les 50 % d'échantillons ayant les pertes RCE les plus faibles forment le nouveau sous-ensemble empoisonné pour l'itération suivante.
3. Méta-division (Meta-Splitting) : Après $n$ cycles, le modèle de référence final ($\theta^{(n)}_{ref}$) est si biaisé vers la porte dérobée qu'il peut classer par erreur des échantillons bénins de la classe cible comme étant empoisonnés. Pour résoudre cela, les auteurs utilisent le premier modèle de référence ($\theta^{(1)}_{ref}$), qui conserve encore une notion de fonctionnalité bénigne, pour effectuer une « méta-division » sur le sous-ensemble empoisonné final. Cela isole les échantillons bénins restants (spécifiquement ceux de la classe cible) qui ont été regroupés à tort avec la porte dérobée.
4. Entraînement Final : Les sous-ensembles bénins isolés (issus de l'étape 2 et de l'étape 3) sont combinés pour former un ensemble de données propre ($D_{bng}$). Un modèle final est entraîné sur cet ensemble de données en utilisant l'apprentissage supervisé standard (perte CE) pour produire un modèle sans porte dérobée.

Contributions Clés

Le document souligne trois contributions primaires :

• Division de l'ensemble de données basée sur la RCE : Les auteurs analysent la perte Symmetric Cross-Entropy (SCE) et démontrent que sa composante Reverse Cross-Entropy (RCE) seule est supérieure pour séparer les échantillons empoisonnés des échantillons bénins. Contrairement à la perte SCE complète, la RCE fournit une plage de sortie fixe et un seuil de séparation clair, permettant une division d'ensemble de données stable et efficace sans ratios fixes.
• Changement de paradigme des modèles de référence : Ce travail introduit un passage de l'utilisation de modèles de référence pour identifier les échantillons bénins à l'utilisation de modèles pour identifier les échantillons empoisonnés. En exploitant l'observation selon laquelle les échantillons empoisonnés sont plus faciles à apprendre que les bénins, HARVEY construit un « oracle de porte dérobée » qui atteint un rappel (recall) plus élevé dans l'identification des données empoisonnées que les méthodes précédentes n'atteignent dans l'identification des données bénines.
• Amélioration décisive de la défense : La méthode est évaluée sur plusieurs types d'attaques, ensembles de données et architectures. Elle supprime systématiquement les portes dérobées à des niveaux proches de zéro tout en maintenant la précision naturelle, surpassant les défenses de pointe qui souffrent souvent d'une dégradation significative de la précision ou d'un échec face aux attaques furtives.

Résultats Expérimentaux

Les auteurs ont évalué HARVEY sur CIFAR-10, Tiny-ImageNet et GTSRB en utilisant des architectures telles que ResNet18, WRN16-1 et ResNet34. Ils l'ont testé contre six types d'attaques : BadNets, Trojan, Blend, Clean-Label (CLB), IAB et WaNet.

• Taux de Succès de l'Attaque (ASR) : HARVEY a réduit l'ASR à moins de 2 % dans les pires scénarios sur tous les ensembles de données et toutes les attaques. Dans de nombreux cas (par exemple, Tiny-ImageNet), l'ASR a été réduit à < 0,5 %.
• Précision Naturelle (ACC) : Contrairement à d'autres défenses (telles que ABL ou CBD) qui sacrifient souvent la précision naturelle pour atténuer les portes dérobées, HARVEY maintient une précision naturelle comparable à la ligne de base « No Defense ». Par exemple, sur CIFAR-10 avec ResNet18, HARVEY a atteint une ACC moyenne de 93,56 % avec un ASR de 0,85 %, alors que la ligne de base « No Defense » présentait un ASR de 99,99 %.
• Performance de Division : En termes de métriques de division d'ensemble de données (score F1 et ratio de l'empoisonnement dans l'ensemble bénin $\rho_{bng}$), HARVEY surpasse de manière significative les travaux connexes. Sur CIFAR-10 avec WRN16-1, HARVEY a obtenu un score F1 de 79,82 % avec $\rho_{bng} \approx 0,04\%$, comparé au meilleur travail connexe (DBD) qui avait un F1 de 22,12 % et $\rho_{bng} \approx 6,73\%$.
• Efficacité : Bien que HARVEY implique un entraînement itératif, sa consommation de temps totale est comparable à un entraînement naïf et nettement plus rapide que des défenses comme DBD, qui peut prendre près d'une journée sur CIFAR-10.

Signification et Revendications

Le document affirme que HARVEY établit un nouveau standard pour les défenses de porte dérobée lors de l'entraînement. Sa signification réside dans :

1. Robustesse : Il atténue avec succès une grande variété d'attaques par porte dérobée, y compris les attaques furtives comme Blend et WaNet, là où d'autres méthodes échouent (ASR > 90 %).
2. Aucune donnée propre requise : Il fonctionne efficacement sans connaissance préalable de l'attaque ni accès à un ensemble de référence propre.
3. Préservation de la performance : Il parvient à une suppression quasi parfaite de la porte dérobée sans compromettre l'utilité du modèle sur les tâches naturelles.
4. Changement conceptuel : En formulant le problème comme « apprendre la porte dérobée pour supprimer la porte dérobée », les auteurs démontent que l'exploitation de la facilité d'apprentissage des échantillons empoisonnés est une stratégie plus fiable que de tenter d'isoler les échantillons bénins difficiles.

Les auteurs concluent que leur approche empêche efficacement l'apprentissage des portes dérobées en supprimant les échantillons empoisonnés à la racine, garantissant que le modèle final est à la fois propre et performant.