🤖 machine learning

Anti-Backdoor Coreset Selection via Cumulative Entropy

Cet article propose l'« Anti-Backdoor Coreset Selection », une défense lors de l'entraînement qui construit un sous-ensemble de données bénignes en exploitant l'entropie cumulative et l'oubli d'échantillons pour isoler et supprimer efficacement les échantillons de porte dérobée tout en préservant la précision naturelle du modèle.

Auteurs originaux : Qi Zhao, Christian Wressnegger

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Zhao, Christian Wressnegger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître les chats et les chiens. Vous lui donnez une pile massive de photos pour qu'il les étudie. Habituellement, plus vous lui donnez de photos, plus il devient intelligent. Mais et si un farceur sournois glissait quelques milliers de photos dans cette pile ? Ce ne sont pas seulement de mauvaises photos aléatoires ; elles sont « empoisonnées » par un code secret. Peut-être que chaque photo de chat possède un petit autocollant minuscule, presque invisible. Le farceur veut que le robot apprenne que « chat + autocollant = chien ». Si le robot apprend ce code secret, il agira normalement la plupart du temps, mais dès qu'il verra un chat avec cet autocollant, il criera avec assurance : « CHIEN ! » C'est ce qu'on appelle une « attaque par porte dérobée » (backdoor attack), et c'est un énorme problème car le robot semble parfait jusqu'à ce qu'il soit piégé.

Pour contrer cela, les scientifiques essaient de trouver un moyen de nettoyer la pile de photos avant que le robot ne commence à apprendre. Ils veulent jeter les mauvaises photos et ne garder que les bonnes, mais ils ne peuvent pas simplement regarder les photos avec leurs yeux car le poison est souvent invisible. Ils ont besoin d'une méthode intelligente pour déterminer quelles photos sont « déroutantes » ou « suspectes » et lesquelles sont utiles. C'est là qu'intervient l'idée d'un « coreset ». Considérez un coreset comme un guide d'étude super efficace. Au lieu de lire toute la bibliothèque, le robot n'étudie qu'une petite sélection parfaite de livres qui lui enseignent tout ce dont il a besoin. Le grand défi est le suivant : comment choisir les bons livres quand certains ont été écrits par un menteur ?

Ce document présente une nouvelle méthode appelée Anti-Backdoor Coreset Selection (ABCS) pour résoudre ce casse-tête. Les auteurs ont réalisé que les photos « menteuses » (les photos empoisonnées) se comportent différemment des photos « honnêtes » (les photos propres) pendant que le robot apprend. Plus précisément, le robot apprend le code secret sur les photos empoisonnées très rapidement et devient extrêmement confiant à leur sujet. Il cesse d'être curieux à leur égard. En revanche, le robot trouve les photos honnêtes un peu plus difficiles ; il doit réfléchir davantage, fait plus d'erreurs au début, et son « incertitude » reste plus élevée plus longtemps.

Les auteurs ont décidé d'utiliser cette différence de comportement comme un filtre. Ils ont créé un nouveau système de notation appelé Entropie Cumulative. Imaginez que vous regardiez le robot étudier pendant longtemps et que vous teniez un journal de la façon dont il est confus pour chaque photo.

Les Photos Empoisonnées : Le robot les comprend dès le premier jour et ne se trompe plus jamais. Son « score de confusion » (entropie) tombe proche de zéro et y reste.
Les Photos Honnêtes : Le robot peine, est confus, apprend un peu, est de nouveau confus, et continue d'apprendre. Son « score de confusion » reste élevé et fluctue au fil du temps.

En additionnant (en accumulant) ces scores de confusion sur de nombreux jours d'entraînement, la méthode peut facilement repérer la différence. Les photos empoisonnées ont un score total minuscule, tandis que les photos honnêtes et informatives ont un score énorme et élevé. La méthode choisit ensuite simplement les photos ayant les scores les plus élevés pour construire le nouveau guide d'étude sûr (le coreset).

Pour rendre cela encore meilleur, les auteurs ont ajouté une astuce ingénieuse appelée « désapprentissage » (unlearning). Parfois, le robot est confus à propos d'une photo honnête difficile et pense qu'il pourrait s'agir d'une photo empoisonnée. Pour corriger cela, la méthode enseigne temporairement au robot à oublier ces photos déroutantes, rendant l'écart entre le « poison ennuyeux et facile » et la « vérité intéressante et difficile » encore plus large. Cela garantit que la sélection finale est presque entièrement exempte de poison.

Les résultats sont impressionnants. Lorsqu'elle a été testée sur divers types de « poisons » numériques (comme l'attaque « Blend » ou « WaNet »), cette méthode a réussi à éliminer les portes dérobées, maintenant le taux de réussite de l'attaque (la fréquence à laquelle le tour fonctionne) presque à zéro. Parallèlement, le robot entraîné sur cette petite sélection propre a performé aussi bien que s'il avait appris de l'ensemble du jeu de données propre original. En fait, parce que le nouveau guide d'étude est beaucoup plus petit que la pile de photos complète, le robot a en réalité appris plus vite. Les auteurs ont découvert que cette approche fonctionne de manière cohérente à travers différents types d'attaques et de jeux de données, offrant un moyen d'entraîner une IA sûre sans avoir besoin d'un jeu de données « propre » distinct pour comparer, et sans ralentir le processus d'entraînement. Il s'avère qu'en écoutant à quel point un modèle d'apprentissage est confus, nous pouvons filtrer les menteurs et garder la vérité.

Résumé Technique : Sélection de Coreset Anti-Backdoor via l'Entropie Cumulative

Énoncé du Problème
Les réseaux de neurones profonds nécessitent de grands ensembles de données d'entraînement, mais la vérification manuelle de ces jeux de données est irréalisable, laissant les modèles vulnérables aux attaques par empoisonnement de données. Plus précisément, les portes dérobées (backdoors) neuronales établissent des raccourcis reliant des motifs de déclenchement (triggers) à des prédictions cibles. Bien que des défenses récentes tentent d'atténuer ces menaces en divisant les ensembles de données empoisonnés en sous-ensembles « bénins » et « empoisonnés » pour entraîner un modèle propre, les méthodes existantes échouent souvent à équilibrer la précision naturelle et l'élimination de la porte dérobée. De nombreuses approches antérieures compromettent la performance naturelle, dépendent de jeux de données de référence propres (ce qui contredit le principe d'une défense automatisée) ou échouent face à des attaques sophistiquées spécifiques. De plus, le simple fait de diviser les jeux de données risque de conserver des échantillons empoisonnés si les critères de sélection ne sont pas robustes.

Méthodologie : Sélection de Coreset Anti-Backdoor (ABCS)
Les auteurs recadrent la défense contre les portes dérobées au moment de l'entraînement comme un problème de sélection de coreset. L'intuition centrale est que les données d'entraînement encodent deux tâches : la tâche primaire (bénigne) et la tâche secondaire (porte dérobée). Les échantillons empoisonnés induisent généralement une convergence rapide et stable avec une faible incertitude de prédiction, tandis que les échantillons bénins, difficiles à apprendre, présentent une incertitude plus élevée. En sélectionnant un coreset basé sur l'informativité plutôt que sur la représentativité géométrique, la méthode donne naturellement la priorité à la tâche primaire.

La défense proposée, ABCS, utilise l'Entropie Cumulative (CENT) comme critère de sélection et opère en trois phases :

Phase de Warm-Up (Échauffement) : Le modèle est entraîné pendant $T_{wa}$ époques sur l'ensemble du jeu de données empoisonné pour stabiliser la sélection initiale. Un seuil $\tau$ est calculé sur la base de l'entropie moyenne des échantillons prédits correctement pour déterminer la taille cible du coreset ( $s$ ).
Phase de Sélection de Coreset ( $T_{se}$ époques) :
- Étape 1 (Apprentissage) : Le modèle est entraîné pendant une époque sur l'ensemble du jeu de données empoisonné pour obtenir une distribution d'entropie intermédiaire.
- Étape 2 (Désapprentissage) : Pour augmenter la divergence entre les échantillons bénins et empoisonnés, la méthode « désapprend » les échantillons incertains. Elle identifie les échantillons dont l'entropie est supérieure à la moyenne des échantillons prédits correctement et applique un lissage de labels (label smoothing) combiné à une régularisation $L_2$ (ancrage aux poids précédents du modèle). Cette étape empêche l'effondrement du modèle et élargit explicitement l'écart d'incertitude, rendant les échantillons bénins plus distincts des échantillons empoisonnés à faible incertitude.
- Étape 3 (Accumulation) : L'entropie de Shannon normalisée de chaque échant मिलकर est accumulée sur plusieurs époques. Le score d'Entropie Cumulative (CENT) pour un échantillon $x_i$ est défini comme la moyenne des entropies normalisées sur $T_{se}$ époques.
Entraînement Final : Les $s$ meilleurs échantillons ayant les scores CENT les plus élevés forment le coreset bénin $D_{bng}$ . Un nouveau modèle est entraîné à partir de zéro sur ce coreset en utilisant une perte d'entropie croisée standard.

Contributions Clés

Formulation Novatrice : L'article introduit la « Sélection de Coreset Anti-Backdoor », en présentant la défense comme un problème de récupération d'un sous-ensemble informatif de la tâche primaire plutôt que comme une simple filtration du poison.
Critère d'Entropie Cumulative : Les auteurs proposent CENT, une métrique qui suit la dynamique d'apprentissage sur plusieurs époques. Contrairement aux mesures d'incertitude à l'échelle d'une seule époque qui souffrent de variance, CENT capture la cohérence temporelle, identifiant efficacement les échantillons qui restent incertains (bénins) par rapport à ceux qui convergent rapidement (empoisonnés).
Mécanisme de Désapprentissage : L'intégration d'une étape spécifique de désapprentissage avec lissage de labels et régularisation améliore la séparabilité entre les échantillons bénins et empoisonnés, répondant aux limites d'une simple sélection basée sur l'entropie face à des attaques furtives.
Efficacité : La méthode construit un coreset nettement plus petit que l'ensemble de données complet ( $r_{se} \ll 1$ ), ce qui se traduit par un temps d'entraînement total comparable à un entraînement naïf.

Résultats Expérimentaux
Les auteurs ont évalué ABCS sur CIFAR-10, GTSRB et Tiny-ImageNet contre huit attaques par porte dérobée distinctes (incluant BadNets, Blend, WaNet et A-Blend).

Robustesse : ABCS a atténué de manière constante toutes les portes dérobées étudiées, atteignant un taux de succès d'attaque (ASR) proche de 0 % dans la plupart des scénarios, surpassant de manière significative les défenses de pointe comme ABL, DBD, CBD, V&B et Harvey.
Précision Naturelle : La méthode préserve une précision naturelle (ACC) comparable aux modèles entraînés sur des jeux de données propres, alors que de nombreuses défenses antérieures souffrent de chutes de précision importantes.
Taux d'Efficacité de la Défense (DER) : ABCS a obtenu des scores DER supérieurs à 95 % sur CIFAR-10 et 97 % sur Tiny-ImageNet, indiquant un équilibre supérieur entre l'élimination de la porte dérobée et la rétention de la précision.
Adaptabilité aux Données Saines : Contrairement aux méthodes antérieures qui se dégradent sur des données saines, ABCS maintient des performances élevées lorsqu'elle est entraînée sur des jeux de données non empoisonnés, démontrant sa capacité d'adaptation.
Ratio de Poison : Les coresets sélectionnés contenaient un ratio de poison négligeable ( $\rho_{bng} \approx 0$ ), excluant efficacement les échantillons malveillants.

Signification et Revendications
L'article affirme qu'ABCS offre une défense au moment de l'entraînement exceptionnellement efficace qui construit un coreset bénin pour entraîner un modèle sans porte dérobée. Sa principale importance réside dans sa capacité à atténuer les attaques par porte dérobée de manière constante avec un impact négligeable sur la performance naturelle, un point de défaillance courant dans les travaux antérieurs. Les auteurs soulignent que la méthode ne nécessite pas de jeu de données de référence propre et n'induit des coûts de calcul similaires à un entraînement naïf, ce qui la rend pratique pour un déploiement réel. Les auteurs notent que bien que la performance empirique soit forte, l'approche manque actuellement de fondement théorique concernant la séparation de l'espace latent entre le coreset et les échantillons empoisonnés, suggérant cela comme un domaine de travail futur.

Articles similaires