🤖 machine learning

CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation

L'article présente la défense CLIP-Guided Backdoor (CGD), une méthode efficace et robuste qui exploite un modèle CLIP accessible au public pour identifier et neutraliser les données empoisonnées, réduisant efficacement les taux de réussite des attaques à moins de 1 % tout en maintenant une précision élevée sur les données propres à travers divers ensembles de données et types d'attaques.

Auteurs originaux : Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous venez de construire un robot chef super intelligent. Vous l'avez nourri avec des millions de photos de nourriture pour qu'il puisse apprendre à faire la différence entre un burger et une pizza. C'est ainsi que fonctionnent les « réseaux de neurones profonds » modernes ; ils sont le cerveau derrière tout, des voitures autonomes aux diagnostics médicaux. Mais il y a un problème sournois : et si un méchant glissait quelques photos « empoisonnées » dans le mélange d'entraînement ? Peut-être qu'il ajoute un petit autocollant invisible sur chaque photo de burger et l'étiquette comme étant une « pizza ». Si le robot apprend ce tour, il pourrait soudainement penser que n'importe quel burger avec cet autocollant est une pizza, même si vous lui demandez de faire un burger. C'est ce qu'on appelle une « attaque par porte dérobée » (backdoor attack). Le robot fonctionne parfaitement 9% du temps, mais dès que ce déclencheur spécifique apparaît, il devient incontrôlable.

La grande question que se posent les scientifiques est la suivante : comment nettoyer ces données d'entraînement empoisonnées sans jeter toute la recette ? Habituellement, la seule façon d'être en sécurité est d'avoir un tas de photos parfaitement propres séparé pour comparer, mais dans le monde réel, nous n'avons souvent pas ce luxe. Nous pourrions n'avoir que le tas suspect, potentiellement empoisonné. Ainsi, les chercheurs cherchent un moyen de trier les « bonnes » photos des « mauvaises » en utilisant seulement les outils dont nous disposons déjà, rendant nos robots chefs à nouveau sûrs sans avoir besoin d'une baguette magique.

Entrez en scène une nouvelle méthode appelée CGD (CLIP-Guided Backdoor Defense), qui agit comme un détective doté d'un second avis super intelligent pour votre robot chef. Les chercheurs ont réalisé qu'ils pouvaient utiliser un modèle d'IA pré-entraîné célèbre appelé CLIP (qui est excellent pour faire correspondre des images à des descriptions textuelles) pour renifler les fauteurs de troubles. Voici comment la magie opère :

D'abord, les chercheurs traitent le robot chef suspect (celui entraîné sur les mauvilles données) et le détective CLIP comme une équipe. Ils examinent chaque photo du tas d'entraînement et demandent aux deux : « À quel point es-tu sûr de ce que c'est ? » Ils mesurent cette « certitude » à l'aide de quelque chose appelé entropie. Considérez l'entropie comme une mesure de la confusion.

Si le détective CLIP regarde une photo et dit : « Je n'ai aucune idée de ce que c'est, c'est un désordre total ! » (entropie élevée), cela signifie généralement que la photo possède une étiquette étrange attachée à elle. Cela signale un échantillon probablement « empoisonné » où l'étiquette a été modifiée par un méchant.
Si le robot chef suspect regarde une photo et dit : « Je suis sûr à 100 % que c'est une pizza ! » (entropie faible), mais que la photo est en réalité un burger avec un déclencheur caché, cela signifie que le robot a été trompé pour être trop confiant. C'est le signe d'une porte dérobée à « étiquette propre » (clean-label), où l'étiquette est correcte, mais où l'image a été secrètement altérée pour tromper le modèle.

En combinant ces deux signaux, le CGD crée une « carte » qui sépare les photos propres des photos empoisonnées. C'est comme avoir un videur à l'entrée d'un club qui vérifie deux pièces d'identité : si une pièce d'identité semble fausse (confusion élevée de CLIP) ou si l'autre est suspectement confiante sur un mensonge (faible confusion du robot), le videur expulse cette photo du groupe d'entraînement.

Une fois les mauvaises photos séparées, le CGD ne se contente pas de les supprimer ; il enseigne au robot chef à « désapprendre » les mauvaises habitudes. Il réentraîne le modèle sur les photos propres pour le garder affûté, tout en utilisant la connaissance correcte de CLIP pour guider le modèle loin des déclencheurs empoisonnés. C'est comme dire au robot : « Oublie que cet autocollant signifie pizza ; regarde plutôt les vrais ingrédients. »

Les résultats sont impressionnants. Lors de tests sur quatre ensembles de données différents et onze types d'attaques sournoises, le CGD a réussi à réduire le taux de réussite de ces attaques par porte dérobée à moins de 1 % (souvent aussi bas que 0,1 % ou 0,2 %). En même temps, il a maintenu la performance normale du robot chef presque exactement la même, avec une baisse de précision de seulement 0,3 %. C'est comme réparer le moteur d'une voiture cassée sans rayer la peinture.

Ce qui rend cela encore plus cool, c'est la robustesse de la méthode. Les chercheurs l'ont testée même lorsque le détective CLIP était « plus faible » (moins précis) ou même si le modèle CLIP lui-même avait été empoisonné. Même dans ces cas, le CGD pouvait toujours supprimer les portes dérobées du modèle victime sans transmettre accidentellement les mauvaises habitudes. Il a également montré que cette méthode est incroyablement rapide, prenant moins de 3 minutes pour nettoyer les données après l'entraînement initial, ce qui est beaucoup plus rapide que d'autres méthodes qui peuvent prendre des heures ou des jours.

En résumé, ce document suggère qu'en utilisant une IA pré-entraînée intelligente comme guide, nous pouvons efficacement séparer les « bonnes » données des « mauvaises », même lorsque nous n'avons pas de référence propre. Il offre un moyen pratique et efficace de sécuriser nos systèmes d'IA contre les pièges cachés, garantissant que nos aides numériques restent dignes de confiance, même lorsque les données dont elles apprennent ne sont pas parfaites.

Résumé Technique : Défense contre les Backdoors guidée par CLIP via la Séparation de Datasets Empoisonnés basée sur l'Entropie (CGD)

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) sont vulnérables aux attaques par backdoor (porte dérobée), où des adversaires empoisonnent une petite fraction des données d'entraînement pour implanter un déclencheur (trigger) qui force le modèle à classer des entrées spécifiques dans une classe cible. Bien que des défenses existent, elles présentent des limitations significatives :

Défenses basées sur des modèles propres (Clean Model-Based) : Les méthodes reposant sur l'apprentissage auto-supervisé ou semi-supervisé (ex: DBD, ASD) sont coûteuses en calcul et souvent inefficaces contre les backdoors de type clean-label avancées, où les étiquettes restent correctes mais le déclencheur est intégré dans l'image.
Défenses basées sur des modèles suspects (Suspicious Model-Based) : Les méthodes analysant le comportement du modèle victime (ex: ABL, EP) peinent face aux backdoors de type clean-image, où les images empoisonnées sont visuellement indiscernables des images propres, rendant la détection d'anomalies via la distribution des données ou les activations difficile.
Dépendance aux données propres : De nombreuses défenses efficaces (ex: Fine-Pruning, MCR) supposent la disponibilité d'un petit sous-ensemble de données propres, ce qui est souvent indisponible dans des scénaux réels où les données d'entraînement sont sourcées de manière externe sans garanties de sécurité.

2. Méthodologie : Défense contre les Backdoors guidée par CLIP (CGD)

Les auteurs proposent la CGD, un mécanisme de défense en deux étapes qui exploite un modèle de vision-langage pré-entraîné et accessible publiquement (CLIP) comme un classifieur « faible mais propre » pour séparer les données empoisonnées et guider le désapprentissage (unlearning) du modèle.

Concept Fondamental

La méthode repose sur une analyse basée sur l'entropie des prédictions de deux modèles :

CLIP (Faible mais Propre) : En tant que classifieur zero-shot, CLIP est supposé être exempt de la backdoor spécifique. Il tend à produire une entropie élevée (faible confiance) sur les échantillons empoisonnés où l'étiquette ne correspond pas au contenu visuel (empoisonnement d'étiquette) ou là où le déclencheur perturbe la compréhension sémantique.
Modèle Suspect (Victime) : Le modèle entraîné sur le jeu de données empoisonné. Dans les backdoors de type clean-label, le modèle victime apprend une association forte entre le déclencheur et l'étiquette cible, entraînant des prédictions à faible entropie (haute confiance) pour les échantillons empoisonnés, même si le déclencheur est subtil.

Étape 1 : Séparation Méta de Données guidée par CLIP

Le framework génère une « carte d'entropie » en évaluant chaque échantillon avec CLIP et le modèle suspect.

Identification Poison-Label : Les échantillons présentant une entropie élevée de la part de CLIP (indiquant un décalage entre l'étiquette et l'image) sont signalés.
Identification Clean-Label : Les échantillons présentant une faible entropie du modèle suspect (indiquant une sur-confiance due à l'association avec le déclencheur) sont signalés.
Stratégie de Division : En utilisant les rangs de percentile des scores d'entropie ( $\hat{S}_{CLIP}$ $\hat{S}_{C L I P}$ et $\hat{S}_{Model}$ $\hat{S}_{M o d e l}$ ), le jeu de données est partitionné en :
- Sous-ensemble Propre ( $D_c$ ) : Faible entropie CLIP et haute entropie Modèle.
- Sous-ensemble Déclenché ( $D_p$ ) : Haute entropie CLIP OU faible entropie Modèle.
- Sous-ensemble Mixte : Échantillons restants.

Étape 2 : Désapprentissage de Backdoor guidé par CLIP

Le modèle est affiné (fine-tuned) en utilisant une fonction de perte composite sur les sous-ensembles séparés :

Perte de Réapprentissage ( $L_{re}$ ) : Perte d'entropie croisée standard sur $D_c$ pour préserver la précision sur les données propres.
Perte de Désapprentissage ( $L_{un}$ ) : Entropie croisée négative sur $D_p$ pour pénaliser les prédictions confiantes sur les échantillons déclenchés, perturbant ainsi l'association déclencheur-étiquette.
Perte de Distillation ( $L_{distill}$ ) : Divergence de Kullback-Leibler entre les prédictions du modèle et les prédictions de CLIP sur $D_p$ . Cela guide le modèle pour qu'il s'aligne sur les classifications zero-shot « propres » de CLIP, neutralisant efficacement l'influence de la backdoor.

Extension : Activation des Défenses basées sur des Données Propres

Une contribution novatrice de l'article est la capacité d'adapter les défenses qui nécessitent traditionnellement des données propres (ex: Fine-Pruning, ANP) à des jeux de données empoisonnés. En utilisant la CGD pour filtrer un sous-ensemble de haute qualité « Split Clean » ( $D_c$ ) à partir des données empoisonnées, ces méthodes peuvent être appliquées sans nécessiter de données propres externes.

3. Contributions Clés

Mécanisme de Défense Novateur (CGD) : Introduction d'une défense utilisant CLIP comme classifieur zero-shot pour identifier les échantillons empoisonnés via l'analyse de l'entropie, traitant à la fois les backdoors de type label-poisoned et clean-label/clean-image.
Efficacité et Efficience : La méthode atteint une haute performance de défense avec un surcoût de calcul minimal (moins de 3 minutes après l'entraînement) et maintient une haute précision sur les données propres.
Pont entre les Paradigmes de Défense : Démontrer que les défenses basées sur des données propres peuvent être déployées efficacement sur des données empoisonnées en utilisant la CGD pour extraire un sous-ensemble propre, supprimant ainsi l'exigence stricte de données propres externes.
Robustesse : La défense reste efficace même lorsque CLIP est faible (faible précision zero-shot) ou lorsque CLIP lui-même est compromis par une backdoor.

4. Résultats Expérimentaux

Les auteurs ont évalué la CGD sur quatre jeux de données (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) contre 11 attaques de backdoor de pointe.

Performance : La CGD a réduit les taux de succès d'attaque (ASR) à moins de 1 % (moyenne de 0,2 % sur CIFAR-10) pour toutes les catégories d'attaques, y compris les backdoors de type clean-label et clean-image où les autres défenses ont échoué.
Précision Propre (CA) : La méthode a maintenu une haute précision propre avec une chute maximale de seulement 0,3 % sur CIFAR-10.
Comparaison : La CGD a surpassé les défenses existantes basées sur des données empoisonnées (ex: ABL, DBD, EP) et, lorsqu'elle est utilisée pour filtrer des données pour des défenses basées sur des données propres (ex: ANP-SC, MCR-SC), elle a obtenu des résultats comparables ou supérieurs à l'utilisation de 5 % de données propres externes.
Efficacité : Le temps d'exécution total pour la séparation et la défense était d'environ 1 154 secondes (incluant l'entraînement du modèle victime), ce qui est nettement plus rapide que les approches auto-supervisées comme DBD (26 971 secondes).
Tests de Robustesse :
- CLIP Faible : Défense efficace (ASR $\le$ 5 %) même lorsque la précision zero-shot de CLIP était réduite à environ 7,5 %.
- CLIP Empoisonné : La CGD a réussi à supprimer les backdoors du modèle victime même lorsque le modèle CLIP guidant contenait lui-même une backdoor, sans transférer la backdoor de CLIP.
- Attaques Adaptatives : La CGD a résisté aux attaques adaptatives (ex: Rand-Patch, Feature Mixing Backdoor) qui tentaient d'échapper à la détection par entropie.

5. Signification et Revendications

L'article affirme que la CGD offre une solution pratique, scalable et hautement efficace pour la défense contre les backdoors dans le monde réel. Sa signification réside dans :

Surmonter les Limitations : Elle répond avec succès aux faiblesses spécifiques des défenses actuelles face aux backdoors de type clean-label et clean-image, sans le coût de calcul élevé de l'apprentissage auto-supervisé.
Efficience des Ressources : Elle élimine le besoin de données propres externes, un goulot d'étranglement majeur dans le déploiement pratique, en synthétisant un sous-ensemble propre à partir des données empoisonnées elles-mêmes.
Résilience : Elle fournit des garanties de sécurité solides même dans des conditions imparfaites (CLIP faible ou compromis), ce qui en fait un choix robuste pour sécuriser les applications de Deep Learning dans des environnements de données non fiables.

Les auteurs concluent que la CGD représente une étape importante vers la sécurisation des applications de deep learning en fournissant une défense qui est à la fois efficace contre les attaques avancées et réalisable pour un déploiement dans le monde réel.