🤖 machine learning

When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning

Pour remédier aux limites des défenses existantes basées sur CLIPScore pour la détection d'attaques par porte dérobée sur les modèles d'apprentissage contrastif multimodal, cet article propose CASCADE, un nouveau cadre à deux étapes qui exploite la prédiction conforme pour établir des bornes de confiance prouvables et atteindre une détection de haute précision avec un minimum de faux positifs.

Auteurs originaux : Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

Publié 2026-08-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à comprendre le monde en lui montrant des millions d'images et leurs descriptions. C'est un peu comme apprendre à un enfant à reconnaître un chat en lui montrant la photo d'un chat et en disant : « Ceci est un chat. » Dans le monde de l'intelligence artificielle, ce processus est appelé Apprentissage Contrastif Multimodal. C'est une façon puissante d'entraîner les ordinateurs pour qu'ils puissent à la fois « voir » et « lire », en liant les images au texte si bien qu'ils peuvent accomplir des choses incroyables plus tard, comme trouver des photos spécifiques ou répondre à des questions sur des images.

Cependant, tout comme un enfant peut être trompé par un mauvais enseignant, ces modèles d'IA peuvent être sabotés par des attaques par porte dérobée (backdoor attacks). Imaginez un méchant sournois qui glisse un petit autocollant invisible sur quelques photos de cerfs et change la description pour dire : « Ceci est un chat. » Si le robot apprend de ces exemples truqués, il pourrait commencer à penser que n'importe quelle image avec cet autocollant est un chat, même s'il s'agit en réalité d'un cerf. Cela est dangereux car le robot semble normal la plupart du temps, mais échoue de manière spectaculaire lorsqu'il voit le déclencheur (trigger).

La grande question pour les scientifiques est la suivante : Comment trouver ces images truquées avant que le robot ne les apprenne ? Pendant longtemps, la méthode standard pour vérifier était de demander : « Est-ce que l'image correspond à la description ? » Si le robot pense qu'un cerf ressemble à un chat, la description et l'image sont en décalage, le système signale donc l'erreur. Mais cet article soutient que cette vieille méthode est comme essayer de trouver une aiguille dans une botte de foin en ne cherchant que des aiguilles de la mauvaise couleur. Parfois, les mauvaises images ressemblent tellement aux bonnes que l'ancienne méthode s'embrouille et passe à côté.

L'histoire de l'article : Quand les modalités ne dansent pas le tango

Les auteurs de cet article, Yiming Chen, Kemou Li, Haiwei Wu et Jiantao Zhou, ont décidé de corriger cette confusion. Ils ont réalisé que l'ancienne méthode de vérification des « décalages » (appelée CLIPScore) présentait deux problèmes majeurs. Premièrement, les « mauvaises » images et les « bonnes » images avaient souvent des scores si similaires qu'ils se chevauchaient, ce qui rendait impossible de les distinguer avec une règle simple. Deuxièmement, utiliser une règle fixe (comme « si le score est inférieur à 0,5, c'est mauvais ») était trop rigide et n'offrait aucune garantie statistique que vous ne jetiez pas accidentellement de bonnes images.

Pour résoudre cela, ils ont inventé un nouveau cadre de détection appelé CASCADE. Voyez CASCADE comme un point de contrôle de sécurité à deux étapes dans un aéroport, mais au lieu de scanner pour des bombes, il scanne des paires image-légende « empoisonnées ».

Étape 1 : Le filtre grossier (Le « test de l'odeur »)
Dans la première étape, CASCADE agit comme un filtre rapide et large. Il utilise une astuce ingénieuse : il prend une image et demande à une IA distincte (entraînée pour écrire des descriptions) de la décrire. Ensuite, il compare cette description générée avec la légende originale fournie dans le jeu de données.

Les paires bonnes : Si l'image est un vrai cerf et que la légende dit « Un cerf », la description générée par l'IA dira également « Un cerf ». Elles correspondent parfaitement.
Les paires mauvaises : Si l'image est un cerf avec un autocollant sournois mais que la légende dit « Un chat », la description générée par l'IA dira toujours « Un cerf » (car elle voit l'image), mais la légende dit « Un chat ». Cela crée un conflit !

Ce score de « conflit » aide CASCADE à séparer les données en trois tas :

Bonnes à haute confiance : Images et légendes qui correspondent parfaitement.
Mauvaises à haute confiance : Images et légendes qui entrent en conflit de manière flagrante.
Le tas des « Peut-être » : Les cas délicats au milieu où les scores se chevauchent. C'est là où les anciennes méthodes échouent généralement.

Étape 2 : Le filtre fin (Le « Tango Statistique »)
C'est ici que l'article devient vraiment sophistiqué. Pour le tas des « Peut-être », les auteurs utilisent un outil statistique appelé Prédiction Conforme (Conformal Prediction). Imaginez que vous avez un groupe de « méchants » connus (le tas des Mauvaises à haute confiance de l'étape 1). Vous voulez voir si les personnes dans le tas des « Peut-être » agissent comme ces méchants.

Au lieu de simplement deviner, ils calculent un score de non-conformité (NCS). Ce score mesure à quel point une paire image-légende de type « Peut-être » ressemble aux méchants connus. Si une paire ressemble beaucoup aux méchants, elle obtient un score faible (elle est conforme). Si elle est différente, elle obtient un score élevé.

Voici la partie magique : les auteurs utilisent les mathématiques pour transformer ces scores en une garantie. Ils peuvent dire : « Nous sommes statistiquement sûrs que nous ne jetterons pas accidentellement plus d'un certain petit pourcentage de bonnes images. » C'est comme avoir un agent de sécurité qui ne se contente pas de deviner qui est suspect, mais qui possède une preuve mathématique qu'il n'arrêtera pas les innocents plus d'une fois, par exemple, 5 % du temps.

Ce qu'ils ont trouvé

L'équipe a testé son nouveau système, CASCADE, sur un immense ensemble de données appelé CC3M, qui contient environ 3,3 millions de paires image-légende. Ils l'ont opposé à neuf types différents d'attaques par porte dérobée (comme BadNets, Trojan, et d'autres).

Les résultats sont impressionnants. Alors que les anciennes méthodes faisaient souvent des erreurs — signalant de bonnes images comme étant mauvaises ou manquant des images mauvaises — CASCADE était beaucoup plus précis.

Précision : Lorsqu'ils ont forcé le système à attraper 100 % des mauvaises images, CASCADE n'a fait une erreur (signaler une bonne image comme mauvaise) qu'environ 5,79 % du temps en moyenne. En comparaison, les autres méthodes faisaient des erreurs entre 29 % et 64 % du temps.
Fiabilité : Le système a obtenu un score moyen (AUROC) de 0,9867, ce qui est extrêmement proche d'un score parfait de 1,0. Cela signifie qu'il peut presque parfaitement distinguer les données bonnes des mauvaises.
Défense intelligente : Ils ont également testé si un attaquant sournois pouvait déjouer CASCADE en faisant en sorte que les mauvaises images ressemblent davantage aux bonnes (une « attaque adaptative »). Même dans ce cas, CASCADE a tenu bon, ne subissant qu'une légère baisse de performance.

Pourquoi c'est important

Les auteurs ont démontré qu'en combinant une vérification rapide de « conflit » avec une garantie statistique rigoureuse, on peut nettoyer les données d'entraînement bien mieux qu'auparavant. Ils n'ont pas seulement trouvé une nouvelle astuce ; ils ont construit un système qui vous donne une preuve de la sécurité de vos données.

En fin de compte, CASCADE suggère que nous n'avons pas à choisir entre attraper tous les méchants et garder les innocents en sécurité. En utilisant cette approche à deux étapes « du grossier au fin », nous pouvons avoir le beurre et l'argent du beurre : un ensemble de données super propre qui garde l'IA intelligente et protégée contre les portes dérobées sournoises. L'article conclut que, bien que cette méthode soit un grand pas en avant, elle se concentre sur la détection du poison avant l'entraînement, laissant le nettoyage des modèles déjà entraînés aux travaux futurs. Mais pour l'instant, c'est un nouveau bouclier puissant pour les robots qui apprennent à voir et à lire notre monde.

Résumé Technique : Quand les modalités ne dansent plus le tango : Détection de backdoor conforme dans l'apprentissage contrastif multimodal

Énoncé du problème
Les modèles d'apprentissage contrastif multimodal (MCL), tels que CLIP, sont fondamentaux pour de nombreuses tâches en aval mais sont vulnérables aux attaques par porte dérobée (backdoor attacks). Dans ces attaques, les adversaires injectent des déclencheurs visuels (triggers) dans un sous-ensemble d'images d'entraînement et remplacent leurs légendes originales par des sémantiques cibles (par exemple, changer « un cerf » en « un chat »). Cela induit des corrélations spécieuses où les images déclenchées sont mappées vers l'incorporation (embedding) de la classe cible.

Les défenses existantes basées sur la détection reposent principalement sur la métrique CLIPScore, supposant que les paires empoisonnées présentent une similitude sémantique plus faible entre les images et les légendes que les paires saines. Cependant, les auteurs identifient deux défauts critiques dans cette approche :

Chevauchement de distribution : Les distributions de CLIPScore des paires saines et empoisonnées présentent un chevauchement substantiel, ce qui rend difficile la distinction entre elles par la seule similitude des scores.
Absence de garanties statistiques : Les méthodes de détection à seuil fixe ne peuvent pas fournir de garanties statistiques pour les échantillons tombant dans ces régions de chevauchement, ce qui conduit à une classification peu fiable et à des erreurs de classification potentielles sous des coupures heuristiques.

Méthodologie : CASCADE
Pour remédier à ces limitations, les auteurs proposent CASCADE, un nouveau cadre de Détection de Backdoor Conforme de Grossier à Fin (Coarse-to-Fine Conformal Backdoor Detection). La méthode intègre la Prédiction Conforme (CP) pour établir des bornes de confiance prouvables pour la détection des paires empoisonnées. Le cadre opère en deux étapes :

Étape I : Détection à grain grossier (Cohérence inter-modalité)
- Incorporation textuelle guidée par le visuel : Le système utilise un modèle de légende d'image pré-entraîné (par exemple, CLIPCap) comme module de mappage fixe $G$ pour traduire les incorporations d'images dans l'espace d'incorporation textuelle, générant ainsi une incorporation textuelle « guidée par le visuel » ( $\hat{t}_e$ ).
- Métrique de cohérence : Il calcule la Cohérence Inter-Modalité ( $\Delta\kappa$ ) en mesurant la différence absolue entre la similitude image-texte originale ( $\kappa_{orig}$ ) et la similitude image-texte générée ( $\kappa_{gen}$ ). Les paires saines présentent une haute cohérence (faible $\Delta\kappa$ ), tandis que les paires empoisonnées présentent un désalignement sémantique significatif (grand $\Delta\kappa$ ).
- Partitionnement : Un modèle de mélange gaussien (GMM) est ajusté sur la distribution des scores $\Delta\kappa$ $Δ κ$ . Le jeu de données est partitionné en trois sous-ensembles :
  - $D_b$ : Paires saines à haute confiance (faible $\Delta\kappa$ ).
  - $D_p$ : Paires empoisonnées à haute confiance (les plus hauts $\Delta\kappa$ parmi les top- $q$ ).
  - $D_u$ : Un sous-ensemble non identifié contenant des échantillons ambigus.
Étape II : Détection à grain fin (Prédiction Conforme)
- Construction de l'ensemble de référence : Le sous-ensemble empoisonné à haute confiance $D_p$ sert d'ensemble de référence ( $T_{ref}$ ) représentant la distribution empoisonnée.
- Score de non-conformité (NCS) : Pour chaque échantillon du sous-ensemble non identifié $D_u$ , un NCS textuel est calculé sur la base de la similitude cosinus moyenne entre l'incorporation textuelle de l'échantillon et l'ensemble de référence. Les légendes empoisonnées, qui partagent des motifs spécifiques à la cible, s'alignent étroitement avec l'ensemble de référence, entraînant un faible NCS (haute conformité). Les légendes saines s'écartent de l'ensemble de référence, entraînant un NCS élevé.
- Décision statistique : Le NCS est converti en une p-valeur conforme. Sous l'hypothèse nulle que la paire de test est empoisonnée (échangeable avec l'ensemble de référence), un faible NCS produit une p-valeur élevée, tandis qu'un NCS élevé produit une p-valeur faible. La règle de décision est la suivante : si $p(x,t) \le \epsilon$ , l'échantillon est classé comme sain ; sinon, il est classé comme empoisonné. Ainsi, les échantillons avec un faible NCS (haute conformité à la distribution empoisonnée) reçoivent des p-valeurs élevées et sont conservés comme empoisonnés, tandis que les échantillons avec un NCS élevé (faible conformité) reçoivent des p-valeurs faibles et sont rejetés comme sains.

Contributions Clés

Cadre CASCADE : Un pipeline de détection en deux étapes qui sépare les échantillons à haute confiance avant d'affiner les paires ambiguës via la prédiction conforme, surmontant les limitations des seuils fixes.
Nouvelles Métriques : L'introduction de la cohérence inter-modalité (exploitant le désalignement image-texte) et des scores de non-conformité textuelle (exploitant le regroupement structurel des légendes empoisonnées) pour améliorer la séparabilité.
Garanties Statistiques : L'intégration de la CP fournit des bornes statistiques rigoureuses sur le taux de faux positifs, garantissant que la probabilité de classer erronément un échantillon empoisonné comme sain est contrôlée à un niveau défini par l'utilisateur.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur le jeu de données CC3M contre neuf attaques de backdoor diverses (ex: BadNets, BadCLIP, mmPoison) et diverses attaques adaptatives.

Performance de détection : CASCADE a atteint un FPR@100%TPR moyen de 5,79 % et un AUROC moyen de 0,9867, surpassant de manière significative les bases de comparaison de l'état de l'art comme CLIPScore, SafeCLIP et DAO.
Utilité en aval : Lorsqu'il est utilisé pour filtrer les données d'entraînement, les modèles entraînés sur le sous-ensemble sain identifié conservent une précision sur les données propres élevée (58,17 % sur ImageNet-1K, proche de la base saine de 59,69 %) tout en réduisant le Taux de Succès d'Attaque (ASR) d'environ 80 % à 0,12 %.
Robustesse : La méthode est restée efficace contre les attaques adaptatives conscientes de la défense, où les attaquants optimisent les déclencheurs pour maximiser la cohérence sémantique avec les légendes cibles. L'AUROC de CASCADE n'a que légèrement diminué (jusqu'à ~0,94), démontrant la robustesse face aux tentatives d'évasion de l'Étape I.
Généralisation : La méthode s'est généralisée à travers différentes classes cibles, divers réglages de cible, différentes variantes de CLIP (ResNet, ViT) et divers jeux de données de pré-entraînement (Flickr-PASCAL, Visual Genome, MSCOCO).

Signification et Revendications
L'article affirme que CASCADE représente une avancée significative dans la sécurisation des modèles MCL en passant de seuils de similitité heuristiques à un cadre de détection statistiquement fondé. En exploitant les propriétés structurelles des données empoisonnées (à la fois le désalignement inter-modal et le regroupement dans l'espace textuel) et en quantifiant l'incertitude via la prédiction conforme, CASCADE fournit une défense fiable qui contrôle les faux positifs, même dans les zones ambiguës où les méthodes traditionnelles échouent. Les auteurs soulignent que, bien que CASCADE se concentre sur la détection, il laisse la purification post-hoc (par exemple, l'unlearning de modèle) comme travail futur. La méthode est présentée comme une solution robuste, efficace et généralisable pour identifier les données empoisonnées dans le pré-entraînement multimodal à grande échelle.

L'histoire de l'article : Quand les modalités ne dansent pas le tango

Ce qu'ils ont trouvé

Pourquoi c'est important

Articles similaires