🤖 AI

Out-of-the-box: Black-box Causal Attacks on Object Detectors

Ce papier présente BlackCAtt, un outil d'attaque causale en boîte noire qui génère des perturbations imperceptibles et entièrement explicables sur les détecteurs d'objets en ciblant uniquement les pixels causalement suffisants, surpassant ainsi les méthodes existantes en termes de discrétion et de transparence.

Auteurs originaux : Melane Navaratnarajah, David A. Kelly, Hana Chockler

Publié 2026-04-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Melane Navaratnarajah, David A. Kelly, Hana Chockler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚗 Le Scénario : La Voiture qui ne voit plus le chien

Imaginez que vous conduisez une voiture autonome. Soudain, un chien traverse la route devant vous. La voiture le voit, elle a un cadre bleu autour de lui sur son écran interne, et elle est prête à freiner.

Mais soudain, le chien disparaît de l'écran de la voiture. Il est toujours là, réel, mais pour l'ordinateur, il est devenu invisible. Vous devez freiner vous-même pour éviter l'accident.

Pourquoi ? Parce que quelqu'un a joué un tour à la voiture. Ce n'est pas un bug, c'est une faille.

🔍 Le Problème : On sait "comment", mais pas "pourquoi"

Jusqu'à présent, les chercheurs savaient comment tromper ces voitures en ajoutant du "bruit" (des pixels bizarres) partout sur l'image. C'est comme si on jetait de la farine sur la vitre du pare-brise : la voiture ne voit plus rien. Ça marche, mais c'est grossier. On ne sait pas pourquoi ça marche. C'est comme essayer de casser une serrure en la frappant avec un marteau : ça peut s'ouvrir, mais on ne comprend pas le mécanisme.

De plus, la plupart de ces méthodes nécessitent de connaître les secrets internes de la voiture (ses "couches cachées"). C'est comme si l'attaquant avait les plans de l'usine. Dans la vraie vie, un attaquant n'a souvent que ce qu'il voit : l'image et le résultat (le cadre bleu).

💡 La Solution : BlackCAtt (L'Enquêteur Causal)

Les auteurs de cet article, de l'Université King's College à Londres, ont créé un nouvel outil appelé BlackCAtt.

Au lieu de jeter de la farine partout, BlackCAtt fonctionne comme un détective très précis. Il cherche à comprendre : "Quels sont les tout petits détails de l'image qui font que la voiture dit 'C'est un chien' ?"

Ces détails s'appellent des MSPS (Ensembles de pixels minimaux suffisants).

L'Analogie du Puzzle Invisible

Imaginez que la voiture reconnaît un chien grâce à un puzzle.

L'intuition humaine : On pense que le puzzle est composé uniquement des pixels du chien lui-même (le museau, les pattes).
La découverte de BlackCAtt : Le puzzle est trompeur ! La voiture utilise aussi des pièces du puzzle qui sont autour du chien (l'herbe, l'ombre, le trottoir).

BlackCAtt découvre que si vous changez juste quelques pixels dans l'herbe (en dehors du cadre du chien), la voiture perd ses repères et oublie le chien.

🎯 Comment ça marche ? (Les deux méthodes)

L'équipe a créé deux façons d'attaquer, comme deux styles de peinture :

BlackCAttBl (Le Mélangeur) : Il prend une carte de "ce qui est important" (le chien) et une carte de "ce qui n'est pas important" (le reste). Il les mélange pour trouver les endroits exacts où toucher.
BlackCAttMoG (Le Sculpteur) : Il imagine que les zones importantes sont comme des montagnes. Il crée une attaque douce et fluide (comme un brouillard) qui s'adapte parfaitement à la forme de ces montagnes, sans faire de bruit visible.

🌟 Pourquoi c'est révolutionnaire ?

C'est invisible : Comme on ne touche qu'aux "causes" réelles (les pixels qui comptent vraiment), l'attaque est souvent imperceptible à l'œil humain. C'est comme changer la couleur d'une ombre : vous ne le remarquez pas, mais la voiture panique.
C'est universel : Ça marche sur toutes les voitures (YOLO, Faster R-CNN, etc.), même si on ne connaît pas leur code interne. C'est une attaque "boîte noire".
C'est plus efficace : Les résultats montrent que pour tromper la voiture, il faut modifier beaucoup moins de pixels avec BlackCAtt qu'avec les anciennes méthodes.
- Exemple : Les anciennes méthodes modifiaient 98% de l'image pour tromper la voiture. BlackCAtt n'en modifie que 7% (et souvent beaucoup moins), tout en obtenant le même résultat !

🛠️ L'Utilité : Pourquoi s'en soucier ?

Vous pourriez penser : "C'est bien joli, mais c'est pour faire du mal ?"
En réalité, c'est l'inverse. En montrant exactement pourquoi la voiture se trompe, les ingénieurs peuvent réparer la voiture.

Avant : "La voiture ne voit pas le chien, ajoutons plus de bruit pour l'entraîner." (Tir à l'aveugle).
Avec BlackCAtt : "Ah ! La voiture se fie trop à l'herbe derrière le chien. Si l'herbe change, elle panique. On va entraîner la voiture à regarder le chien, peu importe l'herbe."

En résumé

BlackCAtt, c'est comme donner une loupe à un hacker pour qu'il trouve le point faible exact d'un système, sans avoir besoin de casser la porte d'entrée.

Au lieu de crier fort pour faire peur à un chien (bruit global), on lui chuchote un secret précis dans l'oreille (modification causale) pour qu'il s'enfuit. Cela permet de créer des attaques plus petites, plus discrètes, et surtout, de comprendre la logique de la machine pour la rendre plus sûre.

1. Problématique

Les détecteurs d'objets (Object Detectors - OD), essentiels pour des applications critiques comme la conduite autonome, sont vulnérables aux perturbations adverses. Bien que de nombreuses méthodes d'attaque existent, elles présentent plusieurs limites majeures :

Manque d'explicabilité : La plupart des attaques réussissent sans que l'on comprenne pourquoi elles fonctionnent. Elles perturbent souvent l'image de manière globale ou aléatoire sans cibler les causes racines de la décision du modèle.
Dépendance au modèle (White-box) : De nombreuses approches explicatives nécessitent un accès aux couches internes du modèle (gradients, cartes de salience), ce qui constitue un modèle de menace irréaliste (boîte blanche).
Hypothèse erronée sur les zones d'intérêt : Il est généralement supposé que les pixels causaux (ceux qui déterminent la détection) se trouvent exclusivement à l'intérieur de la boîte englobante (bounding box) annotée.

L'article vise à combler ces lacunes en proposant une méthode d'attaque en boîte noire qui est à la fois explicable, architecture-agnostique et capable de cibler les causes minimales de la détection, même en dehors de la boîte englobante.

2. Méthodologie : BlackCAtt

L'article présente BlackCAtt (Black-box Causal Attacks), un algorithme et un outil qui génère des attaques adverses en manipulant des ensembles de pixels causaux minimaux et suffisants (MSPS - Minimal Sufficient Pixel Sets).

Concepts Clés

MSPS (Minimal Sufficient Pixel Sets) : Un sous-ensemble minimal de pixels d'une image qui suffit à ce que le modèle maintienne sa classification initiale. Si ces pixels sont perturbés, la détection échoue ou change.
Approche Causale : Contrairement aux méthodes basées sur la corrélation (comme les cartes de salience classiques), BlackCAtt utilise la théorie de la causalité (via l'outil rex) pour identifier les pixels qui sont la cause de la détection.
Découverte contre-intuitive : L'étude révèle que les MSPS ne sont pas toujours contenus dans la boîte englobante. Souvent, une partie significative des pixels causaux se trouve en dehors de la boîte, dans le contexte environnant.

Algorithmes Proposés

L'article introduit deux algorithmes principaux fonctionnant en boîte noire (nécessitant uniquement l'étiquette et la position de la boîte, ou éventuellement le score de confiance) :

BlackCAttBl (Blended) :
- Combine deux cartes : une carte de responsabilité pour la détection actuelle ( $R(X)$ ) et une carte de responsabilité pour l'absence de détection ( $R(\bar{X})$ ).
- Utilise ces cartes pour identifier les zones à perturber (à l'intérieur ou à l'extérieur de la MSPS) et applique des perturbations progressives pour maximiser l'efficacité tout en minimisant la distorsion.
BlackCAttMoG (Mixture of Gaussians) :
- Traite la carte de responsabilité comme un mélange de Gaussiennes.
- Identifie les pics de responsabilité à l'intérieur de la MSPS et génère un masque de perturbation lisse et spatialement cohérent (noyau gaussien 2D) centré sur ces pics.
- Cette approche est particulièrement efficace pour créer des perturbations imperceptibles et structurelles.

Objectifs d'Attaque

Les algorithmes visent trois objectifs :

Suppression de détection : Faire disparaître la boîte englobante.
Changement de classe : Modifier l'étiquette de l'objet détecté.
Ajout de détection : Créer une fausse détection (objet fantôme).

3. Contributions Clés

Première attaque explicative en boîte noire pour les OD : BlackCAtt est la première méthode à fournir des attaques explicables (en montrant exactement quels pixels causaux ont été modifiés) sans accès aux gradients ou aux poids du modèle.
Démonstration de la dépendance contextuelle : L'article prouve empiriquement que les détecteurs d'objets (YOLO, Faster R-CNN, RT-DETR) s'appuient fortement sur des pixels situés en dehors de la boîte englobante annotée. Perturber ces pixels contextuels suffit souvent à faire échouer la détection.
Efficacité supérieure avec moins de distorsion : En ciblant uniquement les causes (MSPS), les attaques nécessitent beaucoup moins de pixels modifiés et sont moins perceptibles (distorsion $L_0$ , $L_2$ , LPIPS plus faibles) que les attaques aléatoires ou ciblées sur les bords.
Algorithme méta : BlackCAtt peut être utilisé comme un "méta-algorithme" pour améliorer d'autres attaques en boîte noire (comme Square Attack) en restreignant leur recherche aux pixels causaux, réduisant ainsi le nombre de requêtes et la distorsion.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données COCO avec trois architectures de détecteurs : YOLOv11 (single-stage), Faster R-CNN (two-stage) et RT-DETR (transformer).

Analyse Spatiale :
- Environ 62% à 74% des MSPS ne sont pas entièrement contenus dans la boîte englobante, même pour des détections à haute confiance.
- Il existe une corrélation positive entre la confiance du modèle et la fraction de pixels causaux à l'intérieur de la boîte, mais la corrélation globale (Dice Coefficient) reste faible, confirmant l'importance du contexte externe.
Performance des Attaques :
- Comparaison avec les bases (Noise, Targeted Noise) : BlackCAtt surpasse largement les attaques non dirigées. Par exemple, pour l'ajout de fausses détections, BlackCAtt atteint des taux de succès de 53% contre moins de 10% pour les bruits aléatoires sous des contraintes de distorsion strictes.
- Réduction de la distorsion : Lorsqu'il est combiné à Square Attack, BlackCAtt réduit la distance moyenne ( $L_0$ norm) de l'attaque de 0.987 à 0.072 tout en maintenant un taux de succès similaire. Cela signifie que l'attaque est beaucoup plus discrète.
- Robustesse : L'approche fonctionne sur tous les types d'architectures testées, bien que les transformateurs (RT-DETR) soient légèrement plus robustes aux perturbations localisées.
Efficacité des requêtes :
- Bien que la génération initiale de la MSPS nécessite des appels au modèle, cette étape est amortie. Une fois la MSPS obtenue, les variantes guidées par BlackCAtt nécessitent souvent moins de requêtes pour converger vers une attaque réussie par rapport aux méthodes de recherche aléatoire.

5. Signification et Implications

Sécurité et Robustesse : Cette recherche met en lumière une vulnérabilité fondamentale des détecteurs d'objets : leur dépendance excessive au contexte environnant plutôt qu'aux objets eux-mêmes. Cela suggère que les modèles actuels ne sont pas aussi robustes qu'on le pense pour des applications de sécurité critique.
Défense et Entraînement Adversaire : La méthode BlackCAtt peut être utilisée pour l'entraînement adversaire. En forçant le modèle à être robuste aux perturbations des pixels causaux (y compris ceux à l'extérieur de la boîte), on peut améliorer la fiabilité des détecteurs.
Explicabilité (XAI) : L'article démontre que l'explicabilité n'est pas seulement un outil d'analyse, mais un levier puissant pour construire des attaques plus efficaces et plus subtiles. Comprendre la "cause" permet de la cibler avec précision.
Limites : La méthode dépend de la qualité de l'outil d'extraction de MSPS (comme rex). Si la carte de salience est trop bruyante, la performance de BlackCAtt diminue. De plus, la présence de multiples MSPS indépendants pour une même image (surdétermination) peut limiter le taux de succès si l'attaquant ne cible qu'un seul ensemble.

En conclusion, BlackCAtt représente une avancée majeure dans la compréhension et l'exploitation des vulnérabilités des détecteurs d'objets, passant d'une approche de "bruit" aveugle à une attaque ciblée, causale et hautement explicite.