In-the-Wild Camouflage Attack on Vehicle Detectors through Controllable Image Editing

1. Problématique

Les réseaux de neurones profonds (DNN), bien que performants en vision par ordinateur, sont vulnérables aux exemples adverses. Dans le contexte de la détection de véhicules (crucial pour les systèmes autonomes et la sécurité), les attaques adverses traditionnelles souffrent de limitations :

• Perturbations imperceptibles : Souvent inefficaces contre les détecteurs robustes et peu réalistes physiquement.
• Patchs adverses : Souvent trop visibles pour un observateur humain, ce qui les rend peu pratiques dans des scénarios réels ("in-the-wild").
• Limites de la simulation : Les méthodes basées sur la texture 3D nécessitent des géométries précises et des paramètres de caméra, limitant leur transfert vers le monde réel.

L'objectif de cet article est de concevoir une attaque par camouflage qui manipule l'apparence visuelle d'un véhicule pour tromper les détecteurs tout en restant furtive (stealthy) pour les humains. La furtivité est définie ici comme la cohérence visuelle avec l'environnement, évitant les motifs artificiels ou saillants.

2. Méthodologie

Les auteurs proposent un cadre novateur qui formule l'attaque par camouflage comme un problème d'édition d'images conditionnelle, en utilisant des modèles de diffusion (Stable Diffusion) et un ControlNet affiné.

A. Stratégies de Génération

L'article introduit deux stratégies de stylisation inspirées de la nature :

1. Niveau Image (Image-level) : Le véhicule adopte le style de son environnement immédiat (analogie avec le caméléon). Le modèle sélectionne une région de référence autour du véhicule pour guider la stylisation.
2. Niveau Scène (Scene-level) : Le véhicule s'adapte à un concept sémantique global de la scène (analogie avec le criquet imitant une feuille sèche). Par exemple, un avion dans un ciel bleu est stylisé pour ressembler au ciel, indépendamment de sa position exacte. Cela permet un camouflage invariant à l'emplacement.

B. Pipeline en Deux Étapes

Le processus d'entraînement se déroule en deux phases séquentielles pour garantir à la fois la structure et l'efficacité de l'attaque :

1. Phase "No-Box Attack" (Préservation Structurelle et Stylisation) :

   • Le ControlNet est affiné pour transférer le style de la région de référence sur le véhicule tout en préservant sa géométrie physique.
   • Fonction de perte : Combinaison de trois termes :
     • $L_{struct}$ : Préservation de la structure (via le canal L de l'espace LAB).
     • $L_{s}$ : Perte de style (basée sur LatentLPIPS) pour aligner les caractéristiques latentes du véhicule avec la référence.
     • $L_{b}$ : Supervision du fond (pour la stratégie niveau image) afin d'assurer la cohérence globale de l'image.

2. Phase "White-Box Attack" (Optimisation Adversaire) :

   • Le modèle est affiné davantage pour minimiser la confiance du détecteur cible ($\mathcal{M}_{det}$) tout en maintenant la cohérence visuelle apprise.
   • Fonction de perte : Ajout de deux termes à la perte précédente :
     • $L_{adv}$ : Perte adversaire (Cross-Entropy) visant à faire classer le véhicule comme "fond" par le détecteur.
     • $L_{c}$ : Perte de cohérence des couleurs (basée sur DINOv3) pour empêcher le modèle de dévier les couleurs du véhicule lors de l'optimisation de l'attaque.

C. Génération

À l'inférence, le pipeline génère des images camouflées par échantillonnage direct, sans nécessiter d'optimisation par image, ce qui rend la méthode rapide et applicable en temps réel.

3. Contributions Clés

• Formulation Novel : Première formulation de l'attaque par camouflage sur des images réelles comme un problème d'édition d'images conditionnelle, utilisant des modèles de diffusion.
• Stratégies Adaptatives : Introduction de deux stratégies (niveau image et niveau scène) permettant un camouflage contextuel et sémantiquement cohérent.
• Pipeline Hybride : Une approche en deux étapes qui sépare la préservation structurelle de l'optimisation adversaire, garantissant que le véhicule reste reconnaissable par un humain tout en étant invisible pour la machine.
• Transférabilité : Démonstration que le camouflage généré transfère efficacement vers des détecteurs "boîte noire" inconnus et vers le monde physique.

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données COCO (vue au sol) et LINZ (vue aérienne).

• Efficacité de l'Attaque :
  • Réduction significative de la précision de détection (AP50). La méthode atteint une baisse de plus de 38% de l'AP50 par rapport aux méthodes de l'état de l'art (AdvCAM, Diff-PGD).
  • Sur LINZ, l'AP50 chute de 98,3% à 18,3% (Faster-RCNN) avec la stratégie niveau image.
• Furtivité et Structure :
  • SSIM (Similarité Structurelle) : La méthode préserve mieux la structure du véhicule que les méthodes concurrentes (SSIM plus élevé).
  • Évaluation Humaine : Dans une étude utilisateur, la méthode a été préférée dans 85,3% des cas pour la stratégie niveau scène (contre 11,7% pour Diff-PGD), indiquant un meilleur réalisme perçu.
• Transférabilité :
  • Boîte Noire : L'attaque fonctionne bien sur des modèles non vus (YOLOv5, YOLOv8, MLLM) avec une baisse de détection de plus de 47%.
  • Monde Physique : Des expériences de projection sur des modèles 3D imprimés montrent que les motifs adverses appris en simulation réduisent efficacement la confiance du détecteur dans des conditions réelles (taux de réussite de l'attaque de 100% sur les échantillons physiques testés).

5. Signification et Impact

Ce travail démontre que les modèles de génération d'images peuvent être détournés pour créer des menaces de sécurité réalistes et furtives contre les systèmes de vision autonomes.

• Sécurité : Il souligne la vulnérabilité des détecteurs de véhicules non seulement aux perturbations pixeliques, mais aussi aux changements d'apparence plausibles (peinture, décalcomanies).
• Défense : En proposant un cadre réaliste, l'article aide à évaluer la robustesse des systèmes de sécurité critique et suggère que les défenses futures doivent prendre en compte la cohérence sémantique et structurelle des objets, au-delà des simples filtres de bruit.
• Limites : Les auteurs notent que la méthode dépend d'une approximation de l'éclairage via le canal L et que la stratégie "niveau image" peut être moins efficace pour les vues au sol en raison de la distorsion perspective.

En résumé, cette recherche établit un nouveau standard pour les attaques par camouflage, passant de perturbations artificielles à des transformations d'apparence sémantiquement cohérentes, rendant la détection de véhicules beaucoup plus difficile tout en restant indétectable à l'œil nu.