Résumé Technique : Vers des Attaques Adverses Physiques Universelles via un Cadre d'Optimisation Jointe Multi-Objectif et Multi-Modèle

1. Énoncé du Problème

Les attaques adverses physiques, en particulier le camouflage adverse 3D, se heurtent à trois goulots d'étranglement critiques limitant leur déploiement réel contre des modèles boîte noire :

1. Surapprentissage à un seul modèle de substitution : Les méthodes existantes reposent souvent sur un seul modèle de substitution (par exemple, la série YOLO), ce qui provoque un surapprentissage du camouflage généré aux frontières de décision spécifiques et un échec face à des réseaux hétérogènes.
2. Absence de synergie entre les attaques superficielles et profondes : Les stratégies actuelles utilisent généralement soit une suppression de sortie superficielle (efficace mais sujette au surapprentissage), soit une perturbation profonde des caractéristiques (transférable mais manquant d'une guidance de sortie rigide). L'absence d'intégration synergique empêche les attaques d'atteindre à la fois une haute efficacité et une généralisation profonde.
3. Conflits de gradients dans la fusion multi-source : Lors de l'intégration de modèles et d'objectifs multiples, des stratégies de fusion naïves (par exemple, une somme pondérée égale) entraînent de graves conflits de gradients et des oscillations au sein de l'espace paramétrique restreint des textures physiques. Cela se traduit par une annulation directionnelle et une perte d'énergie, masquant les exigences adverses des modèles robustes.

De plus, les méthodes existantes peinent à généraliser à travers différentes tâches visuelles (par exemple, le transfert de la détection d'objets à la segmentation sémantique ou à l'estimation de profondeur) en raison des écarts sémantiques dans les objectifs d'optimisation sous-jacents.

2. Méthodologie : Cadre d'Optimisation Jointe Multi-Objectif et Multi-Modèle (JMOF)

Le cadre JMOF proposé répond à ces limitations par une approche à quatre volets :

A. Sélection Quantitative du Modèle de Substitution

Au lieu d'une sélection intuitive ou aléatoire, JMOF utilise la Similarité Cosine des Gradients pour quantifier l'hétérogénéité des modèles candidats. Un algorithme de sélection gloutonne construit un ensemble de $N$ modèles minimisant la similarité des gradients par paires. Cela garantit que l'ensemble couvre un spectre diversifié de logiques de cognition visuelle, empêchant l'optimisation de converger vers des minima locaux partagés par des architectures similaires.

B. Mécanisme d'Attaque Multi-Objectif à Double Niveau

Le cadre emploie une fonction de perte conjointe composée de trois éléments pour équilibrer efficacité et généralisation :

1. Perte de Détection ($L_{det}$) : Une stratégie de suppression basée sur LogSumExp qui supprime indistinctement les scores de confiance de toutes les boîtes de délimitation prédites ayant une forte Intersection sur Union (IoU) avec la vérité terrain. Cela fournit une guidance explicite et superficielle.
2. Perte de Caractéristiques ($L_{fea}$) : Un mécanisme de perturbation profonde ciblant les cartes de caractéristiques intermédiaires. Il effectue une Suppression Moyenne (atténuation de l'activation globale) et un Aplatissement de la Variance (lissage des pics sémantiques) à travers des couches multi-échelles. Cela démantèle les caractéristiques structurelles spatiales partagées pour améliorer la transférabilité boîte noire.
3. Perte de Lissage ($L_{smo}$) : Une perte basée sur la Variation Totale assurant la continuité de la texture adverse, éliminant le bruit haute fréquence qui cause des échecs sous des variations de point de vue physique et des occlusions.

C. Alignement des Gradients Orthogonaux (OGA)

Pour résoudre les conflits de gradients, JMOF introduit la stratégie OGA. Contrairement aux méthodes de rejet passif (par exemple, DRF, DGR), OGA restructure activement les gradients conflictuels :

• Analyse de Patchs Locaux : La texture globale est divisée en patchs locaux. Pour chaque patch, une matrice de Gram est calculée pour capturer les angles géométriques et les corrélations de magnitude parmi les gradients hétérogènes.
• Projection Orthogonale : Par décomposition en valeurs propres, OGA construit une matrice de transformation orthogonale. Cela projette les gradients conflictuels sur une base orthogonale, convertissant efficacement l'énergie potentielle d'optimisation répulsive en énergie cinétique synergique sans rejeter les préférences de caractéristiques.
• Pondération Dynamique des Tâches : Un mécanisme de pondération dynamique ($\omega$) attribue des poids plus élevés aux modèles présentant une difficulté adverse plus élevée (par exemple, les Transformers de vision), garantissant que l'attaque évolue vers des espaces de vulnérabilité de haute dimension.
• Taille de Pas Adaptative : La décomposition orthogonale comprime naturellement les composantes fortement répulsives, agissant comme un déclin adaptatif de la taille de pas pour empêcher la stagnation de l'optimiseur dans les régions de perte raides.

D. Stratégies d'Amélioration

• Gestionnaire de Texture Dépendant de la Vue (VTG) : Impose des contraintes de visibilité lors de la rétropropagation, garantissant que les pixels invisibles (occlus par l'auto-occlusion ou les déplacements de point de vue) ne sont pas erronément lissés, préservant ainsi l'énergie adverse sur les régions visibles.
• Abandon Stochastique de Texture (STD) : Masque aléatoirement des blocs de la texture adverse pendant l'entraînement pour simuler les occlusions du monde réel. Cela force l'algorithme à éviter la dépendance à des raccourcis locaux spécifiques et à apprendre des caractéristiques généralisables globalement.

3. Contributions Clés

1. Analyse de Similarité des Gradients : L'article révèle un compromis critique dans la similarité des gradients : des gradients trop alignés limitent la diversité, tandis que des gradients hautement divergents provoquent des conflits. Il définit un régime de similarité efficace pour guider la sélection d'ensembles de substitution optimaux.
2. Mécanisme d'Attaque à Double Niveau : La proposition d'un mécanisme synergique supprimant conjointement les sorties de prédiction et aplatissant les distributions de caractéristiques intermédiaires, surmontant les limitations des attaques à niveau unique.
3. Alignement des Gradients Orthogonaux (OGA) : Un module novateur qui résout les conflits de gradients inter-modèles en transformant des gradients mutuellement répulsifs en directions d'optimisation synergiques, permettant une convergence sur des régions de vulnérabilité partagées à travers des modèles hétérogènes.
4. Généralisation Inter-Tâches : La démonstration que le cadre peut générer des attaques capables de tromper simultanément des modèles de détection d'objets, de segmentation sémantique et d'estimation de profondeur monoculaire, comblant le fossé entre la perception sémantique de haut niveau et la régression géométrique de bas niveau.

4. Résultats Expérimentaux

Des expériences extensives ont été menées en utilisant le simulateur CARLA et des modèles physiques à l'échelle 1:18 avec des supports en film PET.

• Transférabilité Inter-Modèle : JMOF a surpassé les références de l'état de l'art (par exemple, FCA, DAS, HTCA, TACO) sur divers détecteurs boîte noire, y compris les CNN (YOLO, Faster R-CNN), les Transformers de vision (ViT, Swin) et les hybrides. Il a maintenu des Taux de Réussite d'Attaque (ASR) élevés même face à des modèles hautement hétérogènes où les références à modèle unique ont échoué.
• Robustesse Multi-Vue : La méthode a démontré une robustesse supérieure à travers divers angles d'azimut et de tangage, en particulier sur les vues latérales où les méthodes traditionnelles se dégradent considérablement en raison de changements topologiques.
• Études d'Ablation :
  • Le retrait de la perte de caractéristiques ($L_{fea}$) a causé une baisse de plus de 13 % de l'ASR contre les CNN et de plus de 15 % contre les ViT, confirmant la nécessité de la perturbation profonde des caractéristiques.
  • Le retrait de OGA et l'utilisation d'une somme naïve ont entraîné une dégradation sévère des performances, validant le besoin d'une restructuration active des gradients.
  • L'inclusion des modules VTG et STD a amélioré l'ASR d'environ 9 % et 6 % respectivement.
• Performance Inter-Tâches : Lors de l'optimisation conjointe pour la détection d'objets et la segmentation sémantique (ou l'estimation de profondeur), JMOF avec OGA a réussi à perturber les deux tâches simultanément. En revanche, les stratégies de somme naïve ont échoué à maintenir les performances sur les deux tâches en raison des conflits de gradients.
• Déploiement Physique : Dans des expériences physiques réelles, la méthode a atteint des ASR de 65,71 % (SM), 72,76 % (CNN) et 70,63 % (ViT), représentant une performance robuste malgré l'écart de domaine par rapport à la simulation.

5. Signification et Revendications

L'article revendique faire progresser les limites de généralisation des attaques adverses physiques en fournissant un cadre robuste pour évaluer les vulnérabilités de l'IA visuelle dans les déploiements réels.

• Applicabilité Universelle : Le cadre est présenté comme une logique sous-jacente universelle capable de quantifier et de résoudre les conflits de gradients à travers différentes architectures et tâches. Il élimine le besoin d'essais et d'erreurs aveugles lors de l'intégration de nouveaux modèles ; au lieu de cela, il utilise l'analyse de similarité des gradients pour intégrer de manière adaptative de nouvelles architectures dans l'optimisation conjointe.
• Combler le Fossé : La recherche aborde le fossé massif entre les limites de capacité des attaques physiques actuelles et les exigences des scénarios réels boîte noire et multi-tâches.
• Optimisation Synergique : En transformant les gradients conflictuels en directions synergiques, la méthode réalise un changement de paradigme de l'évasion passive vers la restructuration active, permettant au camouflage adverse physique de converger vers des espaces de vulnérabilité partagés à travers des réseaux divers et des tâches visuelles.

Les auteurs reconnaissent que si la méthode atteint des performances révolutionnaires, elle entraîne des coûts de calcul accrus en raison de la propagation avant et arrière multi-modèles. Un travail futur est proposé pour explorer des algorithmes d'optimisation conjointe plus efficaces et des mécanismes légers afin d'équilibrer l'efficacité de génération avec les performances de généralisation.