Résumé Technique : AdvScene

Énoncé du Problème

Les patchs adverses sont des motifs physiques apposés sur des objets réels, conçus pour tromper les systèmes de vision par IA. Bien que les recherches existantes aient démontré que ces patchs peuvent réussir dans des scénarios spécifiques et contrôlés, les méthodes d'évaluation actuelles ne parviennent pas à mesurer de manière adéquate la robustesse de scène : l'efficacité d'un patch déployé de façon fixe face aux changements de conditions d'un environnement réel (par exemple, variations de points de vue, de distances et de contextes de scène).

Le document identifie une lacune critique dans les paradigmes d'évaluation existants :

1. Les transformations dans le plan de l'image (par exemple, les balayages de type EOT) traitent les patchs comme des superpositions 2D, échouant à prendre en compte les effets de projection physique tels que les angles obliques, l'occlusion partielle ou les changements d'échelle qui surviennent lorsqu'un patch est fixé sur une surface 3D.
2. Les bancs d'essai de capture réelle fournissent des preuves physiques mais sont limités à des poses et des conditions fixes, ce qui rend l'échantillonnage dense de l'espace opérationnel requis pour comprendre le risque de déploiement laborieux et souvent dangereux.
3. Les plateformes basées sur des simulateurs offrent une certaine contrôlabilité mais manquent souvent d'ancrage dans des scènes réelles spécifiques, ce qui peut introduire des artefacts ne reflétant pas les sites de déploiement réels.

Par conséquent, un patch qui réussit dans une seule « vue d'ancrage » peut présenter un risque pratique limité, tandis que la véritable menace réside dans sa capacité à rester efficace sur une large gamme de vues naturelles. Le problème central est de savoir comment mesurer l'enveloppe opérationnelle — la région spécifique des conditions d'observation induites par la scène où un attaque déployée fixe réussit — sans nécessiter une expérimentation physique exhaustive.

Méthodologie : Le Cadre AdvScene

Les auteurs proposent AdvScene, un cadre ancré dans la scène qui reconstruit des environnements réels et évalue des patchs adverses fixes au sein de ceux-ci. L'innovation centrale consiste à reformuler l'évaluation comme un problème de mesure opérationnelle plutôt que comme un simple taux de réussite sur une image unique.

1. Reconstruction de Scène et Intégration

AdvScene utilise la Splatting de Gaussiennes 3D (3DGS) pour créer des jumeaux numériques de haute fidélité et contrôlables de scènes réelles à partir de captures multi-vues. Le cadre suit un pipeline en quatre étapes :

• Reconstruction de Scène : Une scène 3DGS propre ($G_0$) est reconstruite à partir d'images multi-vues d'une scène réelle.
• Instanciation de l'Attaque d'Ancrage : Un pipeline d'attaque externe génère un patch adverse fixe à partir d'une vue d'ancrage sélectionnée, produisant une image attaquée ($I^*_a$) et un masque de patch ($M_a$).
• Intégration du Patch-à-la-Scène Adverse (APSE) : Il s'agit de la contribution technique centrale. L'APSE élève l'attaque de la vue d'ancrage 2D dans la scène 3D pour créer une scène adverse ($G_{adv}$). Elle traite le « problème de l'élévation contrainte » : comment représenter un patch défini dans une vue de telle sorte qu'il reste fidèle, localisé et fixé à la surface sous de nouveaux points de vue.
• Évaluation au Niveau de la Scène : La scène adverse est rendue sous des variations contrôlées de pose de caméra, de distance et de contexte de scène pour estimer l'enveloppe opérationnelle.

2. Intégration du Patch-à-la-Scène Adverse (APSE)

L'APSE résout l'ambiguïté inter-vues tout en préservant l'apparence critique de l'attaque. Elle emploie une représentation hybride par Gaussiennes composée de :

• Gaussiennes Réutilisées ($O$) : Les Gaussiennes de la scène existantes dans la région du patch sont réutilisées pour maintenir la géométrie de la surface reconstruite. Seuls leurs paramètres d'apparence (couleur, opacité) sont mis à jour.
• Gaussiennes Générées ($N$) : De nouvelles Gaussiennes sont générées de manière dense à l'intérieur du masque du patch pour fournir la capacité locale nécessaire aux motifs adverses à haute fréquence.

Pour garantir que le patch se comporte physiquement de manière correcte, l'APSE optimise sous quatre contraintes :

1. Fidélité de la Vue d'Ancrage : Le patch rendu doit correspondre à l'image d'ancrage attaquée ($L_{patch}$).
2. Préservation de la Scène : Les régions en dehors du patch doivent rester identiques à la reconstruction propre ($L_{keep}$).
3. Confinement des Vues Auxiliaires : En utilisant des vues auxiliaires non attaquées, la méthode supprime les « fuites » (changements d'apparence involontaires dans l'arrière-plan) et les artefacts flottants ($L_{aux-rgb}$, $L_{aux-alpha}$).
4. Fixation à la Surface : Pour éviter que le patch ne flotte ou ne se détache (particulièrement sur des objets fins comme des panneaux de signalisation), l'APSE initialise les Gaussiennes générées sur un plan de premier plan ajusté et contraint leur mouvement pendant l'optimisation en utilisant des cadres de surface locaux et des pertes d'attachement aux normales ($L_{normal}$).

3. Mesure de l'Enveloppe Opérationnelle

Le résultat d'AdvScene n'est pas une métrique unique mais une enveloppe opérationnelle ($E$), définie comme l'ensemble des conditions d'observation $\theta$ (paramétrées par l'orientation de la caméra, la position relative à l'objet et les intrinsèques) où l'attaque réussit ($S(\theta) = 1$). Cela permet une analyse systématique de l'endroit et de la raison pour laquelle une attaque échoue lorsque les conditions de scène changent.

Contributions Clés

1. Changement Conceptuel : Le document identifie la robustesse de scène comme une dimension manquante dans l'évaluation des patchs adverses physiques et formule le problème comme la mesure de l'enveloppe opérationnelle d'un patch fixe dans des scènes reconstruites.
2. Cadre AdvScene : Un système d'évaluation ancré dans la scène combinant la reconstruction de scène réelle, l'intégration de patchs fixes et le rendu contrôlé de nouvelles vues pour mesurer le comportement de l'attaque sous des variations de déploiement réalistes.
3. Méthode APSE : Une technique d'intégration contrainte pour le Splatting de Gaussiennes 3D qui préserve l'apparence critique de l'attaque tout en imposant la localité, la préservation de la scène propre, la fixation à la surface cible et la stabilité inter-vues.
4. Validation Empirique :
   • Fidélité : Validé par rapport à 7 scènes physiques du monde réel, AdvScene atteint une cohérence de 99,30 % dans le taux de réussite de l'attaque (ASR) avec les captures physiques, surpassant de manière significative les lignes de base de transformation du plan de l'image (93,54 %). Crucialement, il évite la surestimation sévère du risque des lignes de base dans les vues proches et obliques.
   • Échelle : Évalué à travers 59 scènes CO3D (centrées sur l'objet) et 28 scènes Waymo (scénarios de conduite) couvrant la classification ciblée/non ciblée et la disparition de la détection d'objets.
   • Résultats :
     • Le succès de la vue d'ancrage s'effondre souvent en dehors d'une enveloppe opérationnelle étroite ; un patch réussissant dans une vue ne garantit pas une large robustesse de déploiement.
     • Les scènes de conduite induisent des enveloppes opérationnelles directionnelles et asymétriques en raison des trajectoires des véhicules et de la géométrie routière.
     • L'EOT (Expectation over Transformation) sensible à la géométrie est la technique principale qui étend l'enveloppe opérationnelle. Les régulariseurs comme le Score de Non-Imprimabilité (NPS) et la Variation Totale (TV) affectent principalement la imprimabilité ou la lissité mais ne modifient pas fondamentalement les modes d'échec au niveau de la scène.
     • La régularisation $\ell_2$ peut contraindre l'amplitude du patch sans réduire substantiellement l'enveloppe opérationnelle, suggérant que la furtivité visuelle et la robustesse au niveau de la scène ne sont pas toujours en conflit direct.

Signification et Revendications

Le document affirme que le risque d'un patch physique doit être compris comme une enveloppe plutôt que comme une estimation ponctuelle. En rendant cette enveloppe mesurable, AdvScene fournit une base plus fidèle pour évaluer le risque de patch physique.

Les auteurs soulignent qu'AdvScene n'est pas un générateur d'attaques plus puissant, mais un cadre de mesure pour des attaques fixes produites par des pipelines existants. Sa signification réside dans la révélation de modes de défaillance systématiques (par exemple, l'effondrement dû aux vues obliques) que les évaluations centrées sur l'image ou basées sur des simulateurs manquent. Cela permet aux défenseurs de comprendre les conditions opérationnelles spécifiques sous lesquelles un patch déployé reste une menace et aide les concepteurs d'attaques à comprendre quelles techniques (spécifiquement l'EOT sensible à la géométrie) améliorent réellement la robustesse au niveau de la scène par rapport à celles qui n'améliorent que la plausibilité physique ou les performances de la vue d'ancrage.

Le travail est de portée modeste, se concentrant sur des patchs 2D fixes, imprimables et fixés à une surface dans des scènes statiques, excluant explicitement les objets adverses 3D, les affichages dynamiques ou les piles complètes de conduite autonome avec fusion de capteurs, laissant ces sujets pour des travaux futurs.