💻 computer science

Adversarially Guided Diffusion for LiDAR Range Image Synthesis

Cet article propose la première attaque adversaire non restreinte basée sur la diffusion pour la segmentation d'images de distance LiDAR 2D, laquelle exploite un guidage adversaire lors de l'échantillonnage pour générer des exemples réalistes et préservant la variété qui induisent des erreurs de segmentation contrôlables et transférables.

Auteurs originaux : Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous conduisez une voiture autonome. Ses yeux sont des capteurs LiDAR qui projettent des faisceaux laser et transforment le monde en une carte 3D géante composée de millions de petits points. Pour comprendre ce qui est une voiture, un piéton ou une route, l'ordinateur écrase cette carte 3D en une image de portée (range image) en 2D — comme une carte thermique où chaque pixel indique à l'ordinateur à quelle distance se trouve un objet.

Maintenant, imaginez qu'un farceur numérique veuille piéger cette voiture. Il ne veut pas simplement piquer quelques pixels avec un minuscule grain de bruit invisible (ce qui est la méthode de la plupart des hackers), mais il veut réimaginer toute la scène à partir de zéro, en créant un monde faux mais parfaitement réaliste qui ressemble exactement à une rue réelle, mais qui fait perdre la tête au cerveau de la voiture.

C'est exactement ce que cet article présente : une nouvelle façon de créer des mondes factices « non restreints » en utilisant un Modèle de Diffusion. Considérez un Modèle de Diffusion comme un maître artiste qui part d'une toile remplie de statique (comme de la neige sur un vieil écran de télévision) et qui, étape par étape, nettoie progressivement l'image jusqu'à ce qu'un magnifique tableau émerge. Habituellement, cet artiste suit une recette stricte pour peindre une rue réaliste.

La Grande Idée : Guider l'Artiste avec une Boussole de "Tromperie"
Les auteurs ont trouvé comment glisser discrètement une boussole secrète dans la main de l'artiste. Pendant que l'artiste peint le tableau, cette boussole (appelée « guidage antagoniste » ou adversarial guidance) lui murmure : « Hé, fais en sorte que cette route ressemble à un trottoir », ou « Fais en sorte que cette voiture ressemble à un buisson ».

Mais voici la magie : la boussole ne se contente pas de griffonner des lignes désordonnées. Elle guide l'artiste pour qu'il peigne une scène qui reste incroyablement réaliste. La fausse rue ressemble à une vraie rue, avec des courbes fluides et une géométrie appropriée, mais le cerveau de la voiture autonome voit quelque chose de totalement différent.

Ce Qu'Ils Ont Trouvé (La Bonne Nouvelle pour les Hackers, la Mauvaise pour la Sécurité)
Les chercheurs ont testé cela sur un ensemble de données célèbre appelé SemanticKITTI. Ils ont découvert qu'en augmentant la « force » de leur boussole secrète (qu'ils appellent l'échelle de guidage ou guidance scale), ils pouvaient contrôler la baisse de précision de la segmentation de la voiture.

Avec une légère poussée (échelle de guidage de 3), la précision de la voiture a chuté d'environ 25,7 % (par rapport à une base de référence saine).
Avec une poussée plus forte (échelle de 6), la chute est de 46,8 %.
Avec une poussée très forte (échelle de 10), l'exactitude chute de 64,2 %.

Mieux encore, cette astuce fonctionne sur différents types de cerveaux de voitures, pas seulement sur celui utilisé pour entraîner la boussole. Lorsqu'ils l'ont testée sur un autre modèle de voiture (RangeNet++), l'exactitude a tout de même chuté de 40,1 % avec cette même poussée forte. Cela suggère que l'astuce est très efficace pour tromper différents systèmes, et pas seulement celui pour lequel elle a été conçue.

Ce Qu'Ils Contestent (L'« Ancienne Méthode » est Désordonnée)
L'article argumente explicitement contre l'ancienne façon de pirater, qui consiste à prendre une photo réelle et à y ajouter de minuscules grains de bruit invisibles (en utilisant des méthodes comme FGSM ou SegPGD).

Les auteurs montrent que ces anciennes méthodes sont comme essayer de peindre un chef-d'œuvre en ajoutant de minuscules bruits statiques à haute fréquence. Le résultat semble granuleux et artificiel à l'œil humain.
Dans leurs tests, les anciennes méthodes ont créé des images avec un score de « Distance de Fréchet de l'Image de Portée » (FRID) de 207,5 (une mesure de l'aspect artificiel), tandis que leur nouvelle méthode a maintenu ce score à 136,1 (très proche de la réalité).
L'article suggère que cette nouvelle méthode offre un compromis distinct entre efficacité et réalisme. Contrairement aux anciennes méthodes qui sont contraintes par de petites perturbations, cette approche génère des échantillons qui sont hautement réalistes tout en provoquant une dégradation significative des performances, ce qui en fait une alternative puissante et unique pour tester la robustesse des systèmes.

À Quel Point Sont-ils Sûrs d'Eux ?
Les auteurs sont très confiants dans leurs mesures. Ils ne se sont pas contentés de deviner ; ils ont lancé 1 024 simulations différentes pour chaque test. Ils ont mesuré la « Distance de Chamfer » (une façon de vérifier si les formes 3D sont déformées) et ont constaté que leur méthode créait des changements plus importants et plus structurés (passant de 0,52 à 1,38) par rapport aux anciennes méthodes, qui ne modifiaient presque pas la géométrie.

Ils ont également testé une version « ciblée », où ils tentaient spécifiquement de transformer une route en trottoir. Dans un exemple, ils ont réussi à reclasser 35,8 % des pixels de la route en trottoir, tout en gardant le reste de la scène normal.

Le Mot de la Fin
Cet article suggère que nous pouvons désormais générer des scènes LiDAR factices qui sont si réalistes qu'elles poussent les voitures autonomes à commettre des erreurs de perception importantes, tout en paraissant parfaitement naturelles pour un observateur humain. Ce n'est pas encore un problème résolu pour la sécurité, mais cela prouve que la manière « non restreinte » d'attaquer — en réécrivant toute la scène plutôt qu'en la piquant légèrement — est un nouvel outil puissant que les chercheurs doivent impérativement comprendre.

Résumé Technique : Diffusion Guidée par Adversaire pour la Synthèse d'Images de Portée LiDAR

Énoncé du Problème
La segmentation sémantique LiDAR est une tâche de perception critique pour la conduite autonome, où les modèles traitent des nuages de points 3D (souvent projetés en images de portée 2D) pour assigner des étiquettes sémantiques aux éléments de la scène. Ces modèles sont sensibles aux exemples adverses — des entrées conçues pour induire le modèle en erreur tout en restant imperceptibles ou structurellement discrets. Bien que les attaques adverses aient été largement étudiées pour la classification d'images et la segmentation de nuages de points 3D, les exemples adverses non restreints (UAE - Unrestricted Adversarial Examples) dans le domaine des images de portée LiDAR 2D restent largement inexplorés. Les attaques existantes à norme bornée (ex: FGSM, PGD) appliquent de petites perturbations à des entrées fixes, ce qui peut introduire un bruit à haute fréquence et échouer à se généraliser bien à travers différentes architectures. Il existe un besoin de méthodes générant des échantillons adverses réalistes et cohérents avec la variété (manifold) capables d'induire des erreurs de segmentation structurées sans dépendre de perturbations d'entrée fixes.

Méthodologie
Le papier propose une attaque adverse non restreinte basée sur la diffusion qui oriente le processus d'échantillonnage inverse d'un modèle de diffusion latent en utilisant un guidage adverse dérivé d'une perte de segmentation.

Cadre (Framework) : La méthode utilise un modèle de diffusion latent conditionnel pré-entraîné (spécifiquement sem2lidar) entraîné sur le jeu de données SemanticKITTI. Ce modèle génère des images de portée LiDAR conditionnées par des cartes de labels sémantiques denses.
Guidage Adversaire : Au lieu de perturber une image existante, l'attaque modifie la trajectoire de diffusion inverse. Elle emploie un Guidage Sans Entraînement (TFG - Training-Free Guidance), où un réseau de segmentation substitut différentiable ( $g_\psi$ ) fournit le signal de guidage.
Fonction de Perte : Le guidage est piloté par une perte d'entropie croisée dense par pixel ( $L_{adv}$ $L_{a d v}$ ) calculée entre les prédictions du réseau substitut sur le latent généré et les labels de conditionnement (pour les attaques non ciblées) ou une carte de labels cible (pour les attaques ciblées).
- Non ciblée : Maximise la perte par rapport aux labels de vérité terrain pour dégrader les performances globales.
- Ciblée : Minimise la perte pour forcer des régions spécifiques (classe source) vers une classe cible.
Processus d'Échantillonnage : L'attaque utilise un échantillonneur DDIM déterministe. Pour garantir que les échantillons générés conservent la structure globale de la scène avant d'introduire le bruit adverse, le guidage n'est appliqué qu'après qu'une fraction prédéfinie ( $\tau^\star$ ) de la trajectoire inverse s'est écoulée. L'étape de guidage pousse la représentation latente dans la direction du gradient de la perte :
$z_{t-1} = z^{ddim}_{t-1} + s \cdot \frac{g_t}{\|g_t\|_2}$
où $s$ est l'échelle de guidage et $g_t$ est le gradient normalisé de la perte adverse.
Différentiabilité : Étant donné que le décodeur de diffusion inclut une étape de quantification non différentiable, la méthode emploie un chemin de décodage différentiable pour propager les gradients du réseau de segmentation vers l'espace latent sans réentraîner le modèle de diffusion.

Contributions Clés

Premier UAE basé sur la diffusion pour le LiDAR 2D : Les auteurs présentent la première attaque adverse non restreinte ciblant la segmentation d'images de portée LiDAR 2D en utilisant un modèle de diffusion.
Dégradation Contrôlable : La méthode démontre que la force de l'attaque peut être précisément ajustée via l'échelle de guidage ( $s$ ) et la fraction de départ ( $\tau^\star$ ), offrant un compromis entre efficacité et réalisme.
Forte Transférabilité : Les exemples adverses générés présentent une transférabilité significative vers des architectures boîtes noires (ex: attaquer RangeNet++ en utilisant les gradients de CENet et vice versa), surpassant les bases à norme bornée dans les scénarios de transfert.
Préservation du Réalisme : Contrairement aux attaques à norme bornée qui introduisent souvent du bruit à haute fréquence, la méthode proposée génère des échantillons qui restent statistiquement proches de la variété des données LiDAR réelles, préservant la structure géométrique et la lissité visuelle.

Résultats Expérimentaux
Les expériences ont été menées sur le jeu de données SemanticKITTI en utilisant RangeNet++ et CENet comme réseaux cibles.

Efficacité : L'attaque a atteint une chute relative de l'intersection moyenne au titre (mIoU) allant jusqu'à 64,2 % en configuration boîte blanche (white-box) et 58,4 % en configuration de transfert.
Comparaison avec les Baselines :
- Comparée à FGSM (Fast Gradient Sign Method) et SegPGD, la méthode proposée atteint une dégradation boîte blanche comparable ou supérieure tout en maintenant un réalisme de distribution nettement meilleur (mesuré par la distance Fréchet de l'image de portée, FRID).
- Par exemple, à $s=10$ , l'attaque atteint une chute de 64,2 % avec un FRID de 136,1, tandis que FGSM à $\epsilon=0,120$ atteint une chute de 63,2 % mais avec un FRID beaucoup plus élevé de 207,5, indiquant un décalage de distribution plus important.
- Crucialement, la méthode proposée a montré une transférabilité supérieure par rapport à SegPGD. À force de boîte blanche comparable, l'attaque basée sur la diffusion a obtenu une chute de transfert de 40,1 % contre 21,7 % pour SegPGD.
Qualité Visuelle : Les comparaisons visuelles (Figure 2) ont révélé que les baselines à norme bornée présentaient un bruit à haute fréquence, tandis que l'attaque par diffusion guidée produisait des images lisses et cohérentes avec la scène.
Attaques Ciblées : La méthode a démontré avec succès des capacités ciblées, telles que la reclassification des pixels "route" en "trottoir", avec un contrôle spécifique sur le taux de reclassification.

Signification et Revendications
Le papier prétend combler une lacune critique dans la littérature en abordant les attaques adverses non restreintes dans le domaine des images de portée LiDAR 2D, un espace jusqu'alors non traité par les méthodes basées sur la diffusion. Les auteurs soutiennent que leur approche offre un compromis distinct entre efficacité et réalisme. En opérant dans le régime génératif plutôt que dans le régime de perturbation, la méthode évite les artefacts à haute fréquence typiques des attaques à norme bornée et produit des exemples adverses qui sont plus difficiles à défendre via des techniques de purification (qui reposent souvent sur de petits budgets de perturbation). Ce travail suggère que la manipulation de la trajectoire de diffusion inverse permet de créer des échantillons adverses qui se généralisent mieux à travers différentes architectures de segmentation, fournissant une évaluation plus robuste de la sécurité des modèles dans les systèmes de conduite autonome.

Articles similaires