Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

Résumé Technique : Lissage Sémantique par Synthèse de Nouvelles Vues pour la Classification Robuste d'Images SAR

Énoncé du Problème
Les réseaux de neurones profonds (DNN) utilisés pour la Reconnaissance Automatique de Cibles (ATR) par Radar à Ouverture Synthétique (SAR) sont vulnérables aux perturbations adverses, ce qui pose des risques dans les applications critiques pour la sécurité. Bien que le lissage aléatoire constitue une défense fondée sur des principes qui améliore la robustesse en moyennant les prédictions sur des entrées bruitées, il repose généralement sur un bruit gaussien isotrope. Cette approche échoue à préserver la structure sémantique des images SAR, où l'apparence des objets dépend fortement de la géométrie d'acquisition (angles d'azimut et d'élévation). Par conséquent, le bruit isotrope génère souvent des échantillons ne correspondant pas à des observations physiques significatives, rendant la défense moins efficace contre les attaques spécifiques au domaine qui exploitent la physique radar (par exemple, le comportement de diffusion) plutôt que le simple bruit dans l'espace des pixels.

Méthodologie
Les auteurs proposent le Lissage Sémantique, un cadre de défense qui remplace l'injection de bruit isotrope par des transformations structurées et préservant la sémantique, générées par un modèle de Synthèse de Nouvelles Vues (NVS).

1. Concept Central : Au lieu de perturber une image d'entrée avec un bruit aléatoire, la méthode utilise un modèle génératif pour synthétiser plusieurs vues plausibles du même objet sous des transformations géométriques aléatoires mais contrôlées. Les prédictions du classificateur sur ces vues synthétisées sont agrégées (par vote majoritaire) pour former une prédiction finale robuste.
2. Modèle Génératif (GeNVS) : Le cadre utilise un Modèle Probabiliste de Diffusion de Débruitage (DDPM) modifié combiné à une architecture NVS consciente de la géométrie, adaptée de GeNVS.
   • Traitement de l'Entrée : Une image SAR d'entrée $x_{adv}$ (potentiellement adverse) et ses paramètres d'acquisition originaux (azimut $\phi_{az}$, élévation $\theta_{el}$) sont encodés dans un volume de caractéristiques 3D latent.
   • Synthèse de Vue : Le modèle échantillonne des paramètres de vue cible ($t_i = \phi_{target, az}, \theta_{target, el}$) à partir d'une distribution de transformation $T_D$ (définie comme la distribution uniforme sur les paramètres d'acquisition d'entraînement).
   • Rendu : Des rayons sont lancés à travers le volume latent pour extraire des caractéristiques, qui sont rendues via un MLP de style NeRF pour produire une image de caractéristiques.
   • Génération par Diffusion : Un réseau de diffusion débruite un bruit gaussien conditionné par l'image de caractéristiques rendue et les paramètres cibles pour générer une image SAR haute fidélité $x^{NV}_i$ au nouveau point de vue.
3. Agrégation : Pour une entrée donnée, $N$ nouvelles vues sont générées. Chaque vue est passée à travers un classificateur pré-entraîné $f_{cls}$. L'étiquette finale est déterminée par le vote majoritaire des $N$ prédictions.

Contributions Clés

• Cadre de Lissage Sémantique : Introduction d'une nouvelle défense contre les attaques adverses exploitant des transformations génératives aléatoires pour produire plusieurs vues préservant la sémantique, en agrégeant les prédictions pour atténuer les artefacts adverses.
• Implémentation Spécifique au SAR : Développement d'un modèle NVS conditionné par la géométrie pour les images SAR. En se conditionnant sur les paramètres d'azimut et d'élévation, le modèle permet la génération contrôlée de vues radar aléatoires respectant les contraintes physiques de l'imagerie SAR.
• Validation Empirique : Expériences approfondies sur le jeu de données MSTAR démontrant que le lissage sémantique apporte des gains substantiels de robustesse face aux attaques basées sur le gradient conventionnelles (FGSM, PGD) et aux attaques adverses spécifiques au SAR ancrées dans la physique (OTSA, SMGAA).

Résultats
Les expériences sur le jeu de données MSTAR (500 images réparties sur 10 classes de véhicules) ont comparé la méthode proposée à une base de référence non défendue et au lissage aléatoire standard (utilisant un bruit gaussien isotrope avec des $\sigma$ variables).

• Gains de Robustesse : Le lissage sémantique a maintenu de manière constante une haute précision sur tous les types et toutes les intensités d'attaques. Par exemple, sous des attaques PGD fortes ($\epsilon=0.005$), le modèle non défendu est tombé à 0 % de précision, tandis que le lissage sémantique (avec $N=10$) a atteint 94,18 %.
• Supériorité par rapport au Lissage Aléatoire : Le lissage sémantique a nettement surpassé le lissage aléatoire. Alors que le lissage aléatoire a montré des performances incohérentes et a souvent dégradé la précision selon l'échelle du bruit $\sigma$, le lissage sémantique a fourni une robustesse stable et élevée sans nécessiter un réglage minutieux d'un paramètre de bruit.
• Amélioration de la Précision sur Données Propres : Contrairement à de nombreux mécanismes de défense qui sacrifient la précision sur données propres pour la robustesse, le lissage sémantique a amélioré la précision de classification sur données propres (94,72 % contre 90,00 % pour la base de référence) en agrégeant les prédictions sur des vues synthétisées sémantiquement cohérentes.
• Efficacité vs Performance : Bien que le lissage sémantique engendre des coûts de calcul plus élevés en raison de l'étape de génération ($N \times (C_g + C_f)$) par rapport au lissage aléatoire ($N \times C_f$), l'article soutient que ce compromis est favorable car les échantillons générés sont sémantiquement significatifs et nettement plus informatifs que les perturbations de bruit isotrope.

Signification et Revendications
L'article affirme que le lissage sémantique représente une alternative prometteuse au bruit isotrope pour la défense contre les attaques adverses dans les domaines de détection structurée comme le SAR. En déplaçant le processus de lissage d'un voisinage local au niveau des pixels vers une variété de transformations géométriques plausibles, la méthode supprime efficacement les artefacts adverses non sémantiques tout en préservant l'identité de l'objet requise pour la classification. Les auteurs affirment que cette approche démontre la valeur de l'exploitation d'une variabilité sémantiquement significative plutôt que d'un bruit arbitraire pour atteindre la robustesse face aux attaques adverses standard et basées sur la physique.

Travaux Futurs
Les auteurs notent que les travaux futurs devraient investiguer la propagation des perturbations à travers le modèle GeNVS, évaluer la robustesse du générateur lui-même, et envisager des attaques adaptatives en boîte blanche où l'adversaire dispose d'une connaissance complète du mécanisme de défense.