Semantic Smoothing via Novel View Synthesis for Robust SAR Image Classification

Resumen Técnico: Suavizado Semántico mediante Síntesis de Nuevas Vistas para Clasificación Robusta de Imágenes SAR

Enunciado del Problema
Las redes neuronales profundas (DNN) utilizadas para el Reconocimiento Automático de Objetivos (ATR) en Radar de Apertura Sintética (SAR) son vulnerables a perturbaciones adversarias, lo que plantea riesgos en aplicaciones críticas para la seguridad. Aunque el suavizado aleatorizado es una defensa fundamentada que mejora la robustez promediando predicciones sobre entradas ruidosas, típicamente depende de ruido gaussiano isotrópico. Este enfoque falla en preservar la estructura semántica de las imágenes SAR, donde la apariencia del objeto depende fuertemente de la geometría de adquisición (ángulos de acimut y elevación). En consecuencia, el ruido isotrópico a menudo genera muestras que no corresponden a observaciones físicas significativas, haciendo que la defensa sea menos efectiva contra ataques específicos del dominio que explotan la física del radar (por ejemplo, comportamiento de dispersión) en lugar de un simple ruido en el espacio de píxeles.

Metodología
Los autores proponen el Suavizado Semántico, un marco de defensa que reemplaza la inyección de ruido isotrópico con transformaciones estructuradas y que preservan la semántica, generadas por un modelo de Síntesis de Nuevas Vistas (NVS).

1. Concepto Central: En lugar de perturbar una imagen de entrada con ruido aleatorio, el método utiliza un modelo generativo para sintetizar múltiples vistas plausibles del mismo objeto bajo transformaciones geométricas aleatorias pero controladas. Las predicciones del clasificador a través de estas vistas sintetizadas se agregan (mediante votación mayoritaria) para formar una predicción final robusta.
2. Modelo Generativo (GeNVS): El marco utiliza un Modelo Probabilístico de Difusión con Eliminación de Ruido (DDPM) modificado, combinado con una arquitectura NVS consciente de la geometría, adaptada de GeNVS.
   • Procesamiento de Entrada: Una imagen SAR de entrada $x_{adv}$ (potencialmente adversaria) y sus parámetros originales de adquisición (acimut $\phi_{az}$, elevación $\theta_{el}$) se codifican en un volumen de características latentes 3D.
   • Síntesis de Vistas: El modelo muestrea parámetros de vista objetivo ($t_i = \phi_{target, az}, \theta_{target, el}$) de una distribución de transformación $T_D$ (definida como la distribución uniforme sobre los parámetros de adquisición de entrenamiento).
   • Renderizado: Se lanzan rayos a través del volumen latente para extraer características, las cuales se renderizan mediante una MLP estilo NeRF para producir una imagen de características.
   • Generación por Difusión: Una red de difusión elimina el ruido gaussiano condicionado a la imagen de características renderizada y a los parámetros objetivo para generar una imagen SAR de alta fidelidad $x^{NV}_i$ en la nueva vista.
3. Agregación: Para una entrada dada, se generan $N$ nuevas vistas. Cada vista se pasa a través de un clasificador preentrenado $f_{cls}$. La etiqueta final se determina por la votación mayoritaria de las $N$ predicciones.

Contribuciones Clave

• Marco de Suavizado Semántico: Introducción de una defensa adversarial novedosa que aprovecha transformaciones generativas aleatorizadas para producir múltiples vistas que preservan la semántica, agregando predicciones para mitigar artefactos adversarios.
• Instanciación Específica para SAR: Desarrollo de un modelo NVS condicionado a la geometría para imágenes SAR. Al condicionar sobre parámetros de acimut y elevación, el modelo permite la generación controlada de vistas de radar aleatorizadas que respetan las restricciones físicas de la imagen SAR.
• Validación Empírica: Experimentos extensos en el conjunto de datos MSTAR que demuestran que el suavizado semántico proporciona ganancias sustanciales de robustez tanto contra ataques convencionales basados en gradientes (FGSM, PGD) como contra ataques físicos específicos de SAR (OTSA, SMGAA).

Resultados
Los experimentos en el conjunto de datos MSTAR (500 imágenes en 10 clases de vehículos) compararon el método propuesto contra una línea base sin defensa y el suavizado aleatorizado estándar (utilizando ruido gaussiano isotrópico con variaciones de $\sigma$).

• Ganancias de Robustez: El suavizado semántico mantuvo consistentemente una alta precisión en todos los tipos y fortalezas de ataques. Por ejemplo, bajo fuertes ataques PGD ($\epsilon=0.005$), el modelo sin defensa cayó al 0% de precisión, mientras que el suavizado semántico (con $N=10$) logró un 94.18%.
• Superioridad sobre el Suavizado Aleatorizado: El suavizado semántico superó significativamente al suavizado aleatorizado. Mientras que el suavizado aleatorizado mostró un rendimiento inconsistente y a menudo degradó la precisión dependiendo de la escala de ruido $\sigma$, el suavizado semántico proporcionó una robustez estable y alta sin requerir un ajuste cuidadoso de un parámetro de ruido.
• Mejora de la Precisión en Datos Limpios: A diferencia de muchos mecanismos de defensa que sacrifican la precisión en datos limpios por la robustez, el suavizado semántico mejoró la precisión de clasificación en datos limpios (94.72% frente a un 90.00% de la línea base) al agregar predicciones sobre vistas sintetizadas semánticamente consistentes.
• Eficiencia vs. Rendimiento: Aunque el suavizado semántico incurre en mayores costos computacionales debido al paso de generación ($N \times (C_g + C_f)$) en comparación con el suavizado aleatorizado ($N \times C_f$), el artículo argumenta que este intercambio es favorable porque las muestras generadas son semánticamente significativas y significativamente más informativas que las perturbaciones de ruido isotrópico.

Significado y Afirmaciones
El artículo afirma que el suavizado semántico representa una alternativa prometedora al ruido isotrópico para la defensa adversarial en dominios de sensores estructurados como el SAR. Al desplazar el proceso de suavizado de una vecindad local a nivel de píxel a una variedad de transformaciones geométricas plausibles, el método suprime eficazmente los artefactos adversarios no semánticos mientras preserva la identidad del objeto requerida para la clasificación. Los autores afirman que este enfoque demuestra el valor de aprovechar la variabilidad semánticamente significativa en lugar del ruido arbitrario para lograr robustez contra ataques adversarios tanto estándar como basados en física.

Trabajo Futuro
Los autores señalan que el trabajo futuro debería investigar la propagación de perturbaciones a través del modelo GeNVS, evaluar la robustez del propio generador y considerar ataques adaptativos de caja blanca donde el adversario tenga conocimiento completo del mecanismo de defensa.