💻 computer science

Adversarially Guided Diffusion for LiDAR Range Image Synthesis

Este artículo propone el primer ataque adversarial no restringido basado en difusión para la segmentación de imágenes de rango LiDAR 2D, el cual aprovecha la guía adversarial durante el muestreo para generar ejemplos realistas que preservan la variedad y que inducen errores de segmentación controlables y transferibles.

Autores originales: Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás conduciendo un coche autónomo. Sus ojos son sensores LiDAR, que disparan rayos láser y convierten el mundo en un mapa gigante en 3D compuesto por millones de diminutos puntos. Para entender qué es un coche, un peatón o una carretera, la computadora aplasta este mapa 3D en una imagen de rango 2D plana —como un mapa de calor donde cada píxel le dice a la computadora qué tan lejos está algo.

Ahora, imagina que un bromista digital quiere engañar a este coche. No quiere simplemente pinchar algunos píxeles con una pequeña mota de ruido invisible —que es como la mayoría de los hackers intentan hacerlo—, sino que quiere reimaginar toda la escena desde cero, creando un mundo falso pero perfectamente realista que se vea exactamente como una calle real, pero que haga que el cerebro del coche se vuelva loco.

Eso es exactamente lo que este artículo presenta: una nueva forma de crear mundos falsos "no restringidos" utilizando un Modelo de Difusión. Piensa en un Modelo de Difusión como un maestro artista que comienza con un lienzo lleno de estática (como la nieve de un televisor) y, paso a paso, va limpiándolo hasta que emerge una imagen hermosa. Normalmente, este artista sigue una receta estricta para pintar una calle realista.

La Gran Idea: Guiar al Artista con una Brújula de "Truco"
Los autores descubrieron cómo introducir una brújula secreta en la mano del artista. Mientras el artista pinta la imagen, esta brújula (llamada "guía adversarial") le susurra: "Oye, haz que esa carretera parezca una acera", o "Haz que ese coche parezca un arbusto".

Pero aquí está la magia: la brújula no se limita a garabatear líneas desordenadas. Guía al artista para que pinte una escena que sigue siendo increíblemente realista. La calle falsa se ve igual que una real, con curvas suaves y una geometría adecuada, pero el coche autónomo la ve de una manera completamente distinta.

Lo Que Encontraron (Buenas Noticias para los Hackers, Malas para la Seguridad)
Los investigadores probaron esto en un conjunto de datos famoso llamado SemanticKITTI. Descubrieron que, al aumentar la "fuerza" de su brújula secreta (que llaman escala de guía), podían controlar cuánto cae la precisión de la segmentación del coche.

Con un toque suave (escala de guía 3), la precisión del coche cayó aproximadamente un 25.7% (en relación con una línea base limpia).
Con un empujón más fuerte (escala 6), la caída fue del 46.8%.
Con un empujón muy fuerte (escala 10), la precisión cayó un 64.2%.

Mejor aún, este truco funciona en diferentes tipos de cerebros de coches, no solo en el que usaron para entrenar la brújula. Cuando lo probaron en un modelo de coche diferente (RangeNet++), la precisión aún cayó un 40.1% con ese mismo empujón fuerte. Esto sugiere que el truco es muy bueno para engañar a diferentes sistemas, no solo al que fue diseñado.

Lo Que Argumentan en Contra (La "Vieja Manera" es Desordenada)
El artículo argumenta explícitamente en contra de la vieja forma de hackear, que consiste en tomar una foto real y añadir pequeñas motas de ruido invisibles (usando métodos como FGSM o SegPGD).

Los autores muestran que estos métodos antiguos son como intentar pintar una obra maestra añadiendo diminutas partículas de ruido de alta frecuencia. Se ve granulado y antinatural para el ojo humano.
En sus pruebas, los métodos antiguos crearon imágenes con una puntuación de "Distancia de Imagen de Rango de Fréchet" (FRID) de 207.5 (una medida de qué tan falsa se ve la imagen), mientras que su nuevo método mantuvo la puntuación en 136.1 (muy cerca de la vida real).
El artículo sugiere que este nuevo método ofrece un intercambio distintivo entre efectividad y realismo. A diferencia de los métodos antiguos que están limitados por pequeñas perturbaciones, este enfoque genera muestras que son altamente realistas y, al mismo tiempo, causan una degradación significativa del rendimiento, lo que las convierte en una alternativa única y poderosa para probar la robustez del sistema.

¿Qué Tan Seguros Están?
Los autores están muy seguros de sus mediciones. No solo adivinaron; realizaron 1,024 simulaciones diferentes para cada prueba. Midieron la "Distancia de Chamfer" (una forma de comprobar si las formas 3D están deformadas) y encontraron que su método creó cambios más grandes y estructurados (pasando de 0.52 a 1.38) en comparación con los métodos antiguos, que apenas movieron la geometría.

También probaron una versión "dirigida", donde intentaron específicamente convertir una carretera en una acera. En un ejemplo, lograron reclasificar el 35.8% de los píxeles de la carretera como una acera, manteniendo el resto de la escena con un aspecto normal.

La Conclusión
Este artículo sugiere que ahora podemos generar escenas de LiDAR falsas que son tan realistas que causan errores significativos en la percepción de los coches autónomos, todo mientras lucen perfectamente naturales para un observador humano. No es un problema resuelto para la seguridad todavía, pero demuestra que la forma de atacar "no restringida" —reescribir toda la escena en lugar de solo pincharla— es una herramienta poderosa que los investigadores necesitan comprender.

Resumen Técnico: Difusión Guiada Adversariamente para la Síntesis de Imágenes de Rango LiDAR

Planteamiento del Problema
La segmentación semántica de LiDAR es una tarea de percepción crítica para la conducción autónoma, donde los modelos procesan nubes de puntos 3D (a menudo proyectadas en imágenes de rango 2D) para asignar etiquetas semánticas a los elementos de la escena. Estos modelos son susceptibles a ejemplos adversarios—entradas diseñadas para engañar al modelo manteniéndose imperceptibles o estructuralmente inconspicuas. Aunque los ataques adversarios han sido extensamente estudiados para la clasificación de imágenes y la segmentación de nubes de puntos 3D, los ejemplos adversarios no restringidos (UAE, por sus siglas en inglés) en el dominio de las imágenes de rango LiDAR 2D permanecen en gran medida inexplorados. Los ataques existentes con límites de norma (por ejemplo, FGSM, PGD) aplican pequeñas perturbaciones a entradas fijas, lo que puede introducir ruido de alta frecuencia y no generalizar bien a través de diferentes arquitecturas. Existe la necesidad de métodos que generen muestras adversarias realistas y consistentes con la variedad (manifold) capaces de inducir errores de segmentación estructurados sin depender de perturbaciones de entrada fijas.

Metodología
El artículo propone un ataque adversario no restringido basado en difusión que dirige el proceso de muestreo inverso de un modelo de difusión latente utilizando guía adversaria derivada de una pérdida de segmentación.

Marco de trabajo (Framework): El método utiliza un modelo de difusión latente condicional preentrenado (específicamente sem2lidar) entrenado en el conjunto de datos SemanticKITTI. Este modelo genera imágenes de rango LiDAR condicionadas a mapas de etiquetas semánticas densos.
Guía Adversaria: En lugar de perturbar una imagen existente, el ataque modifica la trayectoria de difusión inversa. Emplea una Guía Libre de Entrenamiento (TFG), donde una red de segmentación subrogada diferenciable ( $g_\psi$ ) proporciona la señal de guía.
Función de Pérdida: La guía es impulsada por una pérdida de entropía cruzada densa por píxel ( $L_{adv}$ $L_{a d v}$ ) calculada entre las predicciones de la red subrogada sobre el latente generado y las etiquetas de condicionamiento (para ataques no dirigidos) o un mapa de etiquetas objetivo (para ataques dirigidos).
- No dirigido: Maximiza la pérdida contra las etiquetas de verdad de campo (ground-truth) para degradar el rendimiento general.
- Dirigido: Minimiza la pérdida para forzar regiones específicas (clase de origen) hacia una clase objetivo.
Proceso de Muestreo: El ataque utiliza un muestreador DDIM determinista. Para asegurar que las muestras generadas retengan la estructura global de la escena antes de introducir el ruido adversario, la guía se aplica solo después de que ha transcurrido una fracción ( $\tau^\star$ ) predefinida de la trayectoria inversa. El paso de guía empuja la representación latente en la dirección del gradiente de la pérdida:
$z_{t-1} = z^{ddim}_{t-1} + s \cdot \frac{g_t}{\|g_t\|_2}$
donde $s$ es la escala de guía y $g_t$ es el gradiente normalizado de la pérdida adversaria.
Diferenciabilidad: Dado que el decodificador de difusión incluye un paso de cuantización no diferenciable, el método emplea una ruta de decodificación diferenciable para propagar los gradientes desde la red de segmentación de vuelta al espacio latente sin reentrenar el modelo de difusión.

Contribuciones Clave

Primer UAE Basado en Difusión para LiDAR 2D: Los autores presentan el primer ataque adversario no restringido que apunta a la segmentación de imágenes de rango LiDAR 2D utilizando un modelo de difusión.
Degradación Controlable: El método demuestra que la fuerza del ataque puede ajustarse precisamente mediante la escala de guía ( $s$ ) y la fracción de inicio ( $\tau^\star$ ), ofreciendo un equilibrio entre efectividad y realismo.
Transferibilidad Fuerte: Los ejemplos adversarios generados exhiben una transferibilidad significativa a arquitecturas de caja negra (por ejemplo, atacando RangeNet++ usando gradientes de CENet y viceversa), superando a las bases de comparación con límites de norma en escenarios de transferencia.
Preservación del Realismo: A diferencia de los ataques con límites de norma que a menudo introducen ruido de alta frecuencia, el método propuesto genera muestras que permanecen estadísticamente cerca de la variedad de los datos LiDAR reales, preservando la estructura geométrica y la suavidad visual.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos SemanticKITTI utilizando RangeNet++ y CENet como redes objetivo.

Efectividad: El ataque logró una caída de la media de Intersección sobre Unión (mIoU) de hasta un 64.2% en configuraciones de caja blanca y un 58.4% en configuraciones de transferencia (con una escala de guía $s=10$ ).
Comparación con Bases de Comparación (Baselines):
- Comparado con FGSM (Método de Signo de Gradiente Rápido) y SegPGD, el método propuesto logró una degradación en caja blanca comparable o superior, manteniendo una realidad de distribución significativamente mejor (medida por la Distancia de Imagen de Rango de Fréchet, FRID).
- Por ejemplo, con $s=10$ , el ataque logró una caída del 64.2% con un FRID de 136.1, mientras que FGSM con $\epsilon=0.120$ logró una caída del 63.2% pero con un FRID mucho mayor de 207.5, lo que indica un desplazamiento de distribución más grande.
- Crucialmente, el método propuesto mostró una transferibilidad superior comparada con SegPGD. Con una fuerza de caja blanca comparable, el ataque basado en difusión logró una caída de transferencia del 40.1% frente al 21.7% de SegPGD.
Calidad Visual: Las comparaciones visuales (Figura 2) revelaron que las bases de comparación con límites de norma exhibían ruido de alta frecuencia, mientras que el ataque de difusión guiada produjo imágenes suaves y consistentes con la escena.
Ataques Dirigidos: El método demostró con éxito capacidades dirigidas, como la reclasificación de píxeles de "carretera" (road) como "acera" (sidewalk), con control específico sobre la tasa de reclasificación.

Significancia y Reivindicaciones
El artículo afirma llenar un vacío crítico en la literatura al abordar ataques adversarios no restringidos en el dominio de las imágenes de rango LiDAR 2D, un espacio previamente no abordado por métodos basados en difusión. Los autores argumentan que su enfoque ofrece un equilibema distintivo entre efectividad y realismo. Al operar en el régimen generativo en lugar del régimen de perturbación, el método evita los artefactos de alta frecuencia típicos de los ataques con límites de norma y produce ejemplos adversarios que son más difíciles de defender mediante técnicas de purificación (que a menudo dependen de pequeños presupuestos de perturbación). El trabajo sugiere que manipular la trayectoria de difusión inversa permite la creación de muestras adversarias que generalizan mejor a través de diferentes arquitecturas de segmentación, proporcionando una evaluación más robusta de la seguridad de los modelos en sistemas de conducción autónoma.

Más como este