Poisoning the Pixels: Revisiting Backdoor Attacks on Semantic Segmentation

1. El Problema

Los modelos de segmentación semántica son fundamentales para aplicaciones de misión crítica como la conducción autónoma, la imagen médica y la teledetección, ya que asignan una etiqueta de clase a cada píxel de una imagen. A pesar de su despliegue masivo, su vulnerabilidad ante ataques de puerta trasera (backdoor attacks) ha sido insuficientemente explorada en comparación con las tareas de clasificación de imágenes.

Los estudios anteriores sobre puertas traseras en segmentación se han limitado a:

• Un único vector de ataque: Objeto a Fondo (hacer que un objeto se clasifique como fondo).
• Diseños de disparadores (triggers) heurísticos adaptados de la clasificación, que no son óptimos para la segmentación.
• Enfoque exclusivo en arquitecturas CNN tradicionales, ignorando modelos modernos como Transformers o el modelo Segment Anything Model (SAM).

Esto deja un vacío de seguridad significativo: no se sabe si los modelos son vulnerables a otros tipos de manipulación (como crear objetos falsos o confundir un objeto con otro) ni si las defensas actuales son efectivas.

2. Metodología: El Framework BADSEG

Para abordar estas limitaciones, los autores proponen BADSEG (BAckDoor attacks on semantic SEGmentation), un marco unificado diseñado para optimizar tanto el disparador como la manipulación de etiquetas. El proceso se divide en tres etapas:

A. Revisión de Vectores de Ataque

Los autores identifican y formalizan seis vectores de ataque divididos en dos categorías:

1. Ataques de Granos Gruesos (Coarse-Grained): Definidos por el impacto semántico.
   • Objeto a Objeto (O2O): Clasificar un objeto como otro (ej. peatón $\rightarrow$ coche).
   • Objeto a Fondo (O2B): Hacer desaparecer un objeto (ej. coche $\rightarrow$ carretera).
   • Fondo a Objeto (B2O): Crear objetos falsos (alucinaciones) en el fondo.
   • Fondo a Fondo (B2B): Confundir regiones de fondo (ej. acera $\rightarrow$ carretera).
2. Ataques de Granos Finos (Fine-Grained):
   • A Nivel de Instancia: Atacar solo instancias específicas que portan el disparador, ignorando otras del mismo tipo.
   • Condicionales: El ataque solo se activa bajo condiciones contextuales específicas (ej. solo coches rojos con el disparador).

B. Optimización del Disparador (Trigger Optimization)

A diferencia de métodos anteriores que usan diseños fijos, BADSEG trata la selección de parámetros del disparador (forma, tamaño, posición, cantidad, intensidad) como un problema de optimización diferenciable.

• Utiliza la relajación Gumbel-Softmax para buscar en un espacio de parámetros discretos mediante gradientes.
• Entrena un modelo sustituto (surrogate model) en un conjunto de datos auxiliar para aproximar el comportamiento del modelo víctima y optimizar el disparador sin acceso directo al modelo objetivo.

C. Manipulación de Etiquetas (Label Manipulation)

Para maximizar la eficacia del ataque, el framework selecciona pares de clases "víctima" y "objetivo" basándose en la distancia semántica en el espacio de características.

• Se calculan los centros de clase y se seleccionan pares con distancias mínimas (alta similitud de características), lo que facilita que el modelo aprenda la relación maliciosa con menos envenenamiento.

D. Adaptación a SAM

Para el modelo Segment Anything Model (SAM), que no usa etiquetas de clase fijas sino máscaras condicionadas por prompts, los autores proponen BADSEG-SAM. Este adapta el ataque para manipular directamente las máscaras predichas mediante:

• Distorsión de Máscara: Alterar la forma o ubicación.
• Borrado de Máscara: Hacer desaparecer la máscara del objetivo.
• Inyección de Máscara: Crear máscaras falsas en regiones vacías.

3. Contribuciones Clave

1. Identificación de Amenazas: Descubren vectores de ataque previamente ignorados (O2O, B2O, B2B, ataques a nivel de instancia y condicionales) que presentan riesgos catastróficos en seguridad.
2. Framework Unificado (BADSEG): Introducen un método sistemático que optimiza automáticamente los parámetros del disparador y selecciona pares de clases óptimos, superando los diseños heurísticos anteriores.
3. Evaluación Exhaustiva: Realizan experimentos en 12 configuraciones de ataque, 7 modelos de segmentación y 3 conjuntos de datos (BDD100K, Cityscapes, LabPicsV1), entrenando aproximadamente 500 modelos.
4. Benchmark de Defensas: Evalúan seis defensas representativas (Fine-tuning, Pruning, ABL, STRIP, TeCo, Beatrix) y demuestran su ineficacia.
5. Vulnerabilidad en Arquitecturas Modernas: Validan que los ataques son efectivos tanto en redes CNN como en Transformers (ViT, Swin) y en el modelo de vanguardia SAM.

4. Resultados Experimentales

Eficacia del Ataque

• Alta Tasa de Éxito (ASR): BADSEG logra tasas de éxito superiores al 90% en la mayoría de los escenarios (ej. 0.98 en ataques B2O).
• Utilidad del Modelo: Los modelos envenenados mantienen una alta precisión en datos limpios (Clean Benign Accuracy - CBA), con valores comparables a los modelos no atacados (alrededor de 0.60-0.64 mIoU), lo que hace que el ataque sea difícil de detectar por degradación de rendimiento.
• Robustez: Los ataques funcionan consistentemente en diferentes arquitecturas (PSPNet, DeepLabV3, ConvNeXt, ViT, Swin).

Evasión de Defensas

Los autores probaron seis defensas y encontraron que fallan sistemáticamente:

• Fine-tuning y Pruning: Solo reducen ligeramente la ASR, pero el modelo sigue siendo vulnerable.
• Detección (ABL, STRIP, TeCo, Beatrix): Estas herramientas, diseñadas para clasificación, no logran distinguir entre muestras limpias y envenenadas en segmentación. Las métricas de detección (AUC) rondan el 0.5 (azar), y la tasa de recuperación (Recall) es casi nula.
• Causa: A diferencia de la clasificación, donde se cambia una etiqueta global, la segmentación manipula etiquetas a nivel de píxel localmente, lo que no genera anomalías estadísticas globales suficientes para que las defensas actuales las detecten.

Stealthiness (Sigilo)

Los ataques generados por BADSEG son extremadamente difíciles de detectar visualmente.

• Logran valores de PSNR > 35 y SSIM > 0.98, superando significativamente a los métodos anteriores (HBA, OFBA, IBA).
• Los ataques a nivel de instancia (INS) alcanzan un PSNR de 52.27, haciendo las imágenes envenenadas visualmente indistinguibles de las limpias.

5. Significado e Impacto

Este trabajo revela una vulnerabilidad crítica y subestimada en los sistemas de visión por computadora de misión crítica.

• Riesgo de Seguridad: Un atacante podría, por ejemplo, hacer que un coche autónomo ignore a un peatón (O2B) o que detecte un obstáculo fantasma (B2O) solo cuando se coloca un pequeño adhesivo (disparador) en el entorno.
• Ineficacia de las Defensas Actuales: Las defensas estándar de la industria no son suficientes para proteger modelos de segmentación, lo que indica la necesidad urgente de desarrollar defensas específicas para este dominio.
• Amenaza a Modelos de IA Generativa: La demostración de que incluso el modelo SAM (una herramienta fundamental en la visión moderna) es vulnerable sugiere que los modelos de gran escala no son inmunes a estos ataques, lo que podría comprometer la seguridad de futuras aplicaciones basadas en ellos.

En conclusión, el artículo establece un nuevo estándar para la evaluación de seguridad en segmentación semántica y demuestra que, sin defensas específicas, estos sistemas son altamente vulnerables a manipulaciones sutiles pero devastadoras.