ColorFD: A Finite-Difference Guided Black-Box Physical Adversarial Attack for Remote Sensing Object Detection

Resumen Técnico: ColorFD: Un ataque físico adversario de caja negra guiado por diferencias finitas para la detección de objetos en teledetección

Planteamiento del problema
Los detectores de objetos basados en redes neuronales profundas (DNN) para teledetección, aunque efectivos, siguen siendo vulnerables a las perturbaciones adversarias. La investigación existente se centra predominantemente en entornos digitales o de caja blanca (white-box). Los ataques físicos de caja negra (black-box), que son más representativos de las restricciones de despliegue en el mundo real, siguen estando poco explorados. Estos ataques enfrentan desafíos significativos: asegurar la viabilidad física (por ejemplo, la capacidad de impresión y el ocultamiento) y superar la optimización ineficiente dentro de espacios de búsqueda de alta dimensión cuando no se dispone de los gradientes del modelo. Además, los métodos de ataque físico existentes suelen evaluarse principalmente en el dominio digital, careciendo de una validación suficiente en entornos físicos reales, particularmente en escenarios de teledetección caracterizados por variaciones sustanciales de escala y condiciones de imagen complejas.

Metodología
El artículo propone ColorFD, un marco de ataque adversario físico de caja negra diseñado para detectores de objetos de teledetección. El método modela las perturbaciones adversarias como múltiples parches cuadrados de color puro y tamaño pequeño en lugar de optimizaciones de textura píxel a píxel, lo que facilita su fabricación y despliegue físico. La metodología central integra tres componentes principales:

1. Optimización mediante Evolución Diferencial (DE): Las posiciones y los parámetros de color de los parches se optimizan conjuntamente mediante DE, un algoritmo basado en población que no requiere información de gradiente. El objetivo del ataque se formula como la minimización de la respuesta del detector para inducir la desaparición del objeto.
2. Mecanismo de Aptitud y Selección por Objetivo: Para abordar la complejidad de los ataques de múltiples objetivos donde una única métrica de aptitud global puede oscurecer los estados de los objetivos individuales, ColorFD introduce una evaluación por objetivo. Una función de aptitud a nivel de objetivo evalúa el estado de ataque de cada objetivo de forma independiente. Un novedoso mecanismo de selección preserva las variables ventajosas específicas de cada objetivo durante el proceso evolutivo mediante la realización de intercambios parciales de componentes entre los progenitores y la descendencia, mitigando así los conflictos de optimización entre múltiples objetivos.
3. Reducción del Espacio de Búsqueda mediante Estrategias de Guía: Para mitigar el costo computacional de los espacios de búsqueda de alta dimensión, se emplean dos estrategias de guía:
   • Localización de Regiones Clave: Utilizando el sondeo de color por diferencia finita, esta estrategia identifica iterativamente regiones sensibles específicas de la instancia dentro de la caja delimitadora (bounding box) del objetivo. Al aplicar ventanas deslizantes y perturbaciones de múltiples colores, genera mapas de calor de respuesta para restringir el espacio de búsqueda a áreas de alto impacto.
   • Extracción de Características Comunes: Para reducir aún más las computaciones redundantes, esta estrategia agrega las distribuciones de las regiones clave entre instancias de la misma categoría. Al alinear los objetivos y generar un mapa de calor de características comunes a nivel de categoría, proporciona prioridades espaciales que guían la búsqueda sin requerir una localización repetida por instancia.

Contribuciones Clave
Los autores resumen sus contribuciones de la siguiente manera:

1. Diseño Físicamente Realizable: Una propuesta de diseño adversario basada en múltiples parches cuadrados de color puro pequeños, que equilibra una fuerte efectividad de ataque con la facilidad de fabricación y despliegue en entornos del mundo real.
2. Mecanismo de Optimización por Objetivo: El desarrollo de un mecanismo de aptitud y selección por objetivo para ataques de caja negra de múltiples objetivos. Este enfoque evalúa los objetivos por separado y preserva las mejoras a nivel de objetivo, abordando las limitaciones de las métricas de aptitud global única en escenarios de múltiples objetivos.
3. Estrategias de Guía: La introducción de dos estrategias para restringir el espacio de búsqueda de los parches: una estrategia de región clave que utiliza el sondeo de diferencia finita para la sensibilidad específica de la instancia, y una estrategia de características comunes que construye prioridades a nivel de categoría para reducir la localización repetida manteniendo un rendimiento competitivo.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos de teledetección DIOR, utilizando específicamente un subconjunto de aeronaves que contiene 407 instancias de diversos tipos, escalas y orientaciones. El método fue evaluado contra YOLOv3u, YOLOv5u y Faster R-CNN.

• Desempeño en el Dominio Digital: ColorFD superó al método de parches de caja negra probado (Bbox-Att) en todos los detectores evaluados. En YOLOv5u, la variante guiada por regiones clave logró una Tasa de Éxito de Ataque (ASR) del 79.61% y redujo el AP50 a 0.1453, superando la línea base de caja negra y manteniéndose competitiva con bases de caja blanca fuertes (AP-PA y BADEI). En Faster R-CNN, la versión no guiada logró un ASR de 95.09% con un AP50 de 0.0169.
• Eficacia de la Estrategia de Guía: La guía de región clave mejoró significamente el desempeño en detectores de una sola etapa (YOLOv3u, YOLOv5u), pero mostró ganancias limitadas en el detector de dos etapas Faster R-CNN, probablemente debido a la inaccesibilidad de la información intermedia de la Red de Propuesta de Regiones (RPN) en entornos de caja negra. Por el contrario, la guía de características comunes demostró un desempeño superior en Faster R-CNN (ASR de 99.35%), compensando eficazmente las limitaciones de la localización de región clave en detectores de dos etapas.
• Validación en el Mundo Físico: Se realizaron experimentos físicos utilizando parches de papel de colores sobre modelos de aeronaves de aleación bajo condiciones de imagen controladas. A pesar de las desviaciones menores en color y posición debido a las propiedades del material y la fijación manual, los parches optimizados lograron suprimir las detecciones en el dominio físico, demostando la transferibilidad de lo digital a lo físico.

Significancia y Reclamaciones
El artículo afirma que ColorFD proporciona un enfoque práctico de evaluación de robustez para sistemas de detección de teledetección óptica bajo acceso restringido al modelo. Demuestra que los ataques físicos de caja negra pueden alcanzar niveles de desempeño comparables, o incluso superiores, a los ataques de caja blanca de última generación cuando se emplean las estrategias de optimización y mecanismos de guía adecuados. El estudio destaca que el diseño de parches de color puro propuesto, combinado con la optimización por objetivo y las restricciones guiadas por diferencia finita, equilibra eficazmente la efectividad del ataque con la viabilidad física.

Los autores reconocen las limitaciones, incluyendo la naturaleza estocástica de la optimización basada en DE que conduce a la variabilidad del desempeño, la eficacia reducida de la localización de región clave en detectores de dos etapas debido a la falta de acceso a la información intermedia, y la sensibilidad de los parches de color puro a las variaciones ambientales como cambios de punto de vista y de escala. El trabajo futuro se identifica centrándose en mejorar la estabilidad de la optimización y la sigilosidad visual de los parches.