Resumen Técnico: AdvTiles

Planteamiento del Problema

Los ataques adversarios físicos contra detectores de personas han evolucionado de parches localizados a texturas de cuerpo completo. Sin embargo, persiste un desafío significativo para lograr simultáneamente la naturalidad visual y una fuerte efectividad de ataque. Los métodos existentes de apariencia natural, como aquellos que utilizan diagramas de Voronoi parametrizados por puntos de control aprendibles (por ejemplo, AdvCaT), típicamente optimizan las texturas de camuflaje de forma global. Este enfoque holístico limita la flexibilidad para refinar los patrones adversarios locales y sus disposiciones espaciales, lo que dificulta mantener ataques efectivos ante variaciones de puntos de vista, posturas corporales y condiciones físicas, mientras se preserva una apariencia natural.

Metodología: AdvTiles

Los autores proponen AdvTiles, un marco de camuflaje adversario físico construido a partir de baldosas (tiles) aprendibles. En lugar de optimizar una única textura global, AdvTiles representa el patrón adversario como una disposición de baldosas discretas, permitiendo un control detallado sobre la generación de la textura. El marco consta de tres módulos clave:

1. Generación de Textura Diferenciable

Para superar las limitaciones de la optimización global, AdvTiles descompone la textura de la ropa en una disposición de baldosas aprendibles.

• Generación de Baldosas: Cada baldosa se define por un conjunto de parámetros aprendibles que controlan las regiones de color, los límites y las transformaciones (traslación, nitidez, frecuencia de contorno y tamaño de región). Las baldosas adyacentes deben tener "claves" coincidentes a lo largo de los bordes compartidos para asegurar una composición sin costuras.
• Composición del Diseño de Baldosas: El marco aprende un tensor de logit de asignación de baldosas para determinar qué baldosa se coloca en cada celda de la cuadrícula del mapa UV de la ropa. Dado que la selección de baldosas es un proceso discreto, los autores emplean un estimador Gumbel-Softmax Straight-through (ST). Esto permite una selección de baldosas diferenciable, posibilitando la optimización conjunta de los patrones de las baldosas y sus disposiciones espaciales mediante retropropagación.

2. Renderizado Físico Basado en 3D Gaussian Splatting (3DGS)

Para garantizar la robustez en diversas condiciones físicas, el método va más allá de la optimización de texturas en 2D.

• Modelado 3D: Las texturas UV generadas se mapean en las regiones de la ropa de un modelo humano de 3D Gaussian Splatting (3DGS). La geometría y la apariencia no perteneciente a la ropa del modelo permanecen congeladas, optimizando únicamente los parámetros de las baldosas.
• Simulación Física: El sistema renderiza el modelo texturizado bajo diversos puntos de vista y escalas. Incorpora reiluminación de entorno HDR y compone el humano renderizado con diversos fondos (simulando condiciones climáticas como lluvia, noche y atardecer) utilizando prioris estructurales extraídas mediante IC-Light. Este proceso simula observaciones del mundo real, permitiendo que los gradientes se propaguen desde el detector de vuelta a los parámetros de las baldosas.

3. Pérdidas Adversarias

El objetivo de optimización combina cuatro términos de pérdida para equilibrar el éxito del ataque, la calidad visual y la viabilidad física:

• Pérdida de Detección ($L_{det}$): Minimiza la puntuación de confianza de la caja delimitadora (bounding box) de la clase persona con la mayor Intersección sobre Unión (IoU) con la verdad de campo (ground truth).
• Pérdida de Diversidad ($L_{div}$): Fomenta el uso de un conjunto diverso de baldosas para evitar que el modelo dependa de unos pocos patrones repetitivos.
• Pérdida de Compatibilidad de Bordes ($L_{edge}$): Asegura que las baldosas adyacentes tengan patrones de frontera coincidentes basados en puntuaciones de compatibilidad predefinidas.
• Pérdida de Costura ($L_{seam}$): Impone la continuidad del color entre píxeles adyacentes a través de las fronteras de las baldosas para evitar costuras visibles.

Contribuciones Clave

1. Un Marco Basado en Baldosas: La propuesta de AdvTiles, que representa las texturas adversarias como arreglos de baldosas aprendibles, logrando una fuerte efectividad de ataque mientras preserva una apariencia de camuflaje natural.
2. Optimización Conjunta Diferenciable: La introducción de ST Gumbel-Softmax para aprender conjuntamente los patrones de las baldosas y sus disposiciones espaciales, proporcionando un control fino sobre la generación de texturas.
3. Renderizado Físico Robusto: El aprovechamiento de 3D Gaussian Splatting para mejorar la robustez del camuflaje bajo diversas condiciones físicas, incluyendo variaciones en puntos de vista, escalas, iluminaciones y fondos.
4. Validación Exhaustiva: Experimentos extensos que demuestran un rendimiento superior sobre los métodos de estado del arte (SOTA) en múltiples detectores y en escenarios físicos del mundo real.

Resultados Experimentales

Los autores evaluaron AdvTiles frente a varios modelos de referencia, incluyendo ataques basados en parches (AdvPatch, NatPatch) y ataques basados en texturas (AdvTexture, AdvCaT), a través de múltiples arquitecturas de detectores (serie YOLO, RetinaNet, FCOS, SSD, variantes de DETR, Faster R-CNN).

• Rendimiento Digital: AdvTiles logró una Tasa de Éxito de Ataque (ASR) promedio del 86.2% en múltiples detectores, superando a los métodos SOTA existentes. En comparaciones específicas contra YOLOv5, AdvTiles alcanzó una ASR del 97.5%, con un recall de 2.5% y un F1-score de 4.5%, superando significativamente a AdvCaT (73.6% ASR).
• Transferibilidad de Caja Negra: El método demostró una fuerte transferibilidad, manteniendo una alta efectividad de ataque cuando se aplica a detectores distintos al utilizado para el entrenamiento (por ejemplo, las texturas generadas para YOLOv8 funcionaron bien en YOLOv5 y FCOS).
• Robustez Física:
  • Distancia y Ángulos: AdvTiles mantuvo un rendimiento efectivo en distancias de 3.0m a 9.0m y ángulos de visión horizontales de 0° a 270°, con ASRs consistentemente por encima del 95% para la mayoría de los ángulos.
  • Fabricación en el Mundo Real: El camuflaje optimizado fue fabricado en ropa usable. Los experimentos físicos en entornos interiores y exteriores confirmaron que AdvTiles evadió consistentemente la detección de personas a través de diversas distancias, ángulos y fondos, superando tanto a AdvCaT como al camuflaje ordinario.

Significado y Reivindicaciones

El artículo afirma que AdvTiles hace avanzar el campo del camuflaje adversario al abordar el compromiso entre la naturalidad visual y la robustez del ataque. Al pasar de la optimización de texturas holísticas a un enfoque basado en baldosas aprendibles, el método logra un control más fino sobre los patrones adversarios. La integración de 3D Gaussian Splatting para el renderizado físico asegura que el camuflaje generado sea robusto ante las variaciones del mundo real en iluminación, punto de vista y fondo.

Los autores sostienen que este trabajo da un paso hacia el despliegue práctico de ataques adversarios en el mundo real, demostrando que es posible crear ropa adversaria que sea tanto efectiva contra los detectores de personas como visualmente natural. La fabricación y prueba exitosa de la ropa en escenarios reales valida el potencial del marco para los ataques adversarios físicos.