AdvSerial: Physical Adversarial Attacks on Infrastructure-mounted Pedestrian Detectors via Semantic Feature Suppression

Imagina un mundo donde tus ojos y tu cerebro son reemplazados por una computadora de cámara súper inteligente. Esta es la realidad de la "visión por IA" moderna, una tecnología que ayuda a los coches autónomos a ver peatones, ayuda a las cámaras de seguridad a contar multitudes y vigila las autopistas concurridas. Estos sistemas son increíblemente buenos detectando personas, pero tienen una debilidad secreta: pueden ser engañados. Al igual que un humano puede ser engañado por una ilusión óptica ingeniosa, estas cámaras de IA pueden confundirse con patrones especiales diseñados para parecer ruido para nosotros, pero que actifican como una "venda" para la computadora. Este campo de estudio se llama "ataques adversarios". No se trata de romper la cámara con un martillo; se trata de pintar un cuadro que haga que el cerebro de la IA sufra un cortocircuito. ¿Por qué importa esto? Porque si una cámara de seguridad en una estación de tren concurrida o un semáforo puede ser engañada para no ver a una persona, todo el sistema falla, lo que potencialmente conduce a accidentes peligrosos o brechas de seguridad.

Ahora, conoce a AdvSerial, una nueva "capa mágica" diseñada por investigadores para probar qué tan vulnerables son realmente estas cámaras de IA. Mientras que los intentos previos de engañar a la IA se centraron en vistas planas a nivel de calle (como una cámara a la altura de los ojos), este nuevo método apunta a las cámaras montadas en postes y edificios, el tipo de cámaras utilizadas en ciudades inteligentes y en autopistas. Estas cámaras de ángulo alto ven a las personas desde arriba, lo que distorsiona su forma y las hace más difíciles de engañar. Los investigadores construyeron una "máquina de coser" digital que toma un patrón especial y caótico y lo cose sobre modelos 3D de ropa. Luego, enseñaron a este patrón a sobrevivir a los ángulos extraños y los movimientos de la vida real. Cuando lo probaron, los resultados fueron sorprendentes: en un experimento en el mundo físico, la capa logró ocultar personas de un popular detector de IA llamado YOLO-v5 el 74.8% de las veces. Incluso más impresionante, redujo la confianza de la cámara al ver a una persona de un sólido 84.30% a un vacilante 39.38%. Lo mejor de todo es que este truco funcionó incluso contra defensas avanzadas que intentan detectar patrones "extraños" o mirar el video a lo largo del tiempo para atrapar el truco.

La historia de la chaqueta "invisible"

Sumerjámonos en cómo funciona esto. Imagina que estás tratando de ocultar a una persona de un guardia de seguridad que mira hacia abajo desde una torre alta. Si solo pones una calcomanía grande y fea en su camisa, el guardia podría notar la calcomanía e ignorarla. Si intentas pintar un patrón en su camisa que parezca una camisa normal pero confunda al guardia, el patrón podría estirarse y retorcerse cuando la persona camine, haciendo que parezca un desastre y delatando el juego.

Los investigadores, liderados por Yuanhao Huang e Yilong Ren, se dieron cuenta de que para ocultar verdaderamente a una persona de estas cámaras situadas en lo alto, no podías simplemente hacer una calcomanía plana. Necesitabas un traje 3D dinámico. Crearon un sistema llamado AdvSerial que hace tres cosas principales:

1. La máquina de coser digital (Quilting de características suaves): Imagina que estás haciendo una colcha con muchos cuadrados pequeños de tela, cada uno con un patrón loco y confuso. Si solo los coses, las costuras (las líneas donde se encuentran los cuadrados) serán obvias. Una cámara inteligente podría ver esas líneas nítidas y decir: "¡Ajá! ¡Eso es un patrón falso!". Para solucionar esto, los investigadores inventaron una forma ingeniosa de coser los cuadrados. En lugar de solo combinar los colores, buscaron dónde el cerebro de la cámara era más sensible. Cosieron los cuadrados en los "puntos ciegos" del cerebro de la cámara, lugares donde la cámara no presta mucha atención. Esto se llama Feature Smooth Quilting (Quilting de características suaves). Hace que las costuras sean invisibles para la IA, aunque estén ahí, asegurando que el patrón parezca una superficie única y confusa.

2. El maniquí viajero en el tiempo (Pérdida de fotogramas en serie): La mayoría de los trucos anteriores funcionaban para una sola foto. Pero en el mundo real, ¡las personas se mueven! Caminan, corren y balancean sus brazos. Si el patrón solo funciona cuando te quedas quieto, es inútil para una cámara de seguridad que observa un video. Los investigadores entrenaron su patrón en un maniquí 3D que se movía constantemente, cambiando de pose y girando alrededor. Utilizaron una regla matemática especial llamada Serial Frame Loss (Pérdida de fotogramas en serie) para asegurar que el patrón siguiera funcionando a lo largo de todo el video. Es como enseñar un truco de magia no solo para que funcione durante un segundo, sino para que siga funcionando durante un minuto entero, sin importar cómo se mueva el mago. Esto evitó el efecto de "parpadeo" donde la IA ve a la persona por un segundo, luego la pierde, y luego la ve de nuevo.

3. La prueba de ángulo alto: No solo probaron esto en una pantalla de computadora. Imprimieron los patrones en ropa real y tuvieron a personas caminar frente a cámaras de seguridad reales montadas a 3 a 5 metros de altura. Probaron en diferentes climas (soleado, lluvioso, neblinoso) y a diferentes distancias (desde 5 hasta 30 metros de distancia).

Los resultados: Una clase magistral de ocultación

Los resultados fueron una llamada de atención para el mundo de la seguridad. Cuando probaron su "capa mágica" contra ocho tipos diferentes de detectores de IA (incluyendo la popular serie YOLO y otros), los resultados fueron consistentes y aterradores:

• La gran victoria: Contra el detector YOLO-v2, la capa funcionó el 89.71% de las veces. Contra el más moderno YOLO-v5 en el mundo real, todavía funcionó el 74.8% de las veces.
• Colapso de confianza: Antes del ataque, las cámaras estaban muy seguras de que veían a una persona (84.30% de confianza). Después del ataque, esa confianza cayó estrepitosamente al 39.38%. La cámara básicamente estaba diciendo: "No estoy seguro de si eso es una persona o solo una sombra".
• Venciendo a las defensas: Los investigadores intentaron romper su propio truco usando dos defensas avanzadas. Una defensa (NapGuard) busca líneas nítidas y antinaturales en los patrones. La otra (Sparse4D-v3) observa el video a lo largo del tiempo para ver si las cosas se mueven de manera extraña. La capa venció a ambas. Era tan suave que la defensa de detección de líneas no la detectó, y era tan consistente a lo largo del tiempo que la defensa de revisión de video no pudo encontrar un error.

Por qué esto importa (Y por qué no)

Este artículo no dice que la IA esté rota para siempre. En cambio, actúa como una prueba de esfuerzo. Muestra que las cámaras en las que confiamos para la seguridad en nuestras ciudades tienen un punto ciego específico: luchan por ver a personas que visten estos patrones específicos y cuidadosamente diseñados cuando se ven desde ángulos altos.

Los investigadores descubrieron que el truco funciona mejor cuando la persona está de pie o moviéndose lentamente. Cuando las personas corren o balancean sus brazos salvajemente, el patrón se estira, y la cámara podría captar un vistazo de la persona nuevamente (la tasa de éxito disminuyó un poco, pero seguía siendo mucho menor que la normal). Esto nos dice que, si bien el ataque es poderoso, no es una capa de invisibilidad mágica que funciona el 100% de las veces en todas las situaciones.

La conclusión más importante es que las formas antiguas de probar la seguridad (solo tomar una foto y ver si la IA se confunde) no son suficientes. Necesitamos probar cómo estos sistemas manejan a personas en movimiento, cambios de ángulos y el clima del mundo real. Los investigadores sugieren que, para solucionar esto, los futuros sistemas de seguridad deben ser más inteligentes en cómo rastrean el movimiento y cómo manejan las formas 3D, no solo las imágenes 2D.

En resumen, AdvSerial es una herramienta poderosa que expone una debilidad oculta en nuestras cámaras de ciudades inteligentes. Demuestra que si sabes cómo funciona el cerebro de la IA, puedes diseñar un patrón que la haga "quedar ciega" ante las personas, incluso desde lo alto. Es un recordatorio de que, a medida que construimos ciudades más inteligentes, también necesitamos construir defensas más inteligentes para mantenerlas seguras.