🤖 AI

Physically Real-time Infrared Attack against Optical Flow Estimation Networks

Este artículo presenta un nuevo ataque no invasivo en el mundo físico contra las redes de estimación de flujo óptico que utiliza luces infrarrojas sigilosas y ejemplos adversarios precomputados para generar interrupciones dirigidas en tiempo real a través de diversas condiciones ambientales sin modificar el sistema víctima.

Autores originales: Shen You, Wei Jiang, Jiarui Liu, Yijian Ye, Qiuzhen Lin, Xiangtao Li, Ka-Chun Wong

Publicado 2026-07-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shen You, Wei Jiang, Jiarui Liu, Yijian Ye, Qiuzhen Lin, Xiangtao Li, Ka-Chun Wong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que el mundo está lleno de ojos invisibles que lo observan todo. Estos no son ojos humanos, sino cámaras conectadas a cerebros informáticos superinteligentes llamados "Redes de Estimación de Flujo Óptico". Piensa en estas redes como los detectores de movimiento definitivos. No solo ven una imagen; observan cómo se mueve cada uno de los píxeles de esa imagen de un fotograma al siguiente. Si un coche pasa por delante, la red calcula exactamente con qué rapidez y en qué dirección viaja cada parte de ese coche. Esta es la receta secreta detrás de los coches autónomos que esquivan obstáculos y de los sistemas de seguridad que rastrean a los ladrones. Pero aquí está el problema: estos cerebros informáticos tienen una debilidad secreta. Así como un mago puede engañar al ojo humano con un juego de manos, los hackers pueden engañar a estas redes con "ejemplos adversarios": pequeños fallos, casi invisibles, que hacen que la computadora vea cosas que no están ahí o que no vea las que sí están. La gran pregunta que se hacen los científicos es: ¿Podemos engañar a estos detectores de movimiento en el mundo real, no solo en una pantalla de computadora, sin que nadie se dé cuenta?

Este artículo presenta una nueva y astuta forma de hacer exactamente eso, utilizando una herramienta que es prácticamente invisible para nosotros los humanos: la luz infrarroja. Los autores, un equipo de investigadores, proponen un método que llaman un "Ataque Infrarrojo Físicamente en Tiempo Real". En lugar de intentar pintar un patrón extraño en un coche (lo cual se vería fácilmente y se podría limpiar), pegan pequeñas luces infrarrojas al objetivo. Para nuestros ojos, el coche parece normal. Pero para la cámara, que puede ver el infrarrojo, el coche está emitiendo un código secreto y caótico. Los investigadores descubrieron que, al encender y apagar estas luces siguiendo un ritmo muy específico y rápido, pueden confundir al detector de movimiento de la computadora. Es como si estuvieras intentando rastrear a un corredor, pero cada vez que da un paso, alguien activa una luz estroboscópica que lo hace parecer que se está teletransportando o que está inmóvil. La computadora se confunde tanto por los cambios repentinos de brillo que deja de rastrear el objeto por completo.

El equipo no solo supuso que esto funcionaría; construyeron una pista de pruebas física para demostrarlo. Configuraron una cámara, un objeto en movimiento (un plato de plástico con luces) y un controlador. Primero, utilizaron un "Algoritmo Genético" —piensa en ello como un simulador de evolución digital— para determinar el patrón perfecto de destellos de luz. Esta parte tomó tiempo, como criar al caballo de carreras perfecto. Una vez que encontraron el patrón ganador, entrenaron una red neuronal rápida y sencilla ("Red Generativa Adversaria") para copiar ese patrón instantáneamente. Esto les permitió encender y apagar las luces en tiempo real, más rápido de lo que la cámara podía parpadear.

Los resultados fueron bastante convincentes. Cuando probaron esto contra dos sistemas populares de seguimiento de movimiento (RAFT y PWC-Net), el ataque fue altamente efectivo. La "visión" de la computadora del objeto en movimiento se convirtió en un caos vacío y desordenado. En muchas pruebas, el sistema falló al ver el objeto moviéndose en absoluto, o vio una trayectoria completamente errónea. Los investigadores demostraron que este truco funcionaba incluso cuando el objeto se movía a diferentes velocidades, cuando la iluminación de la habitación cambiaba de tenue a brillante, e incluso cuando la cámara se alejaba. Descubrieron que el ataque era más efectivo cuando la habitación no era demasiado brillante, ya que la luz solar fuerte puede sobrepasar la señal infrarroja, pero aun así se mantuvo firme en una amplia gama de condiciones.

Crucialmente, el artículo argumenta en contra de los métodos anteriores que intentaban imprimir calcomanías visibles y pegajosas en los coches o usar simulaciones digitales que no funcionan en el mundo real. Los autores sugieren que esos métodos a menudo fallan porque las cámaras reales captan ruido y porque los patrones impresos parecen demasiado obvios para los humanos. Su enfoque infrarrojo, sin embargo, permanece oculto a los ojos humanos mientras causa estragos en la visión de la máquina. También descubrieron que el "destello" de la luz —cuán diferente es el brillo entre un fotograma y el siguiente— era la parte más importante del truco. Sin ese cambio rápido, la computadora aún podría descifrar el movimiento.

En resumen, el artículo sugiere que los sistemas de seguridad que dependen del seguimiento de movimiento podrían ser más frágiles de lo que pensamos. Al usar una simple linterna invisible y un poco de tiempo inteligente, es posible hacer que un objeto en movimiento desaparezca de la vista de una computadora. Si bien esto no significa que los coches autónomos vayan a chocar mañana, sí sugiere que los "ojos" de nuestro mundo automatizado pueden ser cegados por un poco de luz invisible, y que necesitamos construir defensas más fuertes contra este tipo de trucos físicos.

Resumen Técnico: Ataque de Infrarrojos Físicamente en Tiempo Real contra Redes de Estimación de Flujo Óptico

1. Planteamiento del Problema

Las Redes de Estimación de Flujo Óptico (OFEN, por sus siglas en inglés) son modelos ascendentes críticos en la conducción autónoma, la detección de movimiento y la evitación de obstáculos, proporcionando vectores de movimiento que alimentan los sistemas de toma de decisiones descendentes. Sin embargo, al igual que otras Redes Neuronales Profundas (DNN), las OFEN son vulnerables a los Ejemplos Adversarios (AE).

Los ataques existentes en el mundo físico enfrentan cuatro limitaciones principales:

Brecha Digital-a-Físico: Muchos métodos evalúan el rendimiento en el dominio digital, sin tener en cuenta las complejas transformaciones físicas (ruido, iluminación, ángulos de sensor) requeridas para el despliegue en el mundo real.
Implementación Estática: Algunos ataques físicos simplemente imprimen AEs digitales, ignorando que las cámaras inevitablemente capturan ruido, lo que degrada la efectividad del AE.
Falta de Dinamismo: Trabajos previos a menudo no tienen en cuenta el movimiento del objeto objetivo, lo que provoca fallos en el ataque cuando el objeto cambia de ángulo o posición.
Visibilidad: La mayoría de los ataques dependen de parches visibles o luces, violando el principio de imperceptibilidad y haciéndolos fácilmente detectables por humanos.

El artículo aborda la necesidad de un ataque físico, sigiloso y en tiempo real que pueda interrumpir dinámicamente las OFEN a medida que los objetos se mueven, sin modificar el sistema víctima ni alertar a los observadores humanos.

2. Metodología: Ataque de Luz Infrarroja en Tiempo Real (RILA)

El método propuesto, RILA, aprovecha luces infrarrojas (IR) adheridas a la superficie de un objeto objetivo. Dado que la mayoría de las cámaras diseñadas para entornos de baja luz carecen de filtros IR, estas capturan la luz IR, mientras que los humanos permanecen ajenos a ella. El proceso de ataque se divide en dos etapas:

A. Etapa de Entrenamiento (Fuera de línea)

Para superar la naturaleza no diferenciable del mundo físico (la función de conversión $C(\cdot)$ de la perturbación a la luz física), los autores emplean un Algoritmo Genético (GA).

Inicialización: En lugar de distribuciones uniformes, el GA utiliza dos estrategias preestablecidas basadas en la suposición de "Constancia de Brillo" del flujo óptico. Su objetivo es maximizar las diferencias de brillo entre fotogramas adyacentes estableciendo las perturbaciones iniciales en niveles de intensidad específicos ( $\gamma = 0.2$ o $0.8$) dependiendo de la paridad del fotograma.
Evolución: El GA genera iterativamente perturbaciones (vectores de intensidad de luz). Para cada candidato, el controlador de hardware ajusta las luces IR, la cámara captura el fotograma y la OFEN estima el flujo óptico.
Función de Aptitud (Fitness Function): Una función de aptitud multiobjetivo guía la evolución utilizando tres términos de pérdida:
1. Pérdida de Invisibilidad ( $L_{Vis}$ ): Maximiza la "vacuidad" del flujo óptico (haciendo que el objeto sea indetectable).
2. Pérdida de Imperceptibilidad ( $L_{Per}$ ): Minimiza la varianza del flujo óptico para crear caos, evitando la percepción de movimiento precisa.
3. Pérdida de Destello ( $L_{Flash}$ ): Maximiza la diferencia de brillo entre fotogramas consecutivos para interrumpir la suposición de continuidad temporal.

B. Etapa de Ataque (Tiempo Real)

Dado que el GA es demasiado lento para aplicaciones en tiempo real, los datos entrenados (pares de perturbaciones previas y óptimas) se utilizan para entrenar una Red Generativa Adversaria (AGN).

Arquitectura: Una red simple totalmente conectada que toma la perturbación anterior $P_{i-1}$ como entrada y genera la siguiente perturbación $P_i$ .
Ejecución: En el mundo físico, la AGN genera la perturbación en milisegundos, la envía al controlador de hardware y las luces IR se actualizan instantáneamente. Esto permite que el ataque mantenga el ritmo de la tasa de fotogramas de la cámara (por ejemplo, 30 fps).

3. Contribuciones Clave

Cambio de Paradigma: Propone un enfoque de "entrenamiento físico y despliegue físico", alejándose de los modelos de ataque digital/despliegue físico para optimizar directamente para las restricciones físicas.
Mecanismo de Sigilo: Utiliza luces infrarrojas para asegurar que el ataque sea imperceptible para el ojo humano mientras permanece visible para las cámaras estándar.
Adaptación Dinámica: Introduce una red generativa en tiempo real (AGN) entrenada con datos generados por GA, permitiendo que el ataque se adapte a objetos en movimiento sin modificar el modelo víctima.
Funciones de Pérdida Especializadas: Diseña tres términos de pérdida específicos (Invisibilidad, Imperceptibilidad, Destello) para guiar eficazmente la generación de AEs contra las OFEN.

4. Resultados Experimentales

Los experimentos se realizaron en un entorno de prueba físico utilizando una pista, controles de luz ambiental, luces IR de 840 nm y un controlador ESP32. Los modelos víctimas fueron RAFT y PWC-Net.

Estudio de Ablación: Eliminar cualquiera de las tres funciones de pérdida degradó el rendimiento. La Pérdida de Destello (Flash Loss) fue identificada como el componente más crítico, ya que su eliminación causó la mayor caída en la eficacia del ataque (el AIV disminuyó un 3.22%).
Iluminación Ambiental: El método funcionó de manera robusta ante diversas intensidades de luz ambiental (0.1 a 1.0). Aunque las condiciones extremadamente brillantes (>0.7) redujeron la contribución relativa de la IR, el ataque siguió siendo efectivo.
Velocidad del Objeto: El rendimiento (medido por la Invisibilidad Promedio - AIV y la Imperceptibilidad Promedio - AIP) se mantuvo alto para velocidades de hasta 33 cm/s, aunque se observó un declive gradual al aumentar la velocidad.
Distancia de la Cámara: El ataque mantuvo un rendimiento constante en distancias de 30 cm a 120 cm, debido al área de cobertura fija de las luces IR respecto a la superficie del objeto.
Iteraciones del Modelo: El ataque siguió siendo efectivo contra RAFT independientemente del número de iteraciones (5 a 15), demostrando robustez contra la complejidad computacional interna del modelo.

5. Significancia y Reivindicaciones

El artículo afirma que RILA demuestra con éxito un ataque físico práctico y en tiempo real contra las OFEN. Su significancia radica en:

Sigilo: El uso de luces IR hace que el ataque sea invisible para los humanos, superando la restricción de "imperceptibilidad" que limita muchos ataques de luz visible.
Robustez: Al entrenar directamente en el entorno físico mediante un enfoque no basado en gradientes (GA) y desplegar mediante una red generativa, el método supera la brecha "sim-to-real" y los problemas de ruido inherentes a las transferencias de digital a físico.
Evaluación de Amenazas: Los resultados indican una "amenaza pesada" para los sistemas de seguridad actuales que dependen de las OFEN, ya que el ataque puede perjudicar la capacidad de la red para estimar el flujo óptico a través de diversas condiciones de iluminación, velocidades y distancias.

Los autores concluyen que, si bien el presente trabajo se centra en el flujo óptico, la metodología podría extenderse a otras tareas de conducción autónoma, como la detección de objetos, para crear ataques multimodales más integrales.