Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas de visión computacional, capaces de comprender el mundo tridimensional a partir de fotografías planas. Estos sistemas, conocidos como modelos fundacionales, actúan como un traductor universal para los datos visuales. En lugar de simplemente identificar que una imagen contiene un coche o un árbol, pueden unir múltiples imágenes tomadas desde diferentes ángulos para construir un modelo 3D completo y navegable de una escena. Esta tecnología promete revolucionar la forma en que los robots navegan, cómo los vehículos autónomos perciben su entorno y cómo interactuamos con los entornos digitales. Sin embargo, al igual que las estructuras físicas tienen puntos débiles que los ingenieros deben reforzar, estos sistemas digitales tienen vulnerabilidades ocultas. Los investigadores saben desde hace tiempo que, al añadir cantidades diminutas e invisibles de ruido a una imagen, pueden engañar a una computadora para que vea algo que no está ahí. Este es el ámbito de los ataques adversarios, donde el objetivo es encontrar el cambio más pequeño posible que provoque un fallo masivo en la comprensión de la máquina.

El desafío siempre ha sido uno de velocidad y consistencia. Los métodos tradicionales para crear estas imágenes engañosas requieren que la computadora pase una cantidad significativa de tiempo analizando cada escena específica, calculando el patrón de ruido perfecto para ese momento único. Este proceso es demasiado lento para aplicaciones del mundo real donde las escenas cambian instantáneamente. Otros métodos utilizan un patrón de ruido único y estático aplicado a cada imagen, con la esperanza de que funcione en todas partes, pero estos suelen fallar contra sistemas 3D complejos porque no pueden adaptarse a la geometría cambiante de una escena. Un equipo de investigadores de la Universidad de Hong Kong Baptist ha desarrollado ahora un nuevo enfoque que resuelve ambos problemas simultáneamente. Crearon un sistema que puede generar un ataque consistente e invisible a través de múltiples vistas de una escena en un solo instante, sin necesidad de detenerse y calcular nada para cada nueva situación.

Los investigadores centraron su trabajo en un modelo específico de alto rendimiento llamado Visual Geometry Grounded Transformer. Este modelo está diseñado para tomar una secuencia de imágenes y reconstruir instantáneamente una nube de puntos 3D, que es esencialmente un esqueleto digital hecho de millones de puntos que representan la forma y la posición de los objetos en el espacio. El equipo descubrió que, si bien este modelo es increíblemente rápido y preciso en condiciones normales, es sorprendentemente frágil cuando se enfrenta a un tipo específico de engaño coordinado. Construyeron una herramienta, que llamaron generador de perturbación adversaria multivista, que actúa como un filtro de cámara de ráfaga rápida. En lugar de analizar una escena y luego elaborar lentamente un truco, esta herramienta aprende los patrones de las debilidades del modelo y aplica una distorsión personalizada a cada imagen de una secuencia al mismo tiempo.

Para que esto funcionara, el sistema tuvo que aprender un difícil acto de equilibrio. Necesitaba crear un ruido lo suficientemente fuerte como para destrozar la reconstrucción 3D, pero lo suficientemente sutil como para que el ojo humano nunca lo notara. Los investigadores diseñaron un mecanismo que obliga al ruido a permanecer constante a través de todos los diferentes ángulos de cámara. Si el ruido pareciera diferente de un ángulo a otro, el modelo 3D probablemente lo rechazaría como un error y se corregiría a sí mismo. Al asegurar que la distorsión estuviera perfectamente alineada en todas las vistas, el sistema podía confundir la lógica interna del modelo, haciendo que perdiera su control sobre la geometría de la escena. El resultado fue un colapso completo de la estructura 3D, donde el mundo reconstruido se disolvía en un caos o desaparecía por completo, todo ello mientras las imágenes de entrada parecían perfectamente normales para un observador humano.

Los experimentos demostraron que este nuevo método era ampliamente superior a los intentos anteriores. Cuando se probó contra los modelos estándar utilizados para intentar romper estos sistemas, el nuevo generador logró su objetivo en un solo paso, mientras que los métodos más antiguos requerían docenas de cálculos lentos y repetitivos para lograr resultados similares. En pruebas que involucraban escenas con hasta veinticinco diferentes vistas de cámara, el nuevo sistema degradó consistentemente la calidad de la reconstrucción 3D, haciendo que los puntos digitales se dispersaran o se encogieran hasta la nada. Los investigadores descubrieron que el ataque era efectivo no solo en la forma 3D en sí, sino también en la capacidad del modelo para estimar la profundidad y la posición de la cámara, que son críticas para la navegación. El sistema podía convertir un mapa claro y detallado de una habitación en una nube de puntos fragmentada e inutilizable en milisegundos.

Uno de los aspectos más impactantes del descubrimiento es la eficiencia del ataque. Los investigadores demostraron que su herramienta podía procesar una escena compleja con múltiples vistas en menos de un segundo, utilizando una fracción de la memoria informática requerida por los métodos tradicionales. Esta velocidad sugiere que tal ataque podría teóricamente desplegarse en escenarios en tiempo real, como un robot conduciendo por una calle o un dron volando a través de una ciudad. El estudio descartó explícitamente la idea de que un patrón de ruido único y estático pudiera funcionar contra estos modelos 3D complejos, mostrando en cambio que el ruido debe ser dinámico y consciente de la relación entre los diferentes ángulos de cámara para ser efectivo. El equipo también confirmó que el ataque no dependía de distorsiones grandes y obvias; los cambios eran tan diminutos que permanecían invisibles para el ojo humano, preservando la textura y la apariencia de las fotos originales mientras destruían completamente la capacidad de la máquina para comprender el espacio.

Las implicaciones de este trabajo se extienden más allá del laboratorio. Los investigadores enfatizan que sus hallazgos resaltan una brecha de seguridad crítica en el despliegue de los sistemas de visión 3D. Si un modelo puede ser engañado con tanta facilidad y rapidez, la seguridad de las aplicaciones que dependen de ellos, como los coches autónomos o la navegación robótica, podría verse comprometida. El estudio no afirma que estos sistemas estén rotos de forma irreparable, sino más bien que son actualmente vulnerables a un tipo de engaño específico y altamente eficiente que no había sido abordado plenamente hasta ahora. Los autores concluyen que el siguiente paso urgente es desarrollar defensas y mecanismos de detección robustos para proteger estos sistemas. Sugieren que, sin tales salvaguardas, la rápida adopción de los modelos fundacionales 3D podría exponer a la infraestructura crítica a riesgos nuevos y peligrosos, donde una señal sutil e invisible podría hacer que una máquina pierda su rumbo en el mundo real.