💻 computer science

Misguiding BLIP with Adversarial Patches: Multi-level Attacks with Cross-modal Attention Graphs in BLIP

Este artículo propone MAGA, un novedoso marco de ataque multinivel que explota las vulnerabilidades de la atención transmodal en los modelos BLIP mediante la construcción y disrupción de grafos de ataque transmodales, lo que resulta en una degradación significativa del rendimiento y en subtítulos adversarios lingüísticamente plausibles pero visualmente inconsistentes.

Autores originales: yingying hu, minghao mo, peng zhang

Publicado 2026-09-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: yingying hu, minghao mo, peng zhang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas informáticos que pueden ver y leer simultáneamente. Estos sistemas, conocidos como modelos de visión y lenguaje, son entrenados con millones de pares de imágenes y texto, aprendiendo cómo una foto de un perro se relaciona con la palabra "perro". Se han convertido en la base para herramientas que describen fotos, responden preguntas sobre escenas y buscan imágenes utilizando lenguaje natural. Para que estas máquinas funcionen bien, deben conectar constantemente palabras específicas con partes específicas de una imagen, decidiendo qué píxeles pertenecen al concepto de "caballo" y cuáles pertenecen a la "hierba". Este proceso depende de un mecanismo interno complejo que actúa como un mapa dinámico, vinculando cada palabra en una oración con los detalles visuales relevantes en una fotografía. Si esta conexión se rompe, la máquina pierde su capacidad de entender lo que está mirando, lo que puede conducir a la confusión o a descripciones incorrectas.

Investigadores de la Universidad de Guangzhou han descubierto una debilidad sutil en la forma en que estos sistemas mantienen esas conexiones. Descubrieron que, al colocar un patrón pequeño y cuidadosamente diseñado sobre una imagen, podían engañar al modelo para que reordenara su mapa interno de vínculos entre palabra e imagen. Este patrón, que parece un simple parche de color o textura, no necesita ser un disfraz complejo. En su lugar, actúa como una señal silenciosa que causa que el modelo ignore las partes más importantes de una imagen y se concentre en áreas irrelevantes del fondo. Cuando esto sucede, el modelo puede seguir hablando con fluidez y gramática, pero lo que dice ya no coincide con la imagen. Podría describir un campo de flores cuando la imagen muestra claramente un caballo, o afirmar que una persona sostiene un cuenco de ramen cuando la foto contiene solo una sala de estar. Los investigadores llaman a este fenómeno "natural pero erróneo", resaltando una vulnerabilidad donde la confianza de la máquina permanece alta incluso mientras su comprensión colapsa.

El equipo desarrolló un método para crear estos patrones engañosos, al cual denominaron un ataque multinivel. A diferencia de intentos previos que intentaban simplemente desenfocar una imagen o desordenar sus colores, este enfoque apunta específicamente a la forma en que el modelo conecta el texto con la visión. Los investigadores construyeron un sistema que mapea la fuerza de los vínculos entre las palabras y las partes de la imagen, creando esencialmente un grafo que muestra a qué píxeles presta atención cada palabra. Luego, entrenaron su ataque para maximizar la diferencia entre el grafo de una imagen limpia y el grafo de la misma imagen con el parche aplicado. Al hacer esto, forzaron al modelo a romper las conexiones fuertes entre las palabras clave y su evidencia visual, mientras que simultáneamente creaban nuevas conexiones falsas con áreas aleatorias del fondo. Este proceso se combinó con otros objetivos para asegurar que el ataque permaneciera oculto y que el texto resultante sonara natural, aunque fuera fácticamente incorrecto.

Los resultados de sus experimentos fueron impactantes. Cuando aplicaron su parche generado a imágenes de un conjunto de datos estándar, la capacidad del modelo para encontrar la imagen correcta para un texto dado cayó drásticamente. En pruebas donde se le pidió al sistema que emparejara una oración con la foto correcta, su tasa de éxito cayó de más del setenta por ciento a solo el nueve por ciento. El ataque fue tan efectivo que funcionó incluso en imágenes que el sistema nunca había visto antes, lo que sugiere que la falla es fundamental en la forma en que el modelo procesa la información, más que un simple error con imágenes específicas. En tareas donde el modelo tenía que describir una imagen, la calidad de la descripción se desplomó. Las puntuaciones de precisión del sistema disminuyeron significamente, aunque las oraciones que producía seguían siendo gramaticalmente correctas y diversas, evitando el galimatías repetitivo que suele señalar un sistema averiado. Esto confirmó que el modelo no solo estaba fallando al hablar, sino que estaba describiendo con confianza una realidad que no existía.

Los investigadores también probaron el sistema en preguntas visuales, como contar objetos o identificar relaciones espaciales. El ataque causó que el modelo fallara en estas tareas lógicas también, con tasas de éxito que cayeron desde casi el ochenta por ciento hasta solo el doce por ciento. En muchos casos, el modelo respondería a una pregunta sobre un perro con una descripción de un gato, o afirmaría que había tres animales cuando solo había uno. Lo que hizo que estos fallos fueran particularmente notables fue que el mapa de atención interna del modelo había sido completamente reconfigurado. Las visualizaciones mostraron que el modelo, que normalmente enfocaba su atención en el sujeto principal de la foto, comenzó a ignorar al sujeto por completo y, en su lugar, se enfocó en el cielo vacío o la hierba. El parche no ocultó el objeto; simplemente hizo que el modelo mirara hacia otro lado.

Este trabajo sugiere que la generación actual de estos poderosos sistemas de IA es más frágil de lo que se pensaba anteriormente. Mientras que las pruebas de seguridad anteriores se centraban en si una imagen podía ser hecha para parecer algo distinto ante el ojo humano, esta investigación muestra que el peligro reside en cómo la máquina organiza su propio entendimiento. El ataque no requiere que la máquina sea engañada para ver un objeto diferente; solo necesita convencerla de que el objeto que ve es irrelevante. Al interrumpir el grafo interno que vincula las palabras con los píxeles, los investigadores demostraron que un patrón pequeño y estático podía causar una cascada de errores en diversas tareas, desde la búsqueda de imágenes hasta la respuesta a preguntas complejas. El estudio concluye que, a medida que estos modelos se integren más en la vida diaria, comprender y proteger estos mapas de conexión internos será tan importante como proteger las imágenes mismas. Los hallazgos sirven como un recordatorio de que incluso los sistemas más avanzados pueden ser extraviados no por cambiar lo que ven, sino por cambiar cómo piensan sobre lo que ven.

Resumen Técnico: Engañando a BLIP con Parches Adversarios (MAGA)

Planteamiento del Problema
Los modelos de Preentrenamiento de Visión-Lenguaje (VLP), particularmente las arquitecturas basadas en fusión como BLIP, dependen de mecanismos de atención cruzada para establecer interacciones finas entre los tokens textuales y los parches visuales. Mientras que los ataques adversarios existentes sobre estos modelos se centran principalmente en perturbaciones a nivel de píxel (modificando directamente los píxeles de la imagen) o en la disrupción a nivel de características (separando los embeddings de imagen-texto en el espacio latente), la vulnerabilidad de las estructuras de atención cruzada interna permanece poco explorada. Los autores postulan que los densos Grafos de Atención Cruzada (CAG) dentro de los codificadores de fusión son un punto crítico de falla. Los ataques actuales a menudo no logran atacar explícitamente el re cableado topológico de las asociaciones entre tokens y parches, lo cual es esencial para el anclaje de conceptos textuales en evidencia visual. En consecuencia, existe la necesidad de un método de ataque que apunte específicamente a la vulnerabilidad del nivel de atención para inducir alucinaciones "naturales pero erróneas": salidas que son lingüísticamente fluidas pero semánticamente inconsistentes con la entrada visual.

Metodología: Ataque de Grafo de Atención Multinivel (MAGA)
El artículo propone MAGA, un marco de ataque de parche adversario universal diseñado para desestabilizar a BLIP mediante una estrategia de optimización multinivel. El método opera bajo un modelo de amenaza de caja blanca donde el atacante tiene acceso a los parámetros del modelo objetivo y a las matrices de atención intermedia durante el entrenamiento, pero solo se despliega el parche aprendido.

El marco consta de tres componentes principales:

Grafos de Atención Cruzada (CAGs):
Los autores construyen CAGs para representar las relaciones de atención entre los tokens textuales y los parches visuales. Al promediar las puntuaciones de atención a través de las cabezas y aplicar un umbral $\delta_g$ , transforman la matriz de puntuación de atención en un grafo bipartito ponderado. Los nodos representan tokens y parches, mientras que las aristas representan los pesos de atención. Una Red Convolucional de Grafos (GCN) compartida codifica tanto los CAGs limpios como los adversarios en representaciones a nivel de grafo ( $g_{clean}$ y $g_{adv}$ ).
Función de Objetivo Multinivel:
MAGA optimiza conjuntamente un parche adversario universal $p_\theta$ minimizando una función de pérdida total ( $L_{total}$ ) que combina tres objetivos distintos:
- Objetivo a Nivel de Atención ( $L_{attention}$ ): Este es el núcleo novedoso del método. Maximiza la distancia de coseno entre las representaciones de los CAG limpios y adversarios. Al forzar la divergencia de las estructuras de grafos, el ataque interrumpe las conexiones específicas de token-a-parche (por ejemplo, debilitando el vínculo entre "caballo" y la región visual que contiene al caballo), reconfigurando efectivamente el razonamiento interno del modelo.
- Objetivo a Nivel de Características ( $L_{feature}$ ): Este componente asegura que el ataque sea un parche universal incluyendo una restricción de fidelidad visual (minimizando la distorsión de píxeles y la disimilitud estructural vía SSIM) y un término de disrupción de alineación. Reduce la similitud entre la imagen adversaria y su texto emparejado, manteniendo la consistencia con las características visuales de la imagen limpia.
- Objetivo a Nivel de Descripción ( $L_{caption}$ ): Para evitar salidas degeneradas o repetitivas, se introduce un término de dispersión semántica. Maximiza la distancia entre la descripción adversaria generada y la descripción de referencia (ground-truth), al mismo tiempo que fomenta la diversidad entre las descripciones dentro de un mini-lote. Esto promueve la generación de descripciones lingüísticamente fluidas y diversas, pero fácticamente incorrectas.
Optimización y Despliegue:
El generador de parches se entrena utilizando un código latente fijo y una máscara espacial. Durante la optimización, los parámetros del modelo BLIP objetivo permanecen congelados; solo se actualizan el generador de parches y el codificador de grafos auxiliar. Una vez entrenado, el parche universal puede aplicarse a imágenes no vistas sin necesidad de acceso adicional al modelo objetivo o a sus gradientes.

Contribuciones Clave

Identificación de la Vulnerabilidad de la Atención: El trabajo investiga y demuestra que las distribuciones de atención cruzada en los codificadores de fusión de BLIP son una vulnerabilidad distinta y explotable, separada de las vulnerabilidades de píxeles o de características globales.
Formulación de Ataque Basada en CAG: Los autores introducen los Grafos de Atención Cruzada (CAGs) como una representación estructural de las asociaciones entre tokens y parches. Proponen un método para maximizar la discrepancia entre los CAG limpios y adversarios, "reconfigurando" efectivamente la atención interna del modelo.
Marco de Ataque Multinivel (MAGA): El artículo propone un marco unificado que optimiza conjuntamente la disrupción de la atención, la alineación de características y la dispersión semántica de la descripción.
Sigilo mediante Regularización de la Diversidad: Al introducir un término de regularización de diversidad, el método logra inducir alucinaciones "naturales pero erróneas", donde el modelo produce descripciones lingüísticamente plausibles pero semánticamente desvinculadas del contenido visual.

Resultados Experimentales
Los autores evaluaron MAGA en los benchmarks MS COCO, Pascal Sentences y BLIP-VQA a través de tareas de recuperación de imagen-texto, descripción de imágenes y Respuesta Visual a Preguntas (VQA).

Recuperación: MAGA superó significativamente a los baselines (incluyendo PGD, UAP, AdvPatch y AdvCLIP). En MS COCO, redujo el Recall@1 de Imagen-a-Texto del 72.3% (limpio) al 9.0%, comparado con el 20.0% del baseline más fuerte (AdvCLIP). También demostró una fuerte transferibilidad al conjunto de datos fuera de distribución Pascal Sentences.
Descripción (Captioning): El ataque causó una caída drástica en las puntuaciones CIDEr (de 82.0 a 12.8) manteniendo una alta diversidad léxica (puntuación Distinct-2 de 0.40) y una perplejidad razonable. Esto confirmó el fenómeno de "natural pero erróneo".
VQA: MAGA redujo la precisión general de VQA del 78.5% al 12.4%, con Tasas de Éxito de Ataque (ASR) superiores al 80% en las categorías de preguntas de Sí/No, Conteo y Espaciales.
Estudios de Ablación: Los experimentos confirmaron que el objetivo a nivel de atención (disrupción de CAG) proporciona un aumento significativo sobre los ataques de nivel de características o de nivel de descripción por sí solos, validando la necesidad del enfoque multinivel.

Significancia y Reivindicaciones
El artículo afirma que MAGA resalta una vulnerabilidad crítica en los mecanismos de razonamiento de los modelos fundacionales multimodales. Al demostrar que la disrupción de la topología de la atención cruzada es más efectiva que la perturbación de las características globales, el trabajo subraya la importancia de evaluar la robustez de las estructuras de atención interna, no solo los mapeos de entrada-salida. La capacidad de generar salidas fluidas pero visualmente inconsistentes sugiere que los modelos VLP actuales pueden depender fuertemente de los priors lingüísticos internos cuando el anclaje visual se ve interrumpido, lo que plantea riesgos para el despliegue confiable de estos modelos en aplicaciones de seguridad crítica. Los autores concluyen que la evaluación de la robustez debe extenderse a las interacciones finas dentro de los codificadores de fusión para asegurar la fiabilidad de los futuros sistemas multimodales.

Resumen Técnico: Engañando a BLIP con Parches Adversarios (MAGA)

Más como este