🤖 AI

Breaking the weakest link to evade vision language models

Este artículo propone un método de ataque basado en gradientes y computacionalmente eficiente que se dirige únicamente al codificador de visión de los Modelos de Lenguaje Visual (VLMs) para generar perturbaciones adversarias imperceptibles capaces de interrumpir o secuestrar las interpretaciones textuales de los modelos, exponiendo así vulnerabilidades significativas en los actuales sistemas de IA multimodales.

Autores originales: Ilan Zini, Boussad Addad, Katarzyna Kapusta

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ilan Zini, Boussad Addad, Katarzyna Kapusta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de sistemas que pueden ver y hablar al mismo tiempo. Estas máquinas, conocidas como modelos de visión y lenguaje, están diseñadas para mirar una imagen y describir lo que ven, o para responder preguntas sobre una fotografía. Funcionan tomando una imagen, convirtiendo sus detalles visuales en una representación matemática y luego pasando esa información a un motor de lenguaje que construye oraciones. Esta tecnología impulsa desde subtítulos automáticos de imágenes hasta sistemas de seguridad en coches autónomos, creando un puente entre el mundo visual y la comunicación humana. Sin embargo, al igual que cualquier sistema complejo tiene puntos débiles, estos modelos no son inmunes a la manipulación. Los investigadores saben desde hace tiempo que las imágenes digitales pueden ser alteradas de formas invisibles para el ojo humano, pero capaces de confundir la percepción de una computadora. La pregunta ahora es si estos sofisticados sistemas nuevos, que combinan la vista y el habla, son más seguros que los modelos antiguos y más simples que reemplazaron.

Un equipo de investigadores de Thales y ESILV se propuso probar la durabilidad de estos modelos de visión y lenguaje contra tales manipulaciones ocultas. Su objetivo era ver si podían engañar a los modelos para que vieran cosas que no estaban allí, o para que ignoraran lo que era claramente visible. Se centraron en dos tipos específicos de trucos. El primero fue una disrupción amplia, donde el atacante simplemente quería confundir al modelo para que ya no pudiera describir la imagen correctamente. El segundo fue un engaño preciso, donde el atacante quería que el modelo describiera un objeto específico que fuera completamente diferente al de la foto. Por ejemplo, querían ver si podían hacer que un modelo mirara la foto de un tanque militar y la describiera con confianza como una ambulancia. Para hacer esto, no intentaron romper todo el sistema a la vez. En su lugar, identificaron el camino más eficiente hacia la vulnerabilidad: la parte del sistema que procesa la imagen por primera vez.

Los investigadores descubrieron que podían generar estas imágenes engañosas centrando sus esfuerzos únicamente en el componente visual del modelo, en lugar de en toda la maquinaria de procesamiento de lenguaje. Este enfoque demostró ser una jugada maestra de eficiencia. Mientras que los métodos anteriores requerían que la computadora calculara los cambios a través del cerebro de lenguaje masivo y complejo del modelo —un proceso que era lento y demandaba una enorme potencia de cálculo—, el nuevo método solo necesitaba ajustar la etapa inicial de procesamiento de la imagen. Al hacer esto, los investigadores redujeron la memoria requerida para el ataque por un margen significativo y recortaron el tiempo necesario para crear una sola imagen engañosa de más de veinte minutos a aproximadamente ciento sesenta segundos. Esta eficiencia significó que pudieron probar sus ideas en una gran variedad de modelos modernos de código abierto, incluyendo sistemas llamados Qwen, Granite, FastVLM y Phi.

Los resultados de estos experimentos fueron impactantes y revelaron una profunda fragilidad en cómo estos modelos entienden el mundo. Cuando los investigadores intentaron simplemente confundir a los modelos, haciendo que fallaran al describir la imagen correctamente, los ataques fueron casi universalmente exitosos. Incluso con cambios diminutos e invisibles en los píxeles, los modelos fallaron en reconocer el contenido de la imagen más del noventa y tres por ciento de las veces. En algunos casos, casi todos los intentos tuvieron éxito, lo que sugiere que las representaciones visuales en las que estos modelos confían son increíblemente inestables. Cuando los investigadores intentaron la tarea más difícil de forzar al modelo a ver un objeto incorrecto específico, los resultados variaron más según el modelo, pero siguieron siendo preocupantes. Un modelo, Granite-Vision, fue engañado para describir un tanque como una ambulancia en casi la mitad de los intentos, a pesar de que los dos objetos son completamente ajenos entre sí. Otro modelo, Phi-3.5-Vision, resultó ser mucho más resistente, cayendo rara vez en el truco, pero la mayoría de los sistemas probados mostraron una debilidad significativa.

Estos hallazgos sugieren que la generación actual de modelos de visión y lenguaje es altamente susceptible a la manipulación, particularmente cuando el objetivo es interrumpir su comprensión de una imagen. El hecho de que sistemas tan potentes puedan ser engañados por cambios demasiado pequeños para que un humano los note plantea serias dudas sobre su fiabilidad en situaciones del mundo real. Si un coche autónomo o un sistema de imágenes médicas depende de un modelo que puede ser fácilmente engañado para identificar erróneamente un vehículo o una condición, las consecuencias podrían ser graves. El estudio no afirma haber resuelto el problema de la seguridad de estos sistemas, pero ha mapeado claramente el terreno del peligro. Al mostrar que el eslabón más débil es a menudo la etapa inicial de procesamiento visual, los investigadores han proporcionado un objetivo claro para las defensas futuras. El trabajo subraya que, a medida que estos modelos se integren más en infraestructuras críticas, asegurar que puedan resistir tales ataques sutiles e invisibles no es solo un desafío técnico, sino un requisito fundamental para la seguridad.

Resumen Técnico: Rompiendo el eslabón más débil para evadir los Modelos de Lenguaje de Visión

Declaración del Problema

Los Modelos de Lenguaje de Visión (VLM, por sus siglas en inglés) se han convertido en componentes críticos en los sistemas de IA multimodal, permitiendo el razonamiento conjunto sobre entradas visuales y textuales para aplicaciones que van desde la descripción de imágenes hasta dominios de seguridad crítica como la conducción autónoma. Sin embargo, la robustez de estos modelos frente a amenazas adversarias sigue siendo insuficientemente explorada. Específicamente, existe una falta de comprensión sobre cómo las perturbaciones pequeñas e imperceptibles para el ojo humano, aplicadas a las entradas visuales, pueden interrumpir la alineación multimodal, causando que el modelo genere descripciones textuales incorrectas o engañosas.

Los métodos actuales de ataque adversario contra los VLM a menudo requieren la retropropagación a través de toda la arquitectura multimodal (tanto de los componentes de visión como de lenguaje). Este enfoque es computacionalmente costoso y requiere muchos recursos, lo que limita la escalabilidad de tales ataques y la capacidad de evaluar la robustez a través de diversas familias de modelos.

Metodología

Los autores proponen un nuevo y eficiente método de ataque basado en gradientes que apunta al "eslabón más débil" de la arquitectura del VLM: el codificador de visión. La hipótesis central es que optimizar las perturbaciones exclusivamente en el codificador visual es suficiente para manipular la salida textual final, evitando así la sobrecarga computacional de optimizar a través de todo el flujo de trabajo multimodal.

Modelo de Amenaza

El estudio opera bajo un modelo de amenaza de caja blanca, asumiendo que el atacante tiene acceso total al codificador de visión del VLM objetivo. Esto se considera realista dado que muchos VLM competitivos (por ejemplo, Qwen, Granite, Phi) se lanzan como sistemas de código abierto.

Diseño del Ataque

La estrategia de ataque se divide en dos configuraciones:

Ataques Dirigidos (Targeted Attacks): El adversario busca forzar al VLM a generar una descripción semántica específica correspondiente a una imagen objetivo, distinta de la imagen de origen. La optimización minimiza el Error Cuadrático Medio (MSE) entre el embedding de la imagen adversaria ( $h_{adv}$ ) y el embedding de la imagen objetivo ( $h_{target}$ ) producido por el codificador de visión.
Ataques No Dirigidos (Untargeted Attacks): El objetivo es interrumpir la interpretación del modelo de la imagen original sin un objetivo específico. La optimización maximiza la distancia entre el embedding de la imagen adversaria y el embedding de la imagen de origen.

En ambos casos, la optimización (usando I-FGSM) se realiza retropropagando los gradientes únicamente a través del codificador de visión. La perturbación se aplica a la imagen de entrada, se recorta a un rango válido y se restringe mediante un presupuesto de perturbación ( $\epsilon$ ).

Protocolo de Evaluación

Los autores evaluaron su enfoque en cuatro VLM de código abierto: Qwen2.5-VL-3B, Granite-Vision-3.2-2B, FastVLM-7B y Phi-3.5-Vision-Instruct.

Conjunto de Datos: Se utilizó un subconjunto de ImageNet, con 1,000 pares origen-objetivo aleatorios para los ataques dirigidos.
Criterio de Éxito: Se empleó un enfoque de "LLM como Juez" (LLM-as-a-Judge). Un modelo de lenguaje separado (Granite-4.0-micro) evaluó si la descripción generada por el VLM de la imagen adversaria coincidía con el objetivo (para ataques dirigidos) o difería significamente de la original (para ataques no dirigidos).

Resultados Clave

Efectividad del Ataque

Ataques No Dirigidos: El ataque demostró ser extremadamente efectivo en todos los modelos. Incluso con perturbaciones mínimas ( $\epsilon = 0.05$ ), las tasas de éxito superaron el 93% para todos los modelos, alcanzando casi el 100% para Granite-Vision y FastVLM. Esto indica que los VLM actuales son altamente sensibles al ruido visual menor cuando el objetivo es simplemente interrumpir la coherencia semántica.
Ataques Dirigidos: Aunque son más desafiantes debido a la distancia semántica aleatoria entre los pares de origen y objetivo, el ataque logró un éxito significativo.
- Granite-Vision mostró la mayor vulnerabilidad, con tasas de éxito que superaron el 45% con presupuestos de perturbación más altos ( $\epsilon = 0.20$ ).
- FastVLM logró tasas de éxito entre el 26% y el 29%.
- Qwen2.5-VL demostró resiliencia con presupuestos bajos, pero se volvió cada vez más vulnerable a medida que $\epsilon$ aumentaba (alcanzando el 25%).
- Phi-3.5-Vision se mantuvo altamente robusto, con tasas de éxito consistentemente cercanas al 2%, lo que sugiere que las diferencias arquitectónicas impactan significativamente la vulnerabilidad.

Eficiencia Computacional

Una contribución primaria del trabajo es la reducción de los requisitos de recursos. Al restringir la retropropagación al codificador de visión (que constituye solo del 1.6% al 18% del total de los parámetros, dependiendo del modelo):

Uso de VRAM: Se redujo de aproximadamente ~44–47% (VLM completo) a 13–16% en una GPU NVIDIA H100.
Tiempo de Generación: En Qwen2.5-VL, generar un ejemplo adversario mediante el flujo completo tomó más de 20 minutos (y a menudo fallaba), mientras que el enfoque de solo el codificador de visión requirió aproximadamente 100 segundos.

Significancia y Reivindicaciones

El artículo afirma que los VLM modernos, a pesar de sus avanzadas capacidades multimodales, siguen siendo fundamentalmente vulnerables a la manipulación visual adversaria. La significancia del trabajo radica en tres áreas:

Eficiencia: El método propuesto demuestra que se pueden generar ataques adversarios de alta efectividad con una fracción del costo computacional de los métodos anteriores de vanguardia, centrándose únicamente en el codificador de visión.
Exposición de Vulnerabilidades: Los resultados resaltan una brecha de seguridad crítica, particularmente en escenarios no dirigidos donde interrumpir la salida del modelo es trivial. Esto plantea riesgos serios para aplicaciones de seguridad crítica (por ejemplo, conducción autónoma, imágenes médicas) donde la integridad de la entrada no puede garantizarse.
Variación Arquitectónica: El estudio revela que la robustez no es uniforme entre las arquitecturas; algunos modelos (como Phi-3.5-Vision) exhiben una resistencia significativamente mayor que otros, lo que sugiere que las elecciones arquitectónicas juegan un papel crucial en la defensa adversaria.

Los autores concluyen que es necesaria una mejora en la robustez y en los mecanismos de seguridad para el despliegue seguro de los sistemas de IA multimodales en entornos del mundo real.