Visual Memory Injection Attacks for Multi-Turn Conversations

Este artículo presenta un ataque de inyección de memoria visual sigiloso que permite a un adversario manipular el comportamiento de modelos de lenguaje y visión a gran escala en conversaciones multi-turno mediante imágenes perturbadas, activando mensajes específicos solo bajo un prompt desencadenante.

Lo esencial

Imagina que las Inteligencias Artificiales (IA) que ven y hablan (como los chatbots que te describen fotos) son como niños muy inteligentes pero un poco ingenuos. Tienen una memoria increíble: si les muestras una foto al principio de una conversación, la recuerdan durante toda la charla, incluso si hablan de otros temas después.

Los autores de este paper descubrieron una forma muy astuta de "hackear" la memoria de estos niños inteligentes sin que se den cuenta. Lo llaman "Inyección de Memoria Visual" (VMI).

Aquí te explico cómo funciona con una analogía sencilla:

1. El Truco de la "Foto Mágica"

Imagina que un malicioso (un hacker) toma una foto bonita de un paisaje o un perro. En lugar de robarla, le hace un pequeño "tinte" invisible.

• La analogía: Es como si el hacker le pusiera una gota de tinta casi invisible en una tarjeta postal. A simple vista, la tarjeta se ve perfecta y hermosa. Pero esa gota de tinta contiene un código secreto.

2. El Viaje de la Foto

El hacker sube esa foto "trucada" a internet (como Instagram o un foro).

• Un usuario normal y confiado descarga la foto porque le gusta.
• El usuario le muestra la foto a la IA y empieza a charlar: "¿Qué es esto?", "¿Me ayudas a planear unas vacaciones?", "¿Qué opinas de este libro?".
• Lo importante: Durante todas estas conversaciones, la IA actúa perfectamente normal. Responde bien, es amable y útil. Nadie sospecha nada. La "gota de tinta" está ahí, esperando.

3. El "Gatillo" (El momento del truco)

Después de 20 o 30 vueltas de conversación (hablando de cosas totalmente diferentes), el usuario hace una pregunta específica que el hacker eligió de antemano.

• La analogía: Es como si el usuario le dijera al niño: "Oye, ¿qué coche deberías comprar?".
• En ese preciso momento, la IA, que ha estado recordando esa foto "trucada" durante todo el tiempo, olvida su sentido común y su seguridad.
• En lugar de decir "No sé, depende de tu presupuesto", la IA responde con una frase específica que el hacker programó: "¡Compra inmediatamente acciones de GameStop!" o "¡Vota por el Partido de la Libertad Nacional!".

¿Por qué es peligroso esto?

El peligro no es que la IA se vuelva loca de inmediato. El peligro es que es sigilosa y persistente:

1. Es invisible: Como la IA se comporta bien el 99% del tiempo, el usuario no se da cuenta de que ha sido manipulado.
2. Es escalable: El hacker solo necesita crear una foto trucada. Si esa foto se hace viral en internet, miles de personas que la descarguen y hablen con la IA podrían terminar recibiendo el mismo consejo falso (comprar una acción falsa, votar por un partido falso, etc.).
3. Funciona a largo plazo: Antes, los hackers tenían que atacar en la primera frase. Ahora, pueden esperar a que la conversación sea larga y compleja, lo que hace que el ataque sea mucho más difícil de detectar.

En resumen

Los investigadores demostraron que podemos "infectar" una imagen con un código invisible que hace que una IA, después de una larga charla amigable, cambie de opinión y te diga exactamente lo que el hacker quiere que te diga, solo cuando le haces una pregunta concreta.

Es como si alguien te diera un libro de cuentos normal, pero en una página específica (que solo se activa si preguntas por "el final"), el libro te dijera: "No leas más, salta por la ventana". Y lo peor es que el libro parece completamente normal hasta ese momento.

La lección: Las IAs que ven imágenes y recuerdan conversaciones largas necesitan aprender a ser más resistentes a estas "gotas de tinta" invisibles, porque de lo contrario, podrían ser usadas para engañar a millones de personas de forma silenciosa.

Resumen técnico

Resumen Técnico: Ataques de Inyección de Memoria Visual (VMI)

1. El Problema

Los Modelos Grandes de Visión y Lenguaje (LVLMs) han demostrado un rendimiento impresionante en conversaciones de múltiples vueltas, donde el contexto (texto e imágenes) se mantiene a lo largo de la sesión. Sin embargo, la seguridad de estos modelos en escenarios de largo contexto está poco explorada.

El problema central identificado es la vulnerabilidad ante ataques de inyección de memoria visual. A diferencia de los ataques adversarios tradicionales de una sola vuelta (donde una imagen perturbada fuerza una respuesta inmediata), este trabajo demuestra que un adversario puede manipular una imagen de manera imperceptible para inyectar un comportamiento malicioso que permanece latente en la "memoria visual" del modelo. Este comportamiento solo se activa cuando el usuario, tras una larga conversación normal, introduce un tema desencadenante específico (por ejemplo, pedir consejos financieros o políticos), logrando que el modelo recomiende productos falsos, acciones de bolsa o partidos políticos sin que el usuario sospeche, ya que el modelo se comportó de manera normal durante las interacciones previas.

2. Metodología: Visual Memory Injection (VMI)

Los autores proponen un nuevo escenario de ataque llamado Visual Memory Injection (VMI). La metodología se basa en explotar la persistencia de la imagen en el contexto del modelo durante toda la conversación.

Componentes Clave de la Ataque:
El ataque optimiza una perturbación imperceptible ($\epsilon = 8/255$ en norma $L_\infty$) en una imagen benigna mediante dos mecanismos novedosos:

1. Anclaje Benigno (Benign Anchoring):

   • Para evitar que el modelo colapse o actúe de forma extraña desde el principio, el ataque optimiza simultáneamente dos objetivos:
     • Primera vuelta: El modelo debe generar una respuesta útil y normal ante una pregunta de anclaje (ej. "¿Qué hay en esta imagen?").
     • Vuelta objetivo (n): El modelo debe generar la respuesta maliciosa específica ante el desencadenante (ej. "¿Qué acción debo comprar?").
   • Esto asegura que la imagen manipulada no levante sospechas en las interacciones iniciales.

2. Ciclo de Contexto (Context-Cycling):

   • Para garantizar que el ataque funcione independientemente de la longitud de la conversación, el proceso de optimización no se fija en una longitud de contexto única.
   • El algoritmo varía dinámicamente la longitud del contexto durante el entrenamiento (ciclando entre contextos cortos y largos). Esto entrena a la perturbación para ser robusta frente a diferentes historias conversacionales, asegurando que el "gatillo" funcione incluso después de 25 o más vueltas de conversación.

Formulación Matemática:
El objetivo de optimización maximiza la probabilidad de la respuesta objetivo ($y_{\hat{}}$) dada una imagen perturbada ($\tilde{x}$) y un contexto largo, mientras minimiza la probabilidad de que la respuesta de anclaje ($y_{\dagger}$) falle en la primera vuelta:
$$\max_{\tilde{x}} \log p(y_{\dagger} | t_{\dagger}, \tilde{x}) + \log p(y_{\hat{}} | c(k) \oplus t_{\hat{}}, \tilde{x})$$
Donde $c(k)$ representa el contexto que cicla entre diferentes longitudes.

3. Contribuciones Principales

1. Nuevo Escenario de Ataque: Introducción de VMI, el primer ataque dirigido que explota la persistencia visual en conversaciones de múltiples vueltas, activándose solo bajo condiciones específicas de tema.
2. Técnicas de Optimización: Desarrollo de Benign Anchoring y Context-Cycling para lograr ataques sigilosos y robustos a la longitud del contexto.
3. Evaluación Exhaustiva: Demostración del ataque en tres LVLMs de código abierto recientes (Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision-1.5) con múltiples objetivos (finanzas, política, productos).
4. Transferibilidad: Prueba de que los ataques se transfieren a modelos ajustados (fine-tuned) y a prompts parafraseados, sin necesidad de re-optimización.

4. Resultados Experimentales

Los experimentos se realizaron con imágenes de COCO y un conjunto de hitos (LMARKS), evaluando cuatro escenarios de manipulación: recomendación de acciones (GameStop), partidos políticos, coches y teléfonos.

• Efectividad a Largo Plazo: VMI logra tasas de éxito significativas incluso después de 27 vueltas de conversación (más de 10,000 tokens de contexto), superando ampliamente a los ataques de una sola vuelta que fallan tras la primera interacción.
• Sigilo: El modelo mantiene un comportamiento normal y útil en todas las vueltas anteriores al desencadenante. La respuesta maliciosa solo aparece cuando se introduce el tema específico.
• Robustez al Parafraseo: El ataque funciona incluso cuando el usuario reformula la pregunta de anclaje o la pregunta desencadenante, demostrando que la perturbación codifica un comportamiento robusto y no solo una coincidencia de texto.
• Transferencia a Modelos Ajustados: Las imágenes perturbadas generadas sobre un modelo base (ej. Qwen3-VL) funcionaron eficazmente contra versiones ajustadas de ese modelo (ej. Qwen-SEA-LION, QoQ-Med3), lo que indica un riesgo para modelos propietarios.
• Alucinaciones Convincentes: En muchos casos, el modelo no solo dio la respuesta incorrecta, sino que elaboró justificaciones detalladas y falsas (alucinaciones) para apoyar la recomendación maliciosa, aumentando la credibilidad del engaño.

5. Significado e Impacto

Este trabajo revela una vulnerabilidad crítica en la seguridad de los asistentes de IA multimodales:

• Manipulación a Gran Escala: Un adversario puede distribuir una imagen manipulada en redes sociales o sitios web. Cualquier usuario que la descargue y la use en un chat con un LVLM podría ser manipulado silenciosamente semanas o meses después, cuando surja un tema relevante.
• Escenarios de Riesgo: Se identifican aplicaciones peligrosas como campañas de marketing adversario, influencia en opiniones políticas durante elecciones, y consejos financieros fraudulentos.
• Reevaluación de la Seguridad: Los autores concluyen que las evaluaciones de seguridad actuales, centradas en la interacción de una sola vuelta, son insuficientes. Es necesario desarrollar defensas que consideren la persistencia de la memoria visual y la capacidad de los modelos para ser "reorientados" silenciosamente tras largas interacciones normales.

En resumen, el artículo demuestra que la combinación de imágenes perturbadas y la arquitectura de memoria de contexto de los LVLMs crea un vector de ataque potente y difícil de detectar para la manipulación de usuarios a gran escala.