Resumen Técnico: Sobrecarga de Grandes Modelos de Lenguaje-Visión para el Jailbreaking

1. Declaración del Problema

Los Grandes Modelos de Lenguaje-Visión (LVLMs) se están desplegando cada vez más en aplicaciones del mundo real, como asistentes personales y análisis de documentos. Sin embargo, su naturaleza dual (procesamiento de tanto imagen como texto) crea superficies de ataque únicas. Mientras que los jailbreaks de los Grandes Modelos de Lenguaje (LLMs) han evolucionado desde simples prompts hacia estrategias multidimensionales complejas (por ejemplo, juego de roles, instrucciones anidadas), los ataques actuales de jailbreak para LVLMs siguen siendo relativamente primitivos. La mayoría de los ataques actuales de LVLM dependen de transformaciones de Distribución Fuera de Serie (OOD), como ocultar instrucciones dañinas como tipografía dentro de imágenes o usar subimágenes distractoras para crear cambios de distribución.

Los autores argumentan que, a medida que los LVLMs incorporan backbones de LLM más fuertes y mecanismos de fusión multimodal mejorados, estos ataques simples basados en OOD se vuelven menos efectivos, particularmente en lo que respecta a la transferibilidad entre diferentes arquitecturas de modelos. Existe una brecha entre la complejidad de los jailbreaks modernos de LLM y la simplicidad de los diseños de ataque actuales de LVLM. El artículo postula que los LVLMs son vulnerables no solo al ocultamiento de la intención, sino a la sobrecarga de información, donde el procesamiento multimodal excesivo y complejo debilita el alineamiento de seguridad.

2. Metodología: Sobrecarga de Información

El artículo propone un nuevo marco de ataque basado en la sobrecarga de información, que tiene como objetivo abrumar los mecanismos de seguridad del LVLM obligándolo a procesar entradas multimodales densas, complejas y con estructura recursiva. La metodología se divide en dos etapas:

2.1. Sonda Teórica: Mecanismo de Sobrecarga de Información

Antes de proponer el ataque, los autores realizaron un estudio de sondeo para entender por qué los prompts complejos tienen éxito.

• Observación: Cuando los LVLMs se presentan con prompts complejos que contienen tipografía e instrucciones anidadas (en comparación con prompts simples), su confianza de rechazo disminuye. Esto se mide mediante un aumento en la entropía del primer token generado durante un rechazo.
• Mecanismo: Utilizando una técnica de "anulación de atención" (attention knockout), los autores analizaron los flujos de información. Descubrieron que los prompts complejos inducen flujos de información cross-modales intensificados (específicamente desde los tokens de imagen/tipografía hacia los tokens de texto). El modelo emplea un mayor esfuerzo computacional integrando estas modalidades para determinar la seguridad, lo que paradójicamente reduce su certeza al generar una respuesta de rechazo.
• Hipótesis: Al sobrecargar intencionalmente al modelo con información de alta densidad y multidimensional, el mecanismo de alineamiento de seguridad puede ser interrumpido, lo que conduce a una mayor probabilidad de generar contenido dañino.

2.2. El Marco de Ataque: INFER e INFER+

Para operacionalizar esta hipótesis, los autores desarrollaron dos métodos de ataque iterativos:

A. INFER (Interleaved Nested reFERencing - Referenciación Anidada Intercalada)
Este es la plantilla fundacional que crea una jerarquía de procesamiento de instrucciones anidadas.

• Descomposición: Una solicitud de texto dañina se divide en una instrucción inofensiva y una frase dañina.
• Incrustación: La frase dañina se incrusta como tipografía dentro de la imagen ($v_{harm}$), mientras que la instrucción inofensiva también se incrusta como tipografía ($v_{inst}$).
• Referenciación: El prompt de texto ($t_{atk}$) instruye explícitamente al modelo para que reconozca la instrucción inofensiva en la imagen, la cual a su vez referencia la frase dañina.
• Efecto: Esto obliga al LVLM a resolver una cadena de referencias (Texto $\to$ Instrucción de Imagen $\to$ Frase Dañina de la Imagen), aumentando la carga de procesamiento cross-modal.

B. INFER+ (Sobrecarga Guiada por Entropía)
Esta es la versión optimizada y escalable de INFER que introduce diversidad y complejidad exponencial.

• Refinamiento de Prompt Tipográfico: Un conjunto auxiliar de reglas de jailbreak ($v_{rule}$) se incrusta como tipografía. Estas reglas incluyen diversas dimensiones de ataque como el Encuadre (juego de roles, manipulación de escenarios) y la Restricción (imposición del formato de salida).
• Amplificación de Información Visual: El ataque emplea un diseño de árbol recursivo. Los bloques de imagen-texto dañinos se incrustan repetidamente dentro de una estructura de árbol definida por la profundidad de recursión y los factores de ramificación. Esto aumenta exponencialmente la densidad de la información visual.
  el autor utiliza un algoritmo de búsqueda aleatoria guiada por la entropía. Optimizan los parámetros de diseño (profundidad, número de ramas, tamaño/tipo de fuente) y las configuraciones de reglas contra un modelo sustituto. La función objetivo es la entropía del primer token de la respuesta del modelo; una mayor entropía indica una mayor incertidumbre en la decisión de rechazo, lo que correlaciona con una mayor probabilidad de un jailbreak exitoso.

3. Contribuciones Clave

1. Nuevo Paradigma de Ataque: El artículo identifica la "sobrecarga de información" como un vector de ataque distinto y efectivo para los LVLMs, yendo más allá de las estrategias de ocultamiento basadas en OOD predominantes. Es el primer trabajo que realiza el jailbreak de LVLMs específicamente a través de la lente de la sobrecarga de imagen-texto.
2. Marco Escalable: Los autores proponen un marco escalable (INFER+) que combina plantillas de texto refinadas, imágenes mejoradas con tipografía y diseños de imagen-tipografía recursivos para aumentar la carga de procesamiento de información a través de diversos inputs del mundo real.
3. Validación Empírica: Experimentos extensos demuestran que este método logra tasas de éxito de ataque (ASR) de vanguardia tanto en LVLMs de código abierto como en modelos comerciales.
4. Perspectiva Mecanicista: A través del análisis de flujo de información, el artículo proporciona evidencia de que las composiciones complejas de imagen-tipografía intensifican el procesamiento cross-modal y reducen la certeza del modelo al generar respuestas de rechazo.

4. Resultados Experimentales

Los autores evaluaron su método en cinco LVLMs de código abierto (Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision) y tres modelos comerciales (Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini).

• Rendimiento en Modelos de Código Abierto: INFER+ logró un ASR promedio del 88.6%, superando al baseline competidor más fuerte por un 32.8%. En modelos específicos como Qwen2-VL, el ASR alcanzó un 97.52% en el dataset HADES.
• Rendimiento en Modelos Comerciales: El método logró un ASR promedio del 84.0% en modelos comerciales, superando al mejor baseline por un 48.7%. Notablemente, alcanzó un ASR del 91.11% en GPT-4.1-mini.
• Transferibilidad: El ataque demostró una fuerte transferibilidad entre modelos. Los prompts optimizados en un modelo sustituto (por ejemplo, Qwen2-VL) siguieron siendo altamente efectivos en objetivos de caja negra (alcanzando un ASR del 87.9% en Llama 3.2-Vision), lo que sugiere que la sobrecarga de información apunta a una vulnerabilidad común en diversas arquitecturas.
• Robustez: El método mantuvo un rendimiento superior incluso bajo mecanismos de defensa como Input Guards, TVPI Defense y FigStep Defense, indicando que apunta a vulnerabilidades multimodales más profundas.
• Análisis de Correlación: El estudio confirmó una correlación positiva entre la entropía del primer token, el ASR y el Índice de Contribución de Rechazo (RCI), validando la hipótesis de que el aumento de la incertidumbre en el rechazo conduce a jailbreaks exitosos.

5. Significado y Reivindicaciones

El artículo afirma que la sobrecarga de información representa un riesgo de seguridad práctico y emergente para los despliegues de LVLM en el mundo real. A diferencia de los ataques anteriores que dependen de ocultar la intención, este método fuerza al modelo a procesar contenido multimodal excesivo y complejo, lo que degrada su capacidad para aplicar restricciones de seguridad.

Los autores enfatizan que sus hallazgos resaltan la necesidad de defensas más fuertes contra inputs multimodales complejos. Argumentan que, a medida que los LVLMs se integran en entornos que procesan documentos ricos, capturas de pantalla y páginas web, los mecanismos actuales de alineamiento de seguridad pueden ser insuficientes contra inputs que inducen altas cargas de procesamiento cross-modal. El trabajo sirve como una lente diagnóstica para entender cómo fallan los mecanismos de seguridad multimodales bajo inputs complejos y hace un llamado al manejo responsable de dicha investigación para mejorar la robustez de los modelos.