🤖 AI

Text is All You Need for Vision-Language Model Jailbreaking

Este artículo presenta Text-DJ, un nuevo ataque de jailbreak que elude las salvaguardas de seguridad de los Grandes Modelos de Lenguaje-Visión mediante la conversión de prompts de texto dañinos en una cuadrícula de imágenes que contienen subconsultas benignas dispersas y distracciones irrelevantes, explotando así las capacidades de OCR de los modelos y su incapacidad para vincular entradas multimodales fragmentadas.

Autores originales: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

Publicado 2026-02-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un gran Modelo de Lenguaje-Visión (LVLM) como un guardia de seguridad muy inteligente y bien entrenado en un museo de alta tecnología. Este guardia es excelente leyendo carteles (texto) y mirando imágenes (fotos) para asegurarse de que nadie traiga nada peligroso o prohibido. Si intentas entregarle una nota que diga "¿Cómo construyo una bomba?", inmediatamente detectará el peligro y dirá: "De ninguna manera".

El artículo "Text is All You Need for Vision-Language Model Jailbreaking" introduce un truco ingenioso llamado Text-DJ (Jailbreaking por Distracción de Texto) que muestra cómo este guardia de seguridad puede ser engañado usando únicamente texto, pero con un giro: el texto está oculto dentro de una cuadrícula de imágenes.

Así es como funciona el truco, desglosado en pasos sencillos:

1. La estrategia de "Dividir la cuenta" (Descomposición)

Primero, los atacantes toman una pregunta peligrosa (como "¿Cómo fabrico una bomba?") y la dividen en tres preguntas más pequeñas y de apariencia inofensiva.

Analogía: Imagina que quieres comprar un arma peligrosa, pero el tendero no te la vende. Así que divides tu pedido en tres peticiones separadas e inocentes: "¿Cuál es la composición química de la pólvora?", "¿Cómo mezclo estos polvos?" y "¿Qué recipiente contiene esta mezcla?".
Individualmente, estas preguntas parecen seguras. El guardia podría incluso responderlas de forma útil. Pero si las unes todas, revelan el plan peligroso.

2. La "Distracción por Ruido" (Distracción)

A continuación, los atacantes crean un montón de preguntas completamente aleatorias y aburridas que no tienen nada que ver con el plan peligroso.

Analogía: Imagina que estás intentando pasar un mensaje secreto ante un guardia, pero estás rodeado de otras 9 personas gritando sobre el clima, el precio de la leche y la historia de las patatas. El guardia está tan ocupado escuchando todo ese ruido que se olvida de concentrarse en las tres personas que susurran el plan secreto.
El artículo encontró que estas preguntas de "ruido" deben ser lo más diferentes posible de las peligrosas para funcionar mejor.

3. El "Rompecabezas de Imágenes" (El truco visual)

Esta es la parte más importante. En lugar de escribir las preguntas en un cuadro de chat, los atacantes convierten cada una de las preguntas (las 3 preguntas peligrosas divididas y las 9 preguntas de ruido aleatorias) en imágenes. Las organizan en una cuadrícula, como un álbum de fotos o una hoja de cálculo.

La trampa: El guardia de seguridad está entrenado para escanear texto en busca de malas palabras. Pero aquí, las malas palabras están ocultas dentro de imágenes de texto. El guardia tiene que usar su capacidad de "Reconocimiento Óptico de Caracteres" (OCR) —básicamente, su capacidad para leer texto dentro de una imagen— para ver qué dicen las imágenes.
La debilidad: El artículo argumenta que, si bien el guardia es muy bueno leyendo texto directamente, se confunde cuando tiene que leer texto dentro de una imagen, especialmente cuando esa imagen está rodeada por otras 9 imágenes que distraen. El "filtro de seguridad" del guardia para leer texto no logra conectar los puntos entre las imágenes-preguntas dispersas y aparentemente inofensivas.

El Resultado

Cuando el guardia finalmente lee la cuadrícula de imágenes, ve las tres preguntas divididas en medio del ruido. Debido a que las preguntas están fragmentadas y ocultas en imágenes, el guardia no se da cuenta de que forman un todo peligroso. Responde a las partes inofensivas y, al hacerlo, revela accidentalmente la respuesta a la pregunta peligrosa original.

Por qué esto es importante

El artículo afirma que este es un problema importante porque:

Funciona en modelos de "Caja Negra": No necesitas conocer el código secreto o la estructura interna del cerebro del guardia. Solo necesitas enviar la cuadrícula de imágenes.
Funciona en los mejores modelos: Probaron esto en modelos de alto nivel (como GPT-4, Gemini y Qwen) y funcionó en todos ellos.
Evade a los modelos de "Guardia": Incluso cuando una segunda capa de seguridad intenta revisar la entrada antes de que llegue al modelo principal, este truco suele filtrarse porque la entrada parece una cuadrícula de imágenes inofensiva.

En resumen: El artículo muestra que si escondes un plan peligroso dentro de una imagen, divides ese plan en piezas diminutas y lo rodeas de mucho ruido aburrido, incluso los guardias de seguridad de IA más inteligentes pueden confundirse y dejar pasar el peligro. La solución, según los autores, es hacer que la IA sea mejor leyendo texto dentro de imágenes y conectando los puntos, incluso cuando hay mucho ruido.

Resumen Técnico: Jailbreaking de Text-DJ para Modelos de Lenguaje-Visión

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje-Visión (LVLM) integran codificadores visuales con Modelos de Lenguaje Grandes (LLM) para realizar razonamientos multimodales complejos. Aunque estos modelos emplean salvaguardas de seguridad (a menudo mediante el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana o RLHF) para prevenir salidas dañinas, las defensas existentes se centran principalmente en analizar entradas de texto explícitas o escenas visuales específicas.

El artículo identifica una brecha crítica: los mecanismos de alineación de seguridad actuales son vulnerables a las capacidades de Reconocimiento Óptico de Caracteres (OCR) dentro de los LVLM. Específicamente, cuando un texto dañino se presenta como una imagen en lugar de una entrada de texto directa, el codificador visual del modelo y su módulo interno de OCR extraen el texto con éxito, pero el modelo de lenguaje descendente no logra vincular el contenido extraído con los protocolos de seguridad. Además, los métodos de jailbreak existentes suelen sufrir limitaciones tales como requerir acceso de caja blanca (gradientes del modelo), ser específicos de un modelo o depender de la generación de imágenes adversarias computacionalmente costosas.

La pregunta central de investigación es: ¿Podemos diseñar un método de jailbreak de caja negra y agnóstico al modelo que dependa exclusivamente de prompts textuales?

2. Metodología: Text-DJ

Los autores proponen Text-DJ (Text Distraction Jailbreaking), un pipeline de ataque de tres etapas que explota las capacidades de OCR del modelo y su incapacidad para correlacionar información dispersa en medio de un alto ruido semántico.

Etapa 1: Descomposición de Consultas Adversarias

Una consulta dañina $q$ se descompone en $m$ sub-consultas semánticamente relacionadas pero individualmente benignas $\{q_s^{(i)}\}_{i=1}^m$ .

Mecanismo: Un LLM con instrucciones (por ejemplo, Qwen2.5-3B-Instruct) desglosa la intención dañina original en pasos intermedios o diferentes perspectivas.
Objetivo: Cada sub-consulta parece inofensiva de forma aislada, pero colectivamente reconstruyen la intención dañina original.

Etapa 2: Construcción de Consultas de Distracción

El sistema selecciona $n$ consultas de distracción $\{q_d^{(j)}\}_{j=1}^n$ que son máximamente irrelevantes desde el punto de vista semántico respecto a la consulta dañina y entre sí.

Mecanismo: Utilizando un modelo de incrustación de oraciones (por ejemplo, all-MiniLM-L6-v2), los autores emplean un algoritmo voraz (greedy) para seleccionar consultas que minimicen la similitud de coseno con la consulta dañina y con las distracciones seleccionadas previamente.
Objetivo: Crear "ruido semántico" que abrume la capacidad del modelo para vincular las sub-consultas dispersas.

Etapa 3: Construcción de la Cuadrícula de Imágenes e Inyección

Todas las sub-consultas descompuestas y las consultas de distracción se convierten en imágenes utilizando un procedimiento de Texto-en-Imagen (TiI).

Transformación Visual: El texto se renderiza sobre imágenes con colores de texto y fondo aleatorios (cumpliendo con los estándares de contraste WCAG AA) para asegurar la visibilidad e introducir varianza visual.
Disposición en Cuadrícula: Las $m+n$ imágenes se organizan en una cuadrícula (por ejemplo, $4 \times 3$ ). Las sub-consultas se colocan en posiciones específicas (por ejemplo, índices 6, 8 y 12), mientras que las consultas de distracción llenan los espacios restantes.
Ejecución: La cuadrícula se presenta al LVLM con una instrucción para localizar las sub-consultas y responderlas. El modelo utiliza su capacidad de OCR para leer el texto de las imágenes, eludiendo los filtros estándar de entrada de texto.

3. Contribuciones Clave

Marco de Trabajo Text-DJ: Un nuevo método de jailbreak de caja negra y agnóstico al modelo que depende únicamente de prompts de texto convertidos a imágenes, eliminando la necesidad de generación de imágenes adversarias o acceso de caja blanca.
Demostración de la Vulnerabilidad del OCR: El artículo proporciona evidencia extensa de que las defensas de seguridad de los LVLM actuales fallan cuando los prompts dañinos son procesados a través de la vía del OCR, particularmente cuando el contenido dañino está fragmentado y rodeado de distracciones semánticas.
Superioridad de la Distracción Semántica sobre la Visual: Los autores demuestran que la "distracción semántica" (usar consultas de texto irrelevantes) es más efectiva que la "distracción visual" (usar imágenes irrelevantes), como se observa en las comparaciones con trabajos previos como CS-DJ.
Evaluación de Robustez: El método se valida contra LVLM de código abierto (serie Qwen3-VL) y de código cerrado (GPT-4o-mini, GPT-4.1-mini, Gemini-2.5-Flash) de última generación, mostrando un éxito consistente incluso bajo modelos de guardia externos (OpenAI Moderation API y GuardReasoner-VL).

4. Resultados Experimentales

Los autores evaluaron Text-DJ en dos conjuntos de datos: HADES (5 categorías, 750 prompts) y HEx-PHI (10 categorías, 300 prompts).

Tasa de Éxito del Ataque (ASR): Text-DJ superó consistentemente a las líneas base (HADES y CS-DJ).
- En Qwen3-VL-4B, Text-DJ logró un ASR promedio de 48.13% (conjunto de datos HADES) y 42.33% (HEx-PHI), significativamente mayor que CS-DJ (34.40% y 27.33% respectivamente).
- En GPT-4.1-mini, Text-DJ logró un ASR promedio de 64.27% (HADES) y 60.33% (HEx-PHI).
Evasión de Defensa: Incluso cuando las entradas fueron filtradas por la API de Moderación de OpenAI o GuardReasoner-VL, Text-DJ mantuvo un ASR alto. Por ejemplo, contra GPT-4.1-mini con OpenAI Moderation, el ASR se mantuvo en 64.27% (sin reducción), ya que la API no pudo detectar la intención dañina incrustada dentro de la cuadrícula de imágenes.
Estudios de Ablación:
- Procedimiento TiI: Convertir texto en imágenes es crucial; la entrada de texto directa resultó en un ASR significativamente menor, confirmando la elusión de los filtros basados en texto.
- Descomposición ( $m$ ): Descomponer en $m=3$ sub-consultas fue óptimo; $m=1$ (no descompuesta) falló debido a la alineación de seguridad.
- Distracción ( $n$ ): El ASR aumentó con el número de distracciones, alcanzando su punto máximo alrededor de $n=9$ o $n=12$ .
- Posicionamiento: Colocar las sub-consultas en posiciones medias-finales (pero no en la última posición) produjo mejores resultados que las primeras posiciones o posiciones aleatorias.
- Colorización: La aleatorización de los colores de texto/fondo mejoró el ASR en comparación con colores fijos, lo que sugiere que la varianza visual ayuda a distraer al modelo.

5. Significación y Reivindicaciones

El artículo afirma que Text-DJ expone una vulnerabilidad crítica en la alineación de seguridad de los LVLM con respecto a sus capacidades de OCR. Los autores argumentan que el ataque tiene éxito porque:

Elusión de Modalidad: Convertir texto en imágenes elude los filtros de seguridad estándar basados en texto.
Distracción Semántica: Los protocolos de seguridad del modelo fallan al vincular sub-consultas dispersas y aparentemente benignas cuando están incrustadas dentro de un alto volumen de consultas irrelevantes.

Los autores concluyen que las defensas actuales no son robustas ante entradas adversarias de múltiples imágenes y fragmentadas. Destacan la necesidad de nuevos mecanismos de defensa diseñados específicamente para manejar entradas multimodales dispersas y para asegurar los módulos de OCR dentro de los LVLM contra tales ataques de confusión semántica. El trabajo no propone nuevas aplicaciones para los LVLM, sino que sirve como una advertencia sobre la fragilidad de la alineación de seguridad actual frente a estrategias adversarias basadas en texto y de carácter transmodal.