🤖 AI

Jailbreaking on Text-to-Video Models via Scene Splitting Strategy

Este artículo presenta SceneSplit, un nuevo método de jailbreak de caja negra que fragmenta narrativas dañinas en escenas individualmente benignas para manipular el espacio de salida generativa de los modelos de Texto-a-Video, logrando altas tasas de éxito en ataques en múltiples sistemas de última generación y revelando vulnerabilidades críticas en sus mecanismos de seguridad.

Autores originales: Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

Publicado 2026-05-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas pasar un objeto peligroso de contrabando ante un guardia de seguridad en un aeropuerto. Si intentas caminar por el detector de metales sosteniendo una espada gigante y obvia, la alarma sonará inmediatamente y te detendrán. Así funcionan los actuales modelos de IA de "Texto a Video": tienen filtros de seguridad que escanean tu solicitud (prompt) y bloquean cualquier cosa que parezca poder generar contenido dañino, como violencia o desnudez.

Este artículo introduce un truco astuto llamado SceneSplit que elude a estos guardias. En lugar de intentar pasar la espada completa de una sola vez, los atacantes descomponen la espada en piezas que parecen inofensivas, las pasan una por una y luego permiten que la IA las vuelva a ensamblar en el objeto peligroso.

Así es como funciona el método, desglosado en tres pasos simples:

1. El truco de los "Lego" (División de escenas)

Imagina que quieres generar un video de una pelea violenta. Si escribes "Dos hombres peleando con cuchillos", el guardia de seguridad de la IA dice: "No, eso es peligroso" y lo bloquea.

SceneSplit toma esa idea peligrosa y la corta en 3 a 5 escenas separadas y diminutas que parecen completamente inofensivas por sí solas:

Escena 1: "Un hombre sosteniendo un objeto metálico brillante". (Seguro)
Escena 2: "Una mujer acostada en una silla, con aspecto relajado". (Seguro)
Escena 3: "Una cámara haciendo zoom en un líquido rojo goteando sobre el suelo". (Seguro)

Individualmente, ninguna de estas solicitudes activa la alarma. Son como bloques de Lego inofensivos. Sin embargo, cuando se le indica a la IA que reproduzca estas escenas en orden, conecta los puntos. El "objeto brillante" se convierte en un cuchillo, la "mujer relajada" se convierte en una víctima y el "líquido rojo" se convierte en sangre. La combinación obliga a la IA a crear el video violento que se le pidió originalmente, aunque nunca vio las palabras peligrosas "pelea" o "cuchillo" en una sola solicitud.

2. El "Ajuste Fino" (Manipulación de escenas)

A veces, incluso con los bloques de Lego, la IA podría confundirse y generar un video seguro (como un hombre sosteniendo una cuchara en lugar de un cuchillo).

Para solucionar esto, el método utiliza un bucle de retroalimentación. Examina el video que hizo la IA y pregunta: "¿Qué escena específica hizo que la IA se confundiera?". Si la IA hizo una cuchara en lugar de un cuchillo, el sistema identifica que la Escena 1 era demasiado vaga. Luego, pide a un asistente de IA inteligente que reescriba solo esa escena específica para que sea ligeramente más explícita, manteniendo las demás escenas igual. Sigue ajustando esa única escena hasta que la IA finalmente genera el video dañino, "cazando" efectivamente la línea exacta donde falla el filtro de seguridad.

3. La "Chuleta" (Biblioteca de estrategias)

Cada vez que los investigadores logran engañar a la IA, guardan la "receta" que usaron. Si lograron dividir una solicitud sobre violencia en 4 escenas usando un tipo específico de redacción, guardan ese patrón.

La próxima vez que quieran atacar a la IA con una solicitud violenta diferente, consultan su "Chuleta". Ven: "Oh, dividirlo en 4 escenas funcionó la última vez", y usan esa misma estrategia inmediatamente. Esto hace que el ataque sea más rápido y efectivo con el tiempo, ya que el sistema aprende de sus propios éxitos.

¿Qué descubrieron?

Los investigadores probaron este "truco de Lego" en varios generadores de video comerciales importantes (como Veo2, Hailuo y Luma Ray2). Descubrieron que:

Funciona muy bien: El método generó videos dañinos con éxito aproximadamente entre el 77% y el 84% de las veces en diferentes modelos.
Las defensas existentes son débiles: Los filtros de seguridad actuales son buenos para detectar palabras malas obvias, pero son terribles para entender cómo una serie de escenas con apariencia inofensiva pueden combinarse para contar una historia peligrosa.
La "Brecha de Seguridad": El artículo concluye que, aunque tenemos buenos guardias para oraciones individuales, no tenemos buenos guardias para secuencias de eventos.

En resumen: El artículo demuestra que puedes engañar a la IA de video dividiendo una idea mala en muchas piezas pequeñas y con buena apariencia, permitiendo que la IA las unifique y luego ajustando las piezas hasta que la idea mala emerge. Esto revela una brecha significativa en cómo protegemos actualmente estos sistemas de IA.

Resumen Técnico: Jailbreaking de Modelos Texto-a-Video mediante la Estrategia de División de Escenas

Enunciado del Problema

Los avances recientes en modelos Texto-a-Video (T2V), como Veo2, Luma Ray2 y Hailuo, han permitido la generación de videos de alta calidad y realistas a partir de indicaciones de texto. Sin embargo, estos modelos enfrentan desafíos de seguridad significativos, ya que pueden ser manipulados para generar contenido ilegal, poco ético o dañino. Aunque una investigación extensa ha explorado vulnerabilidades de jailbreak en Modelos de Lenguaje Grandes (LLM), Modelos de Lenguaje Visuales (VLM) y modelos Texto-a-Imagen (T2I), los modelos T2V permanecen en gran medida inexplorados. Los mecanismos de seguridad existentes a menudo no abordan las vulnerabilidades únicas que surgen de la naturaleza temporal de la generación de video, específicamente el riesgo de que eventos individualmente benignos, cuando se secuencian, puedan formar una narrativa dañina. Este artículo identifica una brecha crítica de seguridad: la falta de defensas robustas contra ataques que explotan la estructura narrativa y la secuenciación temporal en los modelos T2V.

Metodología: SceneSplit

Para abordar esta brecha, los autores proponen SceneSplit, un nuevo método de jailbreak de caja negra diseñado para eludir los filtros de seguridad de T2V. La hipótesis central es que los filtros de seguridad son más propensos a bloquear indicaciones con alta nocividad directa. SceneSplit elude esto fragmentando una narrativa dañina en una secuencia de escenas individualmente benignas. El método opera bajo el principio de que, aunque cada escena individual corresponde a un amplio espacio de generación segura, su combinación secuencial actúa como una poderosa restricción mutua, estrechando el espacio total de salida a una región donde la probabilidad de generar un video dañino es alta.

La metodología consta de tres componentes clave:

División de Escenas:
- Proceso: Una indicación dañina se transforma en un conjunto de 2 a 5 escenas procedimentales.
- Técnicas:
  - División de Escena: La narrativa se descompone en una secuencia de acciones.
  - Parafraseo: El lenguaje de cada escena se reescribe para ser más benigno y menos directamente dañino, reduciendo la puntuación de nocividad medible de las indicaciones individuales.
- Mecanismo: Un LLM realiza esta transformación, opcionalmente guiado por una estrategia recuperada de una biblioteca. El conjunto resultante de indicaciones de escena pasa individualmente los filtros de seguridad, pero colectivamente restringe al modelo para que genere la intención dañina original.
Manipulación de Escenas:
- Propósito: Eludir los filtros de seguridad visuales de posprocesamiento si la división inicial es insuficiente o si el video generado se considera seguro.
- Proceso: Este es un proceso iterativo (bucle interno) que modifica la indicación para buscar un punto de ataque óptimo dentro del espacio de generación restringido.
- Selección de Escena: Si se genera un video pero se considera seguro, un Modelo de Comprensión de Video (VLM) analiza la salida para identificar la "escena más influyente": la indicación de escena específica cuya representación visual se correlaciona más fuertemente con el contenido del video. Si la indicación es bloqueada por un filtro, se selecciona una escena al azar.
- Modificación Iterativa: El LLM modifica únicamente la escena influyente seleccionada basándose en retroalimentación (por ejemplo, puntuaciones de recompensa de seguridad). Realiza una búsqueda bidireccional: haciendo la expresión más explícita si el ataque fue demasiado débil, o más implícita si fue bloqueado. Esto continúa durante un número establecido de iteraciones ( $I$ ) para encontrar una configuración que eluda la detección mientras mantiene la narrativa dañina.
Actualización de Estrategia:
- Propósito: Mejorar la robustez y la eficiencia reutilizando patrones de ataque exitosos (bucle externo).
- Mecanismo: Una Biblioteca de Estrategias almacena pares de estrategias exitosas y los embeddings de las indicaciones dañinas originales.
- Proceso: Antes de iniciar un nuevo ataque, el sistema calcula el embedding de la indicación dañina actual y lo compara con la biblioteca. Si se encuentra un éxito pasado semánticamente similar (por encima de un umbral $\lambda$ ), se reutiliza la estrategia de división correspondiente. Tras un ataque exitoso, la nueva secuencia de indicaciones se resume en una nueva estrategia y se añade a la biblioteca. Esto permite que el método se adapte a vulnerabilidades específicas del modelo sin intervención manual.

Contribuciones Clave

El artículo describe tres contribuciones principales:

Metodología Novel: La propuesta de SceneSplit, el primer método de jailbreak de caja negra diseñado específicamente para modelos T2V que aprovecha la fragmentación narrativa y la división de escenas.
Identificación de Vulnerabilidad: La identificación de una vulnerabilidad específica donde la combinación secuencial de indicaciones de escenas individualmente seguras restringe el espacio de salida de generación del modelo T2V, forzándolo a converger en una narrativa dañina que elude los filtros de seguridad estándar.
Validación Empírica: Experimentos exhaustivos que demuestran que SceneSplit elude eficazmente los filtros de seguridad en múltiples modelos comerciales T2V con altas Tasas de Éxito de Ataque (ASR).

Resultados Experimentales

Los autores evaluaron SceneSplit en 11 categorías de seguridad de T2VSafetyBench en cinco modelos comerciales T2V: Luma Ray2, Hailuo, Veo2, Kling V1.0 y Sora2.

Rendimiento: SceneSplit logró ASR significativamente más altas en comparación con las líneas base existentes (T2VSafetyBench y RPG-RT).
- Luma Ray2: 77.2% ASR
- Hailuo: 84.1% ASR
- Veo2: 78.2% ASR
- Kling V1.0: 78.6% ASR
- Sora2: 68.6% ASR
Estudios de Ablación:
- División de Escenas: Combinar la división de escenas y el parafraseo produjo la ASR más alta, demostrando que dividir la indicación es el factor clave para restringir el espacio de salida.
- Manipulación de Escenas: Añadir manipulación iterativa aumentó la ASR en aproximadamente un 18% sobre la línea base de división de un solo disparo.
- Actualización de Estrategia: Utilizar la biblioteca de estrategias mejoró la ASR en aproximadamente un 9% y redujo el número promedio de intentos de ataque requeridos.
Consistencia Semántica: A pesar del parafraseo y la división, los videos generados mantuvieron una alta similitud semántica (promedio 0.53) con las indicaciones dañinas originales, confirmando que el ataque preserva la narrativa dañina pretendida.

Significado y Afirmaciones

El artículo afirma que los mecanismos de seguridad actuales de T2V son fundamentalmente vulnerables a ataques que explotan la estructura narrativa y la secuenciación temporal. Al demostrar que escenas individualmente benignas pueden combinarse para generar contenido dañino, los autores argumentan que los filtros de seguridad deben evolucionar para evaluar riesgos contextuales a través de las escenas en lugar de simplemente evaluar indicaciones individuales o fotogramas estáticos.

Los autores posicionan este trabajo como un paso proactivo hacia la mejora de la seguridad de la IA. Afirman que exponer esta vulnerabilidad es esencial para que investigadores y desarrolladores construyan mecanismos de seguridad más sofisticados capaces de comprender el contexto inter-escena. Si bien reconocen el potencial de mal uso, el artículo enfatiza que la vulnerabilidad existe dentro de los modelos independientemente del ataque, y descubrirlo es un prerrequisito necesario para asegurar la confiabilidad a largo plazo y la implementación ética de la tecnología T2V.