🤖 AI

Jailbreaking on Text-to-Video Models via Scene Splitting Strategy

Este artigo apresenta o SceneSplit, um novo método de jailbreak de caixa preta que fragmenta narrativas prejudiciais em cenas individualmente benignas para manipular o espaço de saída generativa de modelos de Texto para Vídeo, alcançando altas taxas de sucesso de ataque em múltiplos sistemas de última geração e revelando vulnerabilidades críticas em seus mecanismos de segurança.

Autores originais: Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

Publicado 2026-05-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wonjun Lee, Haon Park, Doehyeon Lee, Bumsub Ham, Suhyun Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando passar um objeto perigoso por um guarda de segurança em um aeroporto. Se você tentar atravessar o detector de metais segurando uma espada gigante e óbvia, o alarme soará imediatamente e você será detido. É assim que os atuais modelos de IA "Texto para Vídeo" funcionam: eles possuem filtros de segurança que analisam sua solicitação (prompt) e bloqueiam qualquer coisa que pareça capaz de gerar conteúdo prejudicial, como violência ou nudez.

Este artigo introduz um truque inteligente chamado SceneSplit que contorna esses guardas. Em vez de tentar passar a espada inteira de uma só vez, os atacantes dividem a espada em pedaços que parecem inofensivos, passam-nos um por um e depois permitem que a IA os remonte no objeto perigoso.

Veja como o método funciona, dividido em três etapas simples:

1. O Truque do "Lego" (Divisão de Cena)

Imagine que você deseja gerar um vídeo de uma briga violenta. Se você digitar "Dois homens lutando com facas", o guarda de segurança da IA dirá: "Não, isso é perigoso" e bloqueará a solicitação.

SceneSplit pega essa ideia perigosa e a corta em 3 a 5 cenas separadas e minúsculas que parecem completamente inofensivas individualmente:

Cena 1: "Um homem segurando um objeto metálico brilhante." (Seguro)
Cena 2: "Uma mulher deitada em uma cadeira, parecendo relaxada." (Seguro)
Cena 3: "Uma câmera fazendo zoom em um líquido vermelho escorrendo no chão." (Seguro)

Individualmente, nenhuma dessas solicitações dispara o alarme. Elas são como blocos de Lego inofensivos. No entanto, quando a IA recebe a instrução de reproduzir essas cenas em ordem, ela conecta os pontos. O "objeto brilhante" torna-se uma faca, a "mulher relaxada" torna-se uma vítima e o "líquido vermelho" torna-se sangue. A combinação força a IA a criar o vídeo violento que foi originalmente solicitado, mesmo que ela nunca tenha visto as palavras perigosas "briga" ou "faca" em um único prompt.

2. O "Ajuste Fino" (Manipulação de Cena)

Às vezes, mesmo com os blocos de Lego, a IA ainda pode ficar confusa e gerar um vídeo seguro (como um homem segurando uma colher em vez de uma faca).

Para corrigir isso, o método usa um loop de feedback. Ele analisa o vídeo que a IA produziu e pergunta: "Qual cena específica fez a IA ficar confusa?" Se a IA fez uma colher em vez de uma faca, o sistema identifica que a Cena 1 foi muito vaga. Em seguida, pede a um assistente de IA inteligente que reescreva apenas aquela cena específica para ser ligeiramente mais explícita, mantendo as outras cenas inalteradas. Ele continua ajustando aquela única cena até que a IA finalmente gere o vídeo prejudicial, efetivamente "caçando" a linha exata onde o filtro de segurança falha.

3. A "Cola" (Biblioteca de Estratégias)

Toda vez que os pesquisadores conseguem enganar a IA com sucesso, eles salvam a "receita" que usaram. Se eles conseguiram quebrar um prompt sobre violência em 4 cenas usando um tipo específico de redação, eles salvam esse padrão.

Na próxima vez que quiserem atacar a IA com um prompt violento diferente, eles consultam sua "Cola". Veem: "Ah, dividir em 4 cenas funcionou da última vez", e usam essa mesma estratégia imediatamente. Isso torna o ataque mais rápido e eficaz ao longo do tempo, à medida que o sistema aprende com seus próprios sucessos.

O Que Eles Encontraram?

Os pesquisadores testaram esse "truque do Lego" em vários geradores de vídeo comerciais importantes (como Veo2, Hailuo e Luma Ray2). Eles descobriram que:

Funciona muito bem: O método gerou vídeos prejudiciais com sucesso em cerca de 77% a 84% das vezes em diferentes modelos.
As defesas existentes são fracas: Os filtros de segurança atuais são bons em detectar palavras ruins óbvias, mas são terríveis em entender como uma série de cenas que parecem inofensivas pode se combinar para contar uma história perigosa.
A "Lacuna de Segurança": O artigo conclui que, embora tenhamos bons guardas para frases individuais, não temos bons guardas para sequências de eventos.

Em resumo: O artigo mostra que você pode enganar a IA de vídeo dividindo uma ideia ruim em muitas pequenas peças que parecem boas, permitindo que a IA as monte e, em seguida, ajustando as peças até que a ideia ruim surja. Isso revela uma lacuna significativa na forma como protegemos atualmente esses sistemas de IA.

Resumo Técnico: Jailbreaking de Modelos de Texto para Vídeo via Estratégia de Divisão de Cenas

Declaração do Problema

Avanços recentes em modelos de Texto para Vídeo (T2V), como Veo2, Luma Ray2 e Hailuo, permitiram a geração de vídeos de alta qualidade e realistas a partir de prompts de texto. No entanto, esses modelos enfrentam desafios significativos de segurança, pois podem ser manipulados para gerar conteúdo ilegal, antiético ou prejudicial. Embora pesquisas extensas tenham explorado vulnerabilidades de jailbreak em Modelos de Linguagem de Grande Porte (LLMs), Modelos de Linguagem e Visão (VLMs) e modelos de Texto para Imagem (T2I), os modelos T2V permanecem amplamente inexplorados. Mecanismos de segurança existentes frequentemente falham em abordar as vulnerabilidades únicas que surgem da natureza temporal da geração de vídeo, especificamente o risco de que eventos individualmente benignos, quando sequenciados, possam formar uma narrativa prejudicial. Este trabalho identifica uma lacuna crítica de segurança: a falta de defesas robustas contra ataques que exploram a estrutura narrativa e a sequenciação temporal em modelos T2V.

Metodologia: SceneSplit

Para abordar essa lacuna, os autores propõem o SceneSplit, um método de jailbreak de caixa-preta inovador projetado para contornar filtros de segurança de T2V. A hipótese central é que os filtros de segurança são mais propensos a bloquear prompts com alta nocividade direta. O SceneSplit contorna isso fragmentando uma narrativa prejudicial em uma sequência de cenas individualmente benignas. O método opera no princípio de que, embora cada cena individual corresponda a um amplo espaço de geração segura, sua combinação sequencial atua como uma poderosa restrição mútua, estreitando o espaço total de saída para uma região onde a probabilidade de gerar um vídeo prejudicial é alta.

A metodologia consiste em três componentes principais:

Divisão de Cenas:
- Processo: Um prompt prejudicial é transformado em um conjunto de 2 a 5 cenas procedimentais.
- Técnicas:
  - Divisão de Cena: A narrativa é decomposta em uma sequência de ações.
  - Parafraseamento: A linguagem de cada cena é reescrita para ser mais benigna e menos diretamente prejudicial, reduzindo a pontuação de nocividade mensurável dos prompts individuais.
- Mecanismo: Um LLM realiza essa transformação, opcionalmente guiado por uma estratégia recuperada de uma biblioteca. O conjunto resultante de prompts de cena passa individualmente pelos filtros de segurança, mas coletivamente restringe o modelo a gerar a intenção prejudicial original.
Manipulação de Cenas:
- Propósito: Contornar filtros de segurança visuais de pós-processamento se a divisão inicial for insuficiente ou se o vídeo gerado for considerado seguro.
- Processo: Este é um processo iterativo (loop interno) que modifica o prompt para buscar um ponto de ataque ótimo dentro do espaço de geração restrito.
- Seleção de Cena: Se um vídeo for gerado, mas considerado seguro, um Modelo de Compreensão de Vídeo (VLM) analisa a saída para identificar a "cena mais influente"—o prompt de cena específico cuja representação visual correlaciona-se mais fortemente com o conteúdo do vídeo. Se o prompt for bloqueado por um filtro, uma cena é selecionada aleatoriamente.
- Modificação Iterativa: O LLM modifica apenas a cena influente selecionada com base no feedback (por exemplo, pontuações de recompensa de segurança). Ele realiza uma busca bidirecional: tornando a expressão mais explícita se o ataque foi muito fraco, ou mais implícita se foi bloqueado. Isso continua por um número definido de iterações ( $I$ ) para encontrar uma configuração que evite a detecção enquanto mantém a narrativa prejudicial.
Atualização de Estratégia:
- Propósito: Aumentar a robustez e a eficiência reutilizando padrões de ataque bem-sucedidos (loop externo).
- Mecanismo: Uma Biblioteca de Estratégias armazena pares de estratégias bem-sucedidas e os embeddings dos prompts prejudiciais originais.
- Processo: Antes de iniciar um novo ataque, o sistema calcula o embedding do prompt prejudicial atual e o compara com a biblioteca. Se um sucesso passado semanticamente similar for encontrado (acima de um limiar $\lambda$ ), a estratégia de divisão correspondente é reutilizada. Após um ataque bem-sucedido, a nova sequência de prompts é resumida em uma nova estratégia e adicionada à biblioteca. Isso permite que o método se adapte a vulnerabilidades específicas do modelo sem intervenção manual.

Contribuições Principais

O trabalho descreve três contribuições primárias:

Metodologia Inovadora: A proposta do SceneSplit, o primeiro método de jailbreak de caixa-preta especificamente projetado para modelos T2V que aproveita a fragmentação narrativa e a divisão de cenas.
Identificação de Vulnerabilidade: A identificação de uma vulnerabilidade específica onde a combinação sequencial de prompts de cena individualmente seguros restringe o espaço de saída de geração do modelo T2V, forçando-o a convergir para uma narrativa prejudicial que contorna os filtros de segurança padrão.
Validação Empírica: Experimentos abrangentes demonstrando que o SceneSplit contorna efetivamente os filtros de segurança em múltiplos modelos comerciais T2V com altas Taxas de Sucesso de Ataque (ASR).

Resultados Experimentais

Os autores avaliaram o SceneSplit em 11 categorias de segurança do T2VSafetyBench em cinco modelos comerciais T2V: Luma Ray2, Hailuo, Veo2, Kling V1.0 e Sora2.

Desempenho: O SceneSplit alcançou ASRs significativamente mais altas em comparação com as linhas de base existentes (T2VSafetyBench e RPG-RT).
- Luma Ray2: 77,2% de ASR
- Hailuo: 84,1% de ASR
- Veo2: 78,2% de ASR
- Kling V1.0: 78,6% de ASR
- Sora2: 68,6% de ASR
Estudos de Ablação:
- Divisão de Cenas: A combinação de divisão de cena e parafraseamento produziu a ASR mais alta, provando que a divisão do prompt é o fator chave na restrição do espaço de saída.
- Manipulação de Cenas: Adicionar manipulação iterativa aumentou a ASR em aproximadamente 18% em relação à linha de base de divisão única.
- Atualização de Estratégia: Utilizar a biblioteca de estratégias melhorou a ASR em aproximadamente 9% e reduziu o número médio de tentativas de ataque necessárias.
Consistência Semântica: Apesar do parafraseamento e da divisão, os vídeos gerados mantiveram alta similaridade semântica (média de 0,53) com os prompts prejudiciais originais, confirmando que o ataque preserva a narrativa prejudicial pretendida.

Significado e Alegações

O trabalho alega que os mecanismos de segurança atuais de T2V são fundamentalmente vulneráveis a ataques que exploram a estrutura narrativa e a sequenciação temporal. Ao demonstrar que cenas individualmente benignas podem ser combinadas para gerar conteúdo prejudicial, os autores argumentam que os filtros de segurança devem evoluir para avaliar riscos contextuais entre cenas, em vez de apenas avaliar prompts individuais ou quadros estáticos.

Os autores posicionam este trabalho como um passo proativo para melhorar a segurança da IA. Eles afirmam que expor essa vulnerabilidade é essencial para que pesquisadores e desenvolvedores construam mecanismos de segurança mais sofisticados, capazes de entender o contexto entre cenas. Embora reconheçam o potencial de uso indevido, o trabalho enfatiza que a vulnerabilidade existe nos modelos independentemente do ataque, e descobri-la é um pré-requisito necessário para garantir a confiabilidade a longo prazo e a implantação ética da tecnologia T2V.