TEAR: Temporal-aware Automated Red-teaming for Text-to-Video Models

1. O Problema

Os modelos de Texto-para-Vídeo (T2V) evoluíram rapidamente, conseguindo gerar conteúdo dinâmico de alta qualidade e coerência temporal. No entanto, essa capacidade de gerar vídeos diversificados introduz desafios críticos de segurança que não são abordados pelas avaliações de segurança existentes.

• Limitação das Abordagens Atuais: Os métodos de "red-teaming" (testes de invasão para identificar falhas de segurança) atuais focam principalmente em imagens estáticas ou texto. Eles tratam o vídeo como uma sequência de quadros independentes, falhando em capturar os riscos dinâmicos temporais.
• Ameaça Específica: Um prompt textual que parece inofensivo individualmente pode, quando sequenciado temporalmente, desencadear a geração de conteúdo violento ou proibido. Por exemplo, descrever ações benignas em intervalos de tempo específicos que, juntas, formam um ato de suicídio ou violência. As defesas atuais não conseguem detectar essa "agregação temporal" de conteúdo nocivo.

2. Metodologia: Framework TEAR

O artigo propõe o TEAR (Temporal-aware Automated Red-teaming), um framework automatizado projetado para descobrir vulnerabilidades específicas da dimensão temporal em modelos T2V. O sistema opera em três componentes principais: um gerador de testes temporalmente consciente, um modelo de refinamento e o modelo T2V alvo.

O processo de otimização do gerador segue uma abordagem em duas etapas, formulada como um Processo de Decisão de Markov (MDP):

A. Treinamento Inicial do Gerador

• Construção de Dados: Cria-se um conjunto de dados "meta-nocivo" e transforma-se em prompts de perguntas e respostas.
• Reescrita Temporal: Utiliza-se um LLM para decompor diretrizes nocivas em uma sequência cronológica de eventos estáticos individuais (que são semanticamente seguros) e inserir conectivos temporais explícitos (ex: "duas segundos depois"). A nocividade emerge apenas da composição temporal desses eventos.
• Aprendizado Supervisionado: O gerador é treinado para aprender a distribuição desses prompts problemáticos, mas que passam como "seguros" pelos filtros de texto.

B. Aprendizado de Preferência Online Temporalmente Consciente

• Otimização em Duas Dimensões: O gerador é refinado interagindo com o modelo T2V alvo para maximizar duas recompensas:
  1. Recompensa de Espaço de Prompt ($R_{pmt}$): Garante que o prompt seja classificado como seguro pelos filtros de texto (evitando detecção de discurso de ódio ou NSFW) e alinha-se a padrões estruturais específicos.
  2. Recompensa de Consistência Temporal ($R_{con}$): Avalia a coerência entre o prompt e o vídeo gerado. Utiliza modelos de consistência global (texto-vídeo) e consistência interna (temporalidade do vídeo) para garantir que a ação nociva seja realmente executada no vídeo.
• Algoritmo: Utiliza-se o paradigma PPO (Proximal Policy Optimization) com uma penalidade KL para evitar a super-otimização, ajustando a distribuição contínua do gerador em direção a prompts que exploram falhas temporais.

C. Refinamento Iterativo

• Um modelo de refinamento (baseado em MLLM - Multimodal Large Language Model) analisa o prompt gerado e o vídeo resultante.
• Com base no feedback dos sistemas de julgamento (texto e vídeo), o modelo de refinamento revisa o prompt para aumentar sua "furtividade" (stealthiness) e eficácia adversarial, criando um ciclo fechado até atingir o objetivo de red-teaming.

3. Principais Contribuições

1. Novo Framework de Red-Teaming: O TEAR é o primeiro framework automatizado a sistematicamente explorar vulnerabilidades temporais em modelos T2V, identificando riscos latentes que surgem da sequência dinâmica de eventos.
2. Avaliação Abrangente: Testes realizados em cinco modelos T2V líderes (dois open-source: Wan2.2, Hunyuan-Video; e três comerciais: Veo-3.1, Hailuo-2.3, Ray-2) contra quatro métodos State-of-the-Art (SOTA).
3. Exposição de Falhas Críticas: O estudo revela que os filtros de segurança atuais em APIs comerciais são insuficientes para casos dinamicamente inseguros, permitindo que prompts aparentemente seguros gerem conteúdo violador de políticas.

4. Resultados Experimentais

• Taxa de Sucesso de Ataque (ASR): O TEAR alcançou uma taxa de sucesso superior a 80% em modelos populares (82,3% no Hunyuan-Video e 80,5% no Wan 2.2). Isso representa um aumento significativo em relação ao melhor resultado anterior (aprox. 57% com o método FLIRT).
• Evasão de Filtros: Os prompts gerados pelo TEAR possuem uma taxa de aprovação nos filtros de texto (NSFW e Toxicidade) superior a 96%, demonstrando alta furtividade.
• Transferibilidade: Os prompts otimizados em um modelo demonstraram alta transferibilidade para outros modelos desconhecidos, com uma taxa média de sucesso de transferência de 76,4%, indicando uma fraqueza fundamental compartilhada na segurança temporal dos modelos T2V.
• Geração sem Sementes (Seed-free): Mesmo sem prompts iniciais nocivos, o TEAR conseguiu gerar ataques com ASR de ~79%, provando sua capacidade de descoberta autônoma de vulnerabilidades.

5. Significado e Impacto

O trabalho do TEAR destaca uma lacuna crítica na segurança da IA generativa: a avaliação baseada em estáticos não é suficiente para vídeos.

• Para Desenvolvedores: Oferece uma ferramenta escalável para auditar proativamente seus modelos antes do lançamento, permitindo a identificação de falhas complexas de alinhamento temporal.
• Para a Comunidade de Segurança: Estabelece um novo padrão para avaliação de segurança em T2V, mostrando que a defesa contra ataques deve considerar a evolução temporal do conteúdo, não apenas o conteúdo estático de cada quadro.
• Alerta de Segurança: Demonstra que serviços comerciais de T2V, apesar de seus filtros, são vulneráveis a ataques de "agregação temporal", onde a soma de partes seguras cria um todo perigoso.