Resumo Técnico: Pulling The REINS: Alinhamento de Segurança Sem Treinamento de Modelos de Difusão de Vídeo via Direcionamento de Representação

Declaração do Problema

Modelos de difusão de vídeo (VDMs) de pesos abertos democratizaram a síntese de vídeo de alta fidelidade, mas representam riscos de segurança significativos, sendo capazes de gerar conteúdo fotorrealista que retrata violência, material sexualmente explícito e desinformação. Os mecanismos de defesa existentes sofrem de limitações fundamentais:

1. Filtragem ao nível de prompt: Facilmente contornada via reestruturação adversarial, jailbreaking ou frases indiretas.
2. Filtragem ao nível de saída: Desperdiça recursos computacionais ao gerar conteúdo inseguro apenas para descartá-lo, e permanece explorável via intervenção manual.
3. Ajuste fino (fine-tuning) de segurança: Requer treinamento caro em grandes conjuntos de dados anotados, corre o risco de degradar as capacidades gerais de geração e não é viável para todos os modelos de pesos abertos.

Crucialmente, os métodos atuais não intervêm no processo de geração interna do modelo. O conteúdo inseguro continua a ser codificado e propagado através dos blocos de transformadores e etapas de denoising, independentemente de o resultado final ser filtrado ou não.

Metodologia: REINS

Os autores propõem o REINS (REpresentation-space INference-time Safety steering), um método sem treinamento que alinha os VDMs ao direcionar suas representações de estados ocultos internos para trajetórias de geração seguras durante a inferência.

Hipótese Central

A estrutura relevante para a segurança nos VDMs é codificada linearmente nas ativações dos estados ocultos das camadas de transformadores. Uma única direção no espaço de ativação pode separar trajetórias de geração seguras de inseguras.

Fluxo de Trabalho Técnico

1. Calibração Offline (Sem Treinamento):

   • Geração de Dados: Um pequeno conjunto de vídeos é gerado a partir de prompts criticamente inseguros usando o VDM base.
   • Rotulagem: Um classificador de segurança pré-treinado atribui rótulos binários (seguro/inseguro) a esses vídeos.
   • Extração de Características: Ativações de estados ocultos são registradas em camadas intermediárias de transformadores durante as etapas iniciais de denoising.
   • Descoberta de Direção (SPCA): Os autores empregam Análise de Componentes Principais Supervisionada (SPCA) para encontrar uma direção $\delta$ no espaço de ativação que separe maximamente as gerações seguras das inseguras com base nos rótulos binários. Isso é formulado como a maximização do Critério de Independência de Hilbert-Schmidt (HSIC) entre as representações projetadas e os rótulos de segurança.
   • Seleção de Camada: A camada de intervenção ideal $l^*$ é selecionada equilibrando o "score SPCA" (força da estrutura de segurança linear) contra a capacidade de propagação descendente. Empiricamente, a eficácia atinge o pico em camadas intermediárias ($\sim$50% de profundidade), revelando um compromisso entre disponibilidade de informação e capacidade de propagação.

2. Direcionamento em Tempo de Inferência:

   • Perturbação: Durante a primeira metade do processo de denoising, a direção pré-computada $\delta$ é adicionada aos estados ocultos da camada selecionada $l^*$.
   • Preservação de Norma: Para evitar artefatos visuais (ex: saturação excessiva, desvio de cor) causados por perturbações aditivas puras, o método reescala as ativações perturbadas para preservar a norma $\ell_2$ por canal dos estados ocultos originais.
   • Consistência de CFG: Ao usar o Classifier-Free Guidance (CFG), a perturbação é aplicada identicamente aos ramos condicional e incondicional antes da combinação para manter a coerência visual.
   • Calibração de Força: Um heurístico baseado na razão entre a norma do estado oculto e o alinhamento de cosseno com a direção de direcionamento permite estimar a força de direcionamento ideal $\lambda$ sem uma busca exaustiva de hiperparâmetros.

Principais Contribuições

1. Primeiro Alinhamento de Segurança de Vídeo Sem Treinamento: O REINS é o primeiro método que alinha modelos de difusão de vídeo no tempo de inferência sem modificar pesos, retreinar ou enumerar conceitos.
2. Insight Mecanístico: O artigo revela que, embora a informação de segurança se acumule monotonicamente com a profundidade do transformador, a eficácia do direcionamento é não-monotônica, atingindo o pico em camadas intermediárias. Isso expõe um compromisso fundamental entre disponibilidade de informação e capacidade de propagação descendente.
3. Generalizabilidade: O método é validado em 9 VDMs diversos (incluindo CogVideoX, Wan2.1, Mochi-1, Allegro, LTX-Video) variando de 1.3B a 5B de parâmetros, cobrindo paradigmas de Texto-para-Vídeo (T2V) e Imagem-para-Vídeo (I2V).
4. Robustez: Diferente dos filtros de prompt, o REINS opera em representações internas, tornando-se robusto a prompts adversariais (ex: ataques MMA-Diffusion) que contornam defesas de superfície.

Resultados Experimentais

Avaliado no SafeSora e SafeWatch-Bench, o REINS demonstra melhorias consistentes:

• Taxa de Segurança: Alcançou ganhos médios de taxa de segurança de +0.22 no SafeSora e +0.21 no SafeWatch-Bench em todos os modelos. Em casos extremos (ex: Wan2.2-TI2V-5B), as taxas de segurança melhoraram de níveis próximos de zero para níveis significativos.
• Preservação de Qualidade: Ao contrário do direcionamento no espaço de ruído (que colapsa a qualidade da geração) ou do filtragem de prompt (que bloqueia saídas válidas), o REINS preserva a qualidade visual e de movimento. No SafeWatch-Bench, o direcionamento para o manifold seguro incidentalmente melhorou a qualidade do movimento em casos onde prompts adversariais causavam movimentos incoerentes.
• Comparação: O REINS superou o direcionamento no espaço de ruído (estilo PolyJuice) e a filtragem ao nível de prompt (LlamaPromptGuard-2), particularmente sob condições adversariais onde a filtragem falhou.

Significância e Alegações

O artigo afirma que o REINS representa uma mudança fundamental no alinhamento de segurança, movendo-se de apenas bloquear entradas/saídas para intervir dentro do processo de geração.

• Acessibilidade Linear: Estabelece que a segurança em transformadores de difusão de vídeo é uma propriedade de baixa dimensão e linearmente acessível dos estados ocultos, análoga às descobertas em grandes modelos de linguagem (LLMs).
• Eficiência: O método exige um overhead computacional negligenciável, nenhum update de peso e nenhum dado de treinamento além de um pequeno conjunto de calibração.
• Robustez: Ao visar a representação interna em vez da superfície do prompt, o REINS oferece um mecanismo de defesa estruturalmente resistente a ataques adversariais baseados em prompt.

Os autores observam limitações, especificamente que o método depende da dependência linear (codificação de segurança não-linear exigiria formulações de kernel) e que o framework poderia teoricamente ser invertido para fins maliciosos, embora eles se oponham explicitamente a tal uso e não liberem conjuntos de calibração inseguros.