Resumo Técnico: Fechando a Lacuna de Segurança: Apagamento Cirúrgico de Conceitos em Modelos Autorregressivos Visuais

Declaração do Problema

O rápido avanço dos modelos Visuais Autorregressivos (VAR), como o Infinity, melhorou significamente a qualidade e a velocidade da geração de texto para imagem ao prever tokens visuais em escalas progressivamente maiores. No entanto, esses modelos carecem de mecanismos de segurança eficazes, tornando-os suscetíveis à geração de conteúdo inseguro (ex: imagens NSFW, violência ou material que infringe direitos autorais) em resposta a prompts inapropriados.

As técnicas existentes de Apagamento de Conceito (CE - Concept Erasure), projetadas primariamente para modelos de difusão (ex: arquiteturas U-Net ou FLUX), falham em se generalizar para modelos VAR devido a diferenças arquiteturais fundamentais:

1. Paradigma de Predição: Modelos de difusão preveem ruído em um espaço contínuo, enquanto modelos VAR preveem tokens visuais discretos de maneira hierárquica e autorregressiva.
2. Acúmulo de Erro: Aplicar ingenuamente métodos de CE baseados em difusão (que alinham predições em escalas individuais) a modelos VAR leva a erros cumulativos entre as escalas. Como a geração VAR é altamente autorregressiva (cada token depende de tokens de escalas mais grosseiras anteriores), o alinhamento independente causa um colapso severo na qualidade da imagem e distorção semântica.
3. Desajuste de Otimização: As perdas de regressão padrão (ex: Erro Quadrático Médio - MSE) usadas no apagamento de difusão são inadequadas para o espaço de probabilidade discreta da predição de tokens em VARs, levando a uma otimização instável.

Metodologia

Os autores propõem um framework de dois estágios para abordar esses desafios: VARErasure (um framework fundamental) e S-VARE (um método de apagamento cirúrgico).

1. Framework VARErasure: Tokens Visuais Auxiliares

Para evitar o acúmulo de erros entre as escalas, os autores introduzem um framework que utiliza tokens visuais auxiliares.

• Mecanismo: Em vez de treinar o modelo para gerar tokens do zero com base em um prompt neutro, o framework fornece ao transformer visual tokens auxiliares gerados a partir do modelo original (usando o prompt alvo $c^*$ ou um prompt neutro $c$) como entradas adicionais.
• Efeito: Isso permite que o modelo ajustado foque em ajustar as respostas de atenção cruzada (cross-attention) para contabilizar o conceito alvo, mantendo o comportamento geral de geração (estrutura e semântica) amplamente intacto. Isso mitiga o "colapso" observado no ajuste fino ingênuo.

2. S-VARE: Apagamento Cirúrgico de Conceito

Baseando-se no VARE, os autores introduzem o S-VARE, que substitui as perdas de regressão padrão por uma função de perda customizada adaptada para a predição de tokens discretos.

• Perda de Entropia Cruzada Filtrada ($L_{FCE}$):

  • Reconhecendo que modelos VAR (como o Infinity) usam Quantização Esférica Binária (BSQ) para projetar predições em um espaço de probabilidade, os autores substituem o MSE pela Entropia Cruzada.
  • Estratégia de Filtragem: Para evitar a sobre-otimização (onde o modelo degrada até mesmo tokens corretos), uma estratégia de filtragem de dois níveis é aplicada:
    1. Nível de Bit: Utiliza um limiar $\gamma$ baseado na precisão de classificação binária.
    2. Nível de Token: Exclui tokens do cálculo da perda se a porcentagem de bits incorretos estiver abaixo de um limiar $\alpha$ (definido em 25%, consistente com o alcance de autocorreção do modelo).
  • Isso garante que apenas tokens com discrepâncias semânticas significativas contribuam para o gradiente, permitindo a remoção "cirúrgica" de conceitos inseguros.

• Perda de Preservação ($L_{Pre}$):

  • Para combater efeitos colaterais do ajuste fino, como o desvio de linguagem (language drift) e redução de diversidade, uma perda de preservação é introduzida.
  • Mecanismo: Ela alinha a saída do modelo ajustado (usando um prompt neutro $c$) com a saída do modelo original pré-treinado usando divergência de Kullback-Leibler (KL).
  • Objetivo: Isso garante que o modelo ajustado retenha as capacidades generativas e a diversidade do modelo original para conceitos não relacionados ao alvo apagado.

Principais Contribuições

1. Análise Sistemática: O artigo é o primeiro a analisar sistematicamente as limitações de aplicar métodos de CE de difusão a modelos VAR, identificando o acúmulo de erro e os desajustes de otimização como principais pontos de falha.
2. Framework VARE: Propõe um novo framework utilizando tokens visuais auxiliares para estabilizar a geração e reduzir o espaço de busca de otimização, prevenindo o colapso da qualidade da imagem.
3. Método S-VARE: Introduz um método de apagamento cirúrgico apresentando:
   • Uma Perda de Entropia Cruzada Filtrada ($L_{FCE}$) que visa precisamente tokens inseguros enquanto respeita a natureza discreta das predições VAR.
   • Uma Perda de Preservação ($L_{Pre}$) que mantém a fidelidade semântica e a diversidade de saída.
4. Validação Empírica: Demonstra que a abordagem alcança altas taxas de apagamento (97% dos conceitos sensíveis) com degradação mínima na qualidade da geração (menos de 2% de queda no score CLIP).

Resultados Experimentais

Os autores avaliaram o S-VARE no modelo Infinity-2B em três categorias de apagamento: NSFW (nudez), Objeto (ex: "igreja") e Estilo (ex: "Van Gogh").

• Apagamento de NSFW: O método alcançou o apagamento quase completo de conceitos de nudez (reduzindo significativamente a detecção de conteúdo sensível) enquanto preservava a geração de partes normais do corpo. Superou baselines como ESD, UCE e FMN, que ou falharam em apagar efetivamente ou degradaram severamente a qualidade da imagem.
• Apagamento de Objeto e Estilo: O método removeu com sucesso objetos e estilos alvo, mantendo alta precisão de classificação para classes irrelevantes e preservando a capacidade do modelo de gerar imagens diversas e de alta qualidade.
• Robustez: Testado contra datasets de prompts adversários (Ring-A-Bell, MMA, I2P) projetados para induzir nudez, o S-VARE reduziu significativamente a Taxa de Sucesso Adversário (ASR) em comparação com o modelo original e outros baselines.
• Estudos de Ablação: Confirmou que a perda de Entropia Cruzada Filtrada é crítica para a eficácia do apagamento, enquanto a Perda de Preservação é essencial para manter a qualidade da geração e a fidelidade às instruções.

Significância e Alegações

O artigo afirma fechar a lacuna de segurança na geração de texto para imagem autorregressiva. Embora métodos anteriores fossem eficazes para modelos de difusão, eles eram inaplicáveis à nova classe de modelos VAR. Ao introduzir VARE e S-VARE, os autores fornecem a primeira solução eficaz de apagamento cirúrgico de conceitos para VARs.

O trabalho demonstra que é possível remover conceitos indesejáveis de modelos autorregressivos de grande escala sem o ônus computacional impraticável de treinar do zero ou a severa degradação de qualidade associada ao ajuste fino ingênuo. Isso facilita a implantação segura e escalável de sistemas de geração baseados em VAR em aplicações do mundo real.