Resumo Técnico: Geração de Imagens Autoregressiva Segura com Codebooks de Autoaperfeiçoamento Iterativo

Declaração do Problema

Modelos multimodais unificados autoregressivos geram imagens prevendo sequencialmente tokens visuais discretizados derivados de um codebook, em vez de operarem em espaços latentes contínuos como os modelos de difusão. Embora essa arquitetura ofereça vantagens em velocidade e consistência de condicionamento de texto, ela levanta preocupações críticas de segurança: quão seguras são as imagens geradas por esses sistemas autoregressivos? Os métodos de mitigação de segurança existentes para modelos de difusão (ex: orientação no espaço latente, filtragem pós-geração) dependem de representações contínuas e não se generalizam bem para a geração baseada em tokens discretos dos modelos autoregressivos. Além disso, as abordagens atuais frequentemente exigem extensa anotação humana ou loops de feedback externo, que são intensivos em recursos e difíceis de escalar.

Metodologia

O artigo propõe Codebooks de Autoaperfeiçoamento Iterativo, um método que aproveita as próprias capacidades do modelo multimodal unificado para identificar e eliminar conceitos prejudiciais sem anotação humana externa. A abordagem consiste em duas etapas principais repetidas iterativamente até a convergência:

1. Construção do Espaço Prejudicial e Projeção

• Pareamento de Dados Auto-Gerados: O modelo gera imagens a partir de um conjunto de prompts contendo atributos prejudiciais específicos. Usando as próprias capacidades de compreensão do modelo, ele identifica quais imagens geradas são prejudiciais. Para cada prompt prejudicial ($x_u$), o modelo gera um prompt alternativo semanticamente semelhante, porém seguro ($x_s$), substituindo termos inseguros por termos benignos. Isso cria conjuntos de dados imagem-texto pareados: $(x_u, y_u)$ para o conteúdo prejudicial e $(x_s, y_s)$ para o conteúdo seguro.
• Extração de Diferença de Características: O modelo extrai características de embedding ($F_u$ e $F_s$) para os tokens correspondentes a esses prompts de seu codebook. A diferença entre esses vetores de características ($F_u - F_s$) é computada para isolar as características específicas associadas ao conceito prejudicial.
• Construção de Subespaço: Esses vetores de diferença são agregados e processados via Decomposição de Valor Singular (SVD) para extrair os componentes principais. Os top-$k$ vetores singulares definem um Subespaço Prejudicial ($P$) que captura as características centrais do conceito prejudicial (ex: nudez, violência).
• Projeção Rígida (Hard Projection): O codebook original ($W_{ori}$) é projetado para remover componentes que residem dentro deste subespaço prejudicial. O codebook projetado ($W_{proj}$) é calculado como:
  $$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$$
  Isso garante que os novos embeddings sejam ortogonais à informação prejudicial.

2. Ajuste Fino Adaptativo no Espaço Inofensivo

• Restauração de Qualidade: A projeção rígida na Etapa 1 pode degradar a qualidade da imagem ao remover detalhes benignos. Para neutralizar isso, o método realiza um ajuste fino adaptativo no codebook projetado.
• Restrição de Espaço Nulo: Uma matriz de perturbação ($\Delta$) é otimizada para aumentar a fidelidade da imagem. Crucialmente, esta perturbação é restringida ao espaço nulo da matriz de diferença $E$ (o espaço ortogonal ao subespaço prejudicial). Isso garante que o processo de ajuste fino melhore a qualidade visual sem reintroduzir informações prejudiciais.
• Codebook Final: O codebook seguro final é construído como $W_{safe} = W_{proj} + \Delta \cdot Q$, onde $Q$ é a matriz de projeção no espaço nulo.

Todo o processo é iterativo: o codebook atualizado é usado para gerar novos dados, refinar o espaço prejudicial e melhorar ainda mais a segurança e a qualidade.

Principais Contribuições

1. Primeira Exploração Sistemática: Os autores são os primeiros a abordar sistematicamente a segurança da geração de imagens dentro de estruturas multimodais unificadas autoregressivas, distinguindo-a do cenário de segurança de difusão já bem estudado.
2. Mecanismo de Autoaperfeiçoamento Iterativo: O artigo introduz um método que utiliza o entendimento interno e as capacidades de julgamento do próprio modelo para construir pares prejudiciais/seguros e atualizar o codebook, eliminando a necessidade de conjuntos de dados anotados ou feedback humano.
3. Segurança Centrada no Codebook: Ao contrário de métodos que modificam trajetórias de geração ou espaços latentes, esta abordagem modifica diretamente as representações de tokens visuais discretos (o codebook), oferecendo uma solução fundamental para modelos autoregressivos.

Resultados Experimentais

O método foi avaliado em oito conjuntos de dados de prompts prejudiciais (incluindo I2P, CoPro, ViSU, P4D e MPUP) através de cinco modelos multimodais unificados (série Janus, VILA-U, Emu3, LlamaGen, OmniMamba).

• Melhoria de Segurança: O método reduziu significativamente a geração de conteúdo inapropriado em sete categorias (Sexual, Violência, Ódio, Autoflagelação, Atividade Ilegal, Assédio, Choque). Por exemplo, no conjunto de dados I2P, a proporção de conteúdo sexual caiu de 0,12 (Baseline) para 0,04 (Safe-CB).
• Eficácia Iterativa: Experimentos demonstraram que a remoção iterativa supera a remoção de turno único. As melhorias de segurança geralmente atingiram a saturação após três iterações, com o espaço prejudicial tornando-se mais refinado ao longo do tempo.
• Preservação de Capacidades: O método preservou as capacidades inerentes de geração de imagem e compreensão de texto do modelo. Benchmarks como Geneval (geração) e MMMU (compreensão) não mostraram degradação significativa.
• Fidelidade Semântica: Embora a projeção rígida inicial tenha causado uma queda no alinhamento entre prompt e imagem (medido pelo CLIP-Score e TIFA), a etapa de ajuste fino adaptativo recuperou com sucesso a consistência semântica, trazendo o desempenho do Safe-CB próximo ao baseline em prompts benignos.
• Generalização: A abordagem generalizou-se bem para dados fora da distribuição (OOD) e para vários tamanhos de modelos (de 1B a 7B parâmetros).

Significância e Alegações

O artigo alega que este trabalho estabelece um novo paradigma para a segurança na geração de imagens autoregressiva. Ao utilizar o próprio julgamento de si mesmo do modelo para refinar iterativamente seu codebook interno, o método alcança melhorias de segurança sem depender de anotação humana externa ou retreinamento de todo o modelo do zero. Os autores enfatizam que esta abordagem elimina efetivamente mapeamentos prejudiciais enquanto mantém detalhes visuais de alta qualidade, oferecendo uma solução escalável e autossustentável para a geração multimodal segura. O trabalho destaca que a segurança em modelos autoregressivos requer estratégias distintas dos modelos de difusão, visando especificamente a natureza discreta dos tokens visuais.