Resumo Técnico: ScaleErasure

Declaração do Problema

O artigo aborda o desafio da apagamento de conceitos (concept erasure) em modelos de geração de imagens autorregressivos de próxima escala (next-scale autoregressive - AR), um paradigma distinto dos dominantes modelos de difusão. Embora o apagamento de conceitos vise impedir que os modelos gerem conteúdo inseguro (ex: nudez, personagens protegidos por direitos autorais) enquanto preserva a capacidade generativa geral, os métodos existentes são projetados primariamente para modelos de difusão e não se traduzem diretamente para o AR de próxima escala.

A dificuldade central no paradigma de AR de próxima escala reside no severo emaranhamento semântico. Diferente dos modelos de difusão que geram em resoluções fixas, os modelos de AR de próxima escala geram imagens do grosso para o fino, começando em resoluções extremamente baixas (ex: tokens 1×1 ou 2×2). Nestas escalas iniciais, a informação semântica está altamente comprimida em um número limitado de tokens. Consequentemente, um único token frequentemente codifica tanto semânticas inseguras (ex: "nudez") quanto semânticas seguras não relacionadas (ex: "fundo" ou "céu"). Este emaranhamento torna difícil selecionar e apagar precisamente conceitos inseguros sem degradar a estrutura geral da imagem ou remover conteúdo não relacionado.

Metodologia: ScaleErasure

Os autores propõem o ScaleErasure, um método de apagamento de conceito em tempo de inferência que realiza uma intervenção mínima ao guiar seletivamente os logits preditos. O método opera sem modificar os parâmetros do modelo, em vez disso modulando o processo de geração durante a inferência.

Mecanismo Central

O ScaleErasure identifica os logits mais relevantes para um conceito inseguro e os guia em direção a um conceito seguro correspondente. Isso é alcançado através de duas passagens adicionais (forward passes) condicionadas ao conceito inseguro e ao conceito seguro. Os logits guiados finais ($\ell^\star_k$) são uma combinação dos logits padrão de Classifier-Free Guidance (CFG) e dos novos logits de Safe Guidance (SG), determinados por uma máscara binária ($M_k$):
$$\ell^\star_k = M_k \cdot \ell^{SG}_k + (1 - M_k) \cdot \ell^{CFG}_k$$

Para garantir uma intervenção precisa e mínima, a seleção de logits e a aplicação de orientação são conduzidas através de três dimensões ortogonais:

1. Seleção em Nível de Escala (Scale-Level Selection):

   • Racional: Escalas iniciais (1×1, 2×2) capturam a estrutura global e são sensíveis demais à intervenção; escalas tardias refinam principalmente detalhes de alta frequência onde o conteúdo inseguro já está fixado.
   • Estratégia: A orientação é restrita a uma faixa intermediária limitada de escalas (ex: escalas 3 a 8). Isso também permite uma estratégia de parada antecipada (early-stop) para as passagens adicionais, reduzindo significativamente o custo computacional em comparação com a orientação em todas as escalas.

2. Seleção em Nível de Token (Token-Level Selection):

   • Racional: Para evitar a interrupção de regiões não relacionadas (ex: o céu ou o fundo) dentro de um mapa de tokens.
   • Estratégia: O método utiliza o mecanismo de atenção cruzada (cross-attention) interno do modelo. Ele calcula pontuações de similaridade entre consultas visuais e chaves de conceitos (inseguros vs. conceitos não relacionados como "fundo"). Tokens com alta relevância para o conceito inseguro (excedendo um limiar $\tau_{token}$) são selecionados para intervenção, enquanto outros são preservados.

3. Seleção em Nível de Canal de Bits (Bit-Channel-Level Selection):

   • Racional: Modelos de AR de próxima escala (especificamente aqueles que usam Quantização Esférica Binária) representam tokens via múltiplos canais de bits independentes. Um único token pode conter tanto bits inseguros quanto seguros.
   • Estratégia: O método compara vetores de logits da passagem condicionada ao prompt e da passagem condicionada ao conceito inseguro. Canais de bits com diferenças absolutas baixas (abaixo do limiar $\tau_{bit}$) são considerados irrelevantes para o conceito inseguro e são excluídos da orientação. Isso permite o desmembramento fino de semânticas dentro de um único token.

Formulação de Orientação Segura (Safe Guidance)

Para os logits selecionados, o método substitui os logits condicionados ao prompt por uma versão guiada pela segurança. A fórmula de orientação incorpora um termo de penalização para suprimir ativações inseguras residuais:
$$\ell^{SG}_k = \ell^{uc}_k + \beta_{CFG}(\ell^{sa}_k - \ell^{us}_k)$$
onde $\ell^{sa}_k$ e $\ell^{us}_k$ são os logits condicionados aos conceitos seguros e inseguros, respectivamente.

Principais Contribuições

1. Estrutura ScaleErasure: Um novo método de inferência para apagamento de conceito especificamente adaptado ao paradigma de AR de próxima escala, abordando o desafio único do emaranhamento semântico.
2. Estratégia de Orientação Seletiva de Logits: Um mecanismo de seleção tridimensional (escalas, tokens e canais de bits) que permite o apagamento preciso de conceitos inseguros minimizando danos colaterais à capacidade generativa geral.
3. Otimização de Eficiência: A introdução de uma estratégia de parada antecipada para as passagens adicionais, que reduz substancialmente o custo computacional e a latência de inferência, mantendo o desempenho de segurança.

Resultados Experimentais

O método foi avaliado no modelo Infinity-2B em dois domínios: apagamento de nudez (usando o benchmark I2P) e apagamento de direitos autorais (Pikachu e SpongeBob).

• Apagamento de Nudez: O ScaleErasure alcançou a menor contagem total de nudez no I2P (182 vs. 296 para o segundo melhor baseline, ESD-u), mantendo uma capacidade de geração geral superior (menor FID de 2.91 e maior CLIP Score de 30.68 no MS-COCO).
• Apagamento de Direitos Autorais: O método alcançou o melhor $H_a$ médio (uma métrica que equilibra supressão e preservação) em ambos os personagens, demonstrando eficácia consistente.
• Desempenho Qualitativo: Comparações visuais mostraram que o ScaleErasure removeu com sucesso o conteúdo inseguro enquanto preservava a estrutura global e os detalhes do fundo, enquanto os baselines frequentemente introduziam artefatos, distorções ou falhavam em apagar totalmente o conceito.
• Eficiência: Ao empregar a estratégia de parada antecipada, o ScaleErasura incorreu em apenas um aumento de ~9% na latência sobre o modelo base, comparado a um aumento de ~35% se a orientação fosse aplicada em todas as escalas.

Significância e Alegações

O artigo afirma que o ScaleErasure representa um passo significativo para assegurar modelos autorregressivos de próxima escala, um paradigma que tem sido amplamente inexplorado no que diz respeito a mecanismos de segurança. Os autores enfatizam que sua abordagem alcança o apagamento preciso de conceitos sob condições de severo emaranhamento semântico, um problema onde métodos anteriores têm dificuldade.

A significância do trabalho reside em sua capacidade de suprimir conteúdo inseguro (como nudez ou material protegido por direitos autorais) sem alterar permanentemente os parâmetros do modelo ou degradar significativamente a fidelidade generativa geral do modelo. Ao operar em tempo de inferência com intervenção mínima, o método oferece uma solução flexível, reversível e implantável para a segurança em sistemas emergentes de geração de imagens baseados em AR. Os autores observam que, embora o método melhore a segurança, ele opera dentro das restrições do paradigma específico e não pretende resolver todos os desafios de segurança na IA generativa.