Resumo Técnico: TILDE (TILt-based Distributional Erasure for Concept Unlearning)

Declaração do Problema

O desaprendizado de conceitos (concept unlearning) em modelos de difusão de texto-para-imagem é essencial para abordar preocupações de privacidade, direitos autorais e segurança, exigindo que os modelos suprimam conceitos indesejados específicos (ex: artistas, personagens ou objetos específicos) após o treinamento. No entanto, os métodos existentes enfrentam um compromisso crítico: o esquecimento eficaz leva frequentemente à "falha de retenção", onde o modelo degrada a geração de prompts benignos, semanticamente relacionados ou gerais.

As abordagens atuais baseiam-se tipicamente em:

• Supressão direta: Penalizar pontuações de conceitos, o que frequentemente danifica conceitos benignos adjacentes (dano colateral).
• Edição baseada em âncoras: Mapear o conceito a ser esquecido para um conceito alvo, o que introduz instabilidade e viés, especialmente sob solicitações de exclusão sequenciais.
• Otimização baseada em recompensa: Maximizar uma recompensa escalar de esquecimento, o que frequentemente colapsa a diversidade ao concentrar a geração em um conjunto estreito de saídas seguras.

O problema fundamental é que esses métodos não definem explicitamente a distribuição pós-desaprendizado. Consequentemente, a retenção é tratada como uma consequência implícita da regra de atualização, em vez de um objetivo controlado, levando a uma fidelidade de distribuição subótima em comparação com um modelo hipotético de "apenas retenção" treinado do zero sem os dados indesejados.

Metodologia: TILDE

Os autores propõem o TILDE (TILt-based Distributional Erasure), que reformula o desaprendizado de conceitos como um problema de alinhamento de distribuição com restrições. Em vez de supressão local ou substituição de âncoras, o TILDE busca a distribuição condicional que minimiza o desvio do modelo pré-treinado enquanto satisfaz uma restrição de esquecimento.

1. Formulação Teórica

O alvo é definido como a solução de uma projeção de Kullback-Leibler (KL) com restrições:
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
Sujeito a:
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

Onde:

• $p_{pre}$ é a distribuição condicional pré-treinada.
• $E_C(x)$ é uma "energia de esquecimento" que quantifica a evidência do conceito $C$ na imagem $x$.
• A solução assume a forma de uma distribuição de Gibbs com inclinação de energia (energy-tilted Gibbs distribution):
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

Esta formulação garante que imagens que expressam o conceito sejam penalizadas, enquanto imagens benignas preservam suas similaridades relativas pré-treinadas (sem âncoras).

2. Surrogata Prática: Energia de CLIP com Limiar (Thresholded CLIP Energy)

Para instanciar a energia abstrata $E_C$, o TILDE utiliza uma surrogata de CLIP com limiar:

• Sondas de Conceito: Um conjunto de descritores de texto $Q_C$ (ex: "Pikachu", "uma foto de Pikachu") é usado para calcular a pontuação média de similaridade CLIP $s_C(x)$.
• Limiarização (Thresholding): Uma energia de esquecimento $eE_C(x)$ é definida de modo que seja zero se $s_C(x) \le \tau$ (região benigna) e aumente exponencialmente se $s_C(x) > \tau$.
• Significância: O limiar $\tau$ cria uma região de "sem penalidade", impedindo que os gradientes afetem imagens benignas com baixa similaridade de conceito, preservando assim a retenção local.

3. Otimização via $\nabla$-GFlowNet Residual

Para realizar esta distribuição inclinada em um modelo de difusão, o TILDE emprega o treinamento por $\nabla$-GFlowNet residual:

• Objetivo: Aprender a correção de score necessária para transformar o amostrador pré-treinado no alvo de inclinação de energia.
• Mecanismo: Em vez de treinar um amostrador completo do zero, o modelo aprende um score de continuação residual $h_\phi$ que ajusta a trajetória de denoising.
• Função de Perda: O treinamento minimiza uma perda de ida e volta ($L_{fwd}, L_{rev}$) para impor consistência local entre o denoiser adaptado e o denoiser pré-treinado, guiado pela energia de esquecimento terminal.
• Implementação: As atualizações são restritas a adaptadores LoRA nas camadas de atenção, garantindo eficiência de parâmetros e um viés de atualização mínimo.

Principais Contribuições

1. Formulação Distribucional: O artigo formula o desaprendizado de conceitos como um problema de alinhamento de distribuição com restrições, derivando um alvo de Gibbs explícito, sem âncoras e de desvio mínimo.
2. Algoritmo TILDE: Introduz uma instanciação prática usando energia de CLIP com limiar e treinamento $\nabla$-GFlowNet residual no espaço latente de difusão.
3. Validação Empírica: O método é avaliado em objetos, estilos artísticos e personagens, demonstrando melhorias na eficácia do esquecimento enquanto mantém maior retenção e fidelidade de distribuição em comparação com baselines anteriores.

Resultados Experimentais

Os autores avaliaram o TILDE no Stable Diffusion v1.5 em cerca de 60 conceitos (objetos, personagens, estilos, nudez).

• Desempenho: O TILDE alcança um esquecimento quase completo (ex: 0,99 de Precisão de Esquecimento para personagens) enquanto supera significativamente os baselines em Retenção Relacionada (preservando conceitos semanticamente adjacentes) e Retenção Geral.
• Comparação:
  • Apagamento Rígido (ex: MACE): Alcança alto esquecimento, mas destrói a retenção (Retenção Relacionada cai para ~0,17).
  • Supressão Suave (ex: ESD): Preserva a retenção, mas frequentemente falha em alcançar esquecimento suficiente.
  • Baseado em Âncoras (ex: CA, UCE): Melhora a qualidade, mas depende de conjuntos de retenção explícitos e ainda deixa evidências residuais do conceito.
  • TILDE: Posiciona-se na fronteira de Pareto, alcançando alto esquecimento sem a necessidade de supervisão de retenção explícita ou conceitos âncora.
• Estudos de Ablação:
  • Remover a forma $\nabla$ (usando alvos de fluxo absoluto) colapsa o desempenho do esquecimento.
  • Remover o componente residual força o campo de score total a absorver a atualização, degradando a retenção geral.
  • Remover o limiar de energia causa um colapso catastrófico na retenção, confirmando a necessidade da região de "sem penalidade".
• Métricas de Distribuição: O TILDE mostra valores menores de FADE (Distância de Alinhamento Funcional) e scores FID em comparação com os baselines, indicando um alinhamento mais próximo com a distribuição ideal de "apenas retenção".

Significância e Alegações

O artigo afirma que o TILDE aborda a "falha de retenção" inerente aos métodos atuais de desaprendizado ao definir explicitamente a distribuição pós-desaprendizado. Ao enquadrar o desaprendizado como um alinhamento de distribuição de desvio mínimo, o TILDE evita as armadilias de:

• Dano colateral causado pela supressão direta.
• Colapso de diversidade causado pela maximização de recompensa.
• Instabilidade causada por mapeamentos de âncoras fixos.

Os autores argumentam que o TILDE representa a "modificação mínima natural" de um modelo pré-treinado que satisfaz as restrições de esquecimento. O uso de energia com limiar garante que conceitos benignos não sejam penalizados, enquanto a estrutura residual $\nabla$-GFlowNet fornece um mecanismo eficiente para realizar este alvo de distribuição em espaços latentes de alta dimensão. O trabalho sugere que pesquisas futuras sobre desaprendizado devem priorizar a definição da distribuição alvo antes da seleção das regras de atualização.