GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning

Resumo Técnico: GUDA – Atribuição de Dados por Grupo Contrafactual para Modelos de Difusão via Unlearning

1. Definição do Problema

A atribuição de dados de treinamento para modelos generativos de visão visa identificar quais dados de treinamento influenciaram uma saída específica. Enquanto os métodos existentes focam na atribuição ao nível de instância (identificando amostras de treinamento específicas), os profissionais frequentemente necessitam de atribuição ao nível de grupo (por exemplo, identificar quais estilos artísticos ou classes de objetos contribuíram mais para uma geração).

O desafio central é que a influência do grupo é não aditiva e não linear; simplesmente somar pontuações de nível de instância falha em capturar interações dentro de representações compartilhadas. O "padrão ouro" teórico para a atribuição de grupo é o contrafactual Leave-One-Group-Out (LOGO): medir como o comportamento de um modelo sobre uma amostra gerada muda se um grupo $k$ específico fosse inteiramente ausente dos dados de treinamento. No entanto, realizar este contrafactual exige o retreinamento de $N+1$ modelos (um modelo completo mais $N$ modelos com cada grupo removido), o que é computacionalmente proibitivo para modelos de difusão de larga escala.

2. Metodologia: Estrutura GUDA

Os autores propõem o GUDA (Group Unlearning-based Data Attribution), uma estrutura que aproxima o caro contrafactual LOGO usando unlearning de máquina em vez de retreinar do zero.

Conceito Central:
Em vez de treinar $\theta_{logo}^{-k}$ (o modelo treinado sem o grupo $k$) do zero, o GUDA parte do modelo de dados completos $\theta_{full}$ e aplica um operador de unlearning de máquina para remover seletivamente a influência do grupo $k$, resultando em um modelo contrafactual aproximado $\theta_{ul}^{-k}$.

Pontuação de Atribuição (LOGOA):
A pontuação de atribuição é definida como a diferença em uma regra de pontuação baseada em verossimilhança (especificamente, o Limite Inferior de Evidência, ELBO) entre o modelo completo e o modelo contrafactual de unlearning:
$$\text{GUDA}_k(x_0, c) = \text{ELBO}(x_0|c; \theta_{full}) - \text{ELBO}(x_0|c; \theta_{ul}^{-k})$$
Uma pontuação positiva indica que o grupo $k$ contribuiu significativamente para a geração da amostra $(x_0, c)$.

Implementação de Unlearning:
O objetivo de unlearning consiste em dois termos:

1. Termo de Preservação ($L_{preserve}$): Uma perda de correspondência de escore (score-matching loss) que garante que o modelo de unlearning mantenha o desempenho no conjunto de retenção ($D_{-k}$), evitando o esquecimento catastrófico.
2. Termo de Esquecimento ($L_{forget}$): Varia conforme a configuração de geração:
   • GUDA-U (Geração Incondicional): Utiliza redirecionamento baseado em ReTrack. Ele treina o modelo para realizar o denoising de amostras do conjunto de esquecimento ($D_k$) em direção a alvos ponderados por importância derivados do conjunto de retenção ($D_{-k}$), aproximando efetivamente a média posterior da distribuição apenas de retenção.
   • GUDA-C (Texto-para-Imagem Condicional): Aborda o desafio onde a remoção de um grupo de estilo desloca tanto as distribuições de imagem quanto de prompt. Ele emprega Âncoras de Seleção de Estilo Ponderadas. Para um par (imagem, prompt) a ser esquecido, o método constrói um prompt "âncora" mantendo a descrição do conteúdo, mas substituindo o descritor de estilo por um do conjunto de retenção (amostrado via similaridade ponderada por CLIP). O modelo é então treinado para corresponder à previsão do modelo completo sob esta condição de âncora, resolvendo o descompasso da distribuição de condição.

3. Principais Contribuições

1. Formalização da Atribuição de Grupo: O artigo formaliza a atribção de grupo como um estimando contrafactual (LOGOA) baseado na diferença de ELBO entre um modelo completo e um modelo com grupo removido, estabelecendo o retreinamento LOGO como o oracle.
2. Aproximação via Unlearning: Introduz uma estrutura prática que aproxima esses contrafactuais via unlearning de máquina, alcançando um aumento de velocidade de $\sim 100\times$ em relação ao retreinamento LOGO no CIFAR-10.
3. Duas Instanciações Específicas:
   • GUDA-U: Para difusão incondicional, usando redirecionamento ponderado por importância baseado em ReTrack.
   • GUDA-C: Para texto-para-imagem condicional, usando âncoras de seleção de estilo ponderadas por CLIP para lidar com o deslocamento da distribuição de prompts.
4. Validação Empírica: Demonstra que o direcionamento direto ao contrafactual de remoção de grupo via unlearning supera as bases de similaridade semântica (CLIPA) e os métodos de agregação de nível de instância (DAS, TRAK, D-TRAK) na identificação de grupos contribuintes primários.

4. Resultados Experimentais

Os autores avaliaram o GUDA em dois benchmarks:

• CIFAR-10 (Incondicional): Com 10 classes e 2.048 queries, o GUDA alcançou 72,7% de concordância Top-1 com o oracle LOGO, superando o CLIPA (66,2%) e métodos baseados em gradiente (DAS: 71,6%, mas significativamente mais lentos). O GUDA obteve um aceleração de $\sim 100\times$ no tempo de execução (wall-clock) em relação ao retreinamento LOGO (2 horas vs. 207 horas).
• UnlearnCanvas (Texto-para-Imagem Condicional): Usando Stable Diffusion 1.5 e 16 estilos artísticos, o GUDA alcançou 45,6% de concordância Top-1, superando significativamente o CLIPA (33,8%) e um método anterior de atribuição baseado em unlearning (Wang et al., 2024) que pontuou apenas 4,7%. O GUDA também mostrou desempenho superior nas métricas NDCG@3 e RBO, indicando melhor alinhamento com os estilos mais influentes.

Observações Chave:

• A Qualidade do Unlearning Importa: O GUDA utilizando unlearning baseado em ReTrack superou significativamente o GUDA utilizando unlearning ESD (Erasing Stable Diffusion), validando a conexão teórica entre ReTrack e o retreinamento LOGO.
• Limitações de Alternativas: A similaridade semântica (CLIPA) falhou em capturar efeitos de grupo contrafactuais, e métodos de nível de instância tiveram dificuldade em escalar para atribuição de nível de grupo, performando frequentemente próximo ao acaso em métricas de identificação de cabeça.

5. Significância e Alegações

O artigo afirma que o GUDA fornece uma solução escalável e prática para entender a procedência das saídas de modelos generativos em nível de grupo. Ao preencher a lacuna entre o ideal teórico de retreinamento contrafactual e a realidade computacional de modelos de larga escala, o GUDA permite:

• Compensação Justa: Identificação mais precisa de quais grupos de dados (ex: artistas) contribuíram para as saídas.
• Depuração (Debugging): Identificar fontes de dados ou estilos problemáticos que impactam negativamente a geração.
• Transparência: Oferecer um método para auditar modelos generativos sem o custo proibitivo de retreinamento total.

Os autores enfatizam que o GUDA não é um mecanismo de deleção certificada, mas uma aproximação computacional para atribuição. Eles observam que, à medida que mais métodos de unlearning alinhados ao LOGO surgirem, eles poderão ser integrados à estrutura GUDA para melhorar ainda mais a qualidade da atribuição. O trabalho posiciona-se como um passo em direção ao entendimento escalável de nível de grupo de modelos generativos, indo além das aproximações de nível de instância que falham em capturar interações de grupo não lineares.