Resumo Técnico: O Esquecimento Exato a partir de Proxies Induz Garantias de Proximidade no Esquecimento Aproximado

Declaração do Problema

O esquecimento de máquina visa remover a influência de dados de treinamento específicos (o "conjunto de esquecimento", $D_f$) de um classificador treinado, sem retreinar o modelo do zero nos dados restantes (o "conjunto de retenção", $D_r$). Embora o esquecimento exato seja o padrão-ouro, ele é frequentemente computacionalmente proibitivo para grandes redes profundas. Os métodos aproximados atuais, baseados principalmente em atualizações de gradiente de primeira ordem (por exemplo, ascensão de gradiente no conjunto de esquecimento), sofrem de várias limitações:

1. Falta de Interpretabilidade: Eles dependem de trajetórias de otimização que não oferecem uma caracterização em forma fechada da mudança preditiva resultante em termos de distribuições de dados.
2. Instabilidade: Atualizações iterativas frequentemente carecem de critérios de parada claros, levando ao esquecimento excessivo ou ao esquecimento catastrófico.
3. Lacunas na Avaliação: O desempenho é frequentemente avaliado por ataques de inferência de associação (MIAs) ou métricas de precisão, que podem não refletir com precisão a distância estatística em relação ao modelo retreinado ideal.
4. Subotimalidade: Limites teóricos existentes frequentemente dependem de propriedades de redes neurais (por exemplo, aproximações de Hessiana) em vez da qualidade dos modelos subjacentes de distribuição de dados.

Metodologia

O artigo propõe uma mudança de paradigma: em vez de atualizar diretamente os pesos da rede via gradientes, os autores modelam o sinal de esquecimento exato como uma mudança no espaço de logits derivada de modelos matemáticos explícitos das distribuições de dados.

1. O Sinal de Esquecimento como uma Mudança de Logits

A ideia central é definir o alvo do esquecimento não por um caminho de otimização, mas pela diferença entre as distribuições posteriores do conjunto de retenção e do conjunto de dados original.

• Seja $P$ a distribuição verdadeira dos dados originais e $P_r$ a distribuição verdadeira do conjunto de retenção.
• Os autores introduzem proxies paramétricos ($\bar{P}$ e $\bar{P}_r$) para modelar as distribuições condicionais à classe $P(X|Y)$ e $P_r(X|Y)$.
• Esses proxies induzem distribuições posteriores e vetores de logits associados $M(x)$ e $M_r(x)$.
• O sinal de esquecimento é definido como a mudança $\Delta M(x) = M_r(x) - M(x)$.
• Os logits do modelo esquecido são construídos como uma combinação linear: $\tilde{f}_\eta(x) = f_\theta(x) + \eta \Delta M(x)$, onde $\eta$ é um fator de escala.

2. Estrutura Teórica e Garantias

O artigo estabelece limites teóricos sobre a divergência de Kullback-Leibler (KL) entre o modelo esquecido e o modelo retreinado ideal ($P_r$).

• Critério de Admissibilidade: Um par de proxies é "admissível" se o proxy inicial $\bar{P}$ for uma melhor aproximação da distribuição verdadeira $P$ do que o proxy de retenção $\bar{P}_r$ o é de $P_r$. Esta é uma condição verificável.
• Regime de Segurança ($\eta_{max}$): Os autores provam a existência de um fator de escala máximo $\eta_{max}$ tal que, para qualquer $\eta \in [0, \eta_{max}]$, o processo de esquecimento diminui estritamente a divergência KL em relação ao modelo ideal, desde que o critério de admissibilidade seja satisfeito.
• Limites: A Proposição 1 fornece um limite rigoroso sobre a divergência KL, mostrando que o erro depende da divergência inicial e da "mudança de modelagem" (a diferença na forma como os proxies modelam seus respectivos alvos). A Proposição 2 oferece um limite intuitivo que vincula o erro à qualidade da modelagem condicional à classe.

3. Construção de Proxies

O artigo explora várias famílias de proxies para aproximar a estrutura dos dados:

• Modelos Ingênuos: LDA (Análise Discriminante Linear) e QDA (Análise Discriminante Quadrática) padrão, tratando todo o conjunto de dados como uma única distribuição por classe.
• Modelos de Mistura (LDA-Mix, QDA-Mix): Modelando a distribuição original como uma mistura de subpopulações de retenção e esquecimento dentro de cada classe.
• Duplicação de Rótulos (LDA-2C, DIR-2C): Uma abordagem novel onde o espaço de rótulos é duplicado para $(y, s)$, onde $s \in \{retenção, esquecimento\}$. Isso permite que o modelo capture intrinsecamente a sobreposição entre as distribuições de retenção e esquecimento e estime a probabilidade de uma amostra pertencer ao conjunto de esquecimento.
  • DIR-2C: Usa distribuições de Dirac empíricas no espaço de rótulos duplicado. Embora a aplicação direta seja agressiva, ela serve como um poderoso "professor" para a etapa de destilação.

4. Implementação via Destilação

A mudança de logits construída $\eta_{max} \Delta M(x)$ é implementada na rede neural via Destilação de Conhecimento. A rede original $f_\theta$ atua como estudante, treinada para minimizar a divergência KL entre sua saída e os logits alvo $\tilde{f}_{\eta_{max}}$. Esta etapa traduz a correção distribucional em forma fechada em parâmetros da rede.

Contribuições Principais

1. Sinal de Esquecimento Exato via Proxies: O artigo introduz um sinal de esquecimento em forma fechada e interpretável, derivado de modelos matemáticos explícitos de distribuições de dados, em vez de trajetórias de gradiente.
2. Garantias Teóricas: Fornece critérios de admissibilidade verificáveis e limites teóricos rigorosos sobre a divergência KL em relação ao modelo retreinado ideal, vinculando o desempenho do esquecimento diretamente à qualidade dos proxies de dados.
3. Proxies de Alta Granularidade: Propõe técnicas de modelagem específicas (Modelos de Mistura e Duplicação de Rótulos) que aprendem dependências de associação a partir da estrutura dos dados. Notavelmente, LDA-2C e DIR-2C emergem como métodos eficazes para capturar a estrutura intraclasse.
4. Limite de Stein para Avaliação: O artigo propõe o uso da divergência KL para derivar um "limite de Stein" sobre o número de consultas que um atacante precisa para distinguir o modelo esquecido do modelo retreinado, oferecendo uma alternativa mais estável e interpretável aos Ataques de Inferência de Associação empíricos.

Resultados Experimentais

O método foi avaliado no CIFAR-10 e CIFAR-100 em três cenários de esquecimento:

• Aleatório: Esquecimento de amostras aleatórias.
• Classe: Esquecimento de uma classe inteira.
• Subclasse: Esquecimento de um subconjunto de uma classe (por exemplo, "aviões" dentro de "veículos"), que é notado como o cenário mais desafiador e realista, onde as bases de ascensão de gradiente frequentemente falham.

Descobertas:

• Proximidade ao Ideal: Os métodos propostos (especificamente LDA-2C e DIR-2C) produziram consistentemente modelos esquecidos mais próximos do modelo retreinado ideal ($p_{\theta_r}$) em termos de divergência KL ($KL_t$ e $KL_f$), superando bases de última geração como SCRUB, SalUn e GA+FT.
• Estabilidade: Diferentemente das bases iterativas que mostraram trajetórias instáveis ou esquecimento catastrófico (por exemplo, SalUn reduzindo a precisão de esquecimento para quase zero), o método proposto convergiu rapidamente e de forma estável.
• Eficiência: Os métodos alcançaram esses resultados com uma eficiência de tempo de execução (RTE) de aproximadamente 5% do tempo necessário para o retreinamento completo.
• Eficácia dos Proxies: Os proxies de "Duplicação de Rótulos" (LDA-2C, DIR-2C) geralmente superaram os modelos de mistura padrão, particularmente no cenário de Subclasse, capturando melhor a sobreposição distribucional entre os conjuntos de retenção e esquecimento.

Significado e Alegações

O artigo alega que sua estrutura oferece uma mudança de paradigma ao fundamentar o esquecimento de máquina na estrutura das distribuições de dados, em vez de atualizações de parâmetros de redes neurais.

• Solvência: Os limites teóricos demonstram que, se os proxies forem suficientemente precisos (verificável via critério de admissibilidade), o processo de esquecimento é garantido para mover o modelo mais próximo do estado retreinado ideal.
• Interpretabilidade: O método fornece uma decomposição em forma fechada do erro de esquecimento, afastando-se da natureza de "caixa preta" das atualizações de gradiente iterativas.
• Praticidade: Ao usar destilação, o método pode ser aplicado a redes de caixa preta que emitem logits, tornando-o versátil.
• Limitações: Os autores modestamente reconhecem limitações, incluindo a suposição de que o conjunto de retenção $D_r$ está disponível para ajustar o proxy $P_r$, potenciais más condições em espaços de características de alta dimensão (mitigadas por redução de dimensionalidade) e o fato de que o critério de admissibilidade é verificado empiricamente no modelo inicial e não na distribuição verdadeira.

Em resumo, o artigo argumenta que, ao modelar explicitamente a distribuição de dados, pode-se derivar um sinal de esquecimento exato que, quando destilado em uma rede, produz um modelo estatisticamente indistinguível de um retreinado do zero, com garantias prováveis e desempenho empírico superior.