Resumo Técnico: Explorando um Caminho Não Linear no Espaço de Parâmetros para Esquecimento de Máquina

Declaração do Problema

O Esquecimento de Máquina (MU) visa remover a influência de dados de treinamento específicos de um modelo treinado para cumprir regulamentações de privacidade e solicitações de usuários. Embora o retreinamento a partir do zero seja o padrão-ouro, é computacionalmente proibitivo. Consequentemente, métodos aproximados de MU surgiram, com uma abordagem mainstream dependendo da aritmética de tarefas linear (por exemplo, subtrair um vetor de tarefa de esquecimento do modelo original).

Os autores identificam duas limitações críticas nas abordagens lineares existentes:

1. Emaranhamento de Pesos: Classificadores modernos exibem características de alta dimensão e não lineares. Atualizações lineares simples frequentemente falham em localizar a influência dos dados de esquecimento exclusivamente. Em vez disso, os vetores de tarefa interferem com os dados de retenção, violando as condições necessárias para uma edição linear bem-sucedida.
2. Limitação de Modelo Único: Os métodos existentes geralmente produzem um único modelo de esquecimento. No entanto, o ponto de parada ótimo para o esquecimento varia entre diferentes pontos de dados dentro do conjunto de esquecimento. Um único modelo não pode simultaneamente alcançar o esquecimento ótimo para todos os pontos sem retreinamentos repetidos e custosos.

O artigo levanta duas questões centrais:

• (Q1) Podemos nos libertar das restrições de atualização linear e explorar o MU de maneira não linear?
• (Q2) Podemos identificar um espectro de modelos de MU eficazes em vez de apenas um?

Metodologia: Esquecimento por Conectividade de Modos (MCU)

Os autores propõem o Esquecimento por Conectividade de Modos (MCU), um framework que aproveita a conectividade de modos para buscar um caminho não linear de esquecimento no espaço de parâmetros.

1. Construção do Caminho Não Linear

Em vez de uma interpolação linear, o MCU constrói um caminho suave entre dois modelos finais usando uma curva de Bézier quadrática:

• $\theta_o$ (Modelo Original): Treinado no conjunto de dados completo $D_{train}$.
• $\theta_p$ (Modelo Pré-esquecimento): Obtido aplicando qualquer método de MU existente para remover a influência dos dados de esquecimento $D_f$. Este modelo fornece uma mudança direcional em direção ao esquecimento.
• $\theta_c$ (Modelo de Controle): Um parâmetro aprendível que molda a trajetória.
• Definição do Caminho: O caminho $\phi_{\theta_c}(t)$ é definido como:
  $$\phi_{\theta_c}(t) = (1-t)^2\theta_o + 2(1-t)t\theta_c + t^2\theta_p$$
  onde $t \in [0, 1]$. Isso gera um espectro contínuo de modelos de esquecimento $\theta_u$ ao longo da curva.

2. Objetivo de Otimização

O framework otimiza o modelo de controle $\theta_c$ para equilibrar o desempenho de esquecimento e retenção. A função de perda é:
$$\mathcal{L}_{mcu} = \mathbb{E}_{t \sim U(0,1)}[\mathcal{L}(D_r; \phi_{\theta_c}(t)) - \beta \cdot \mathcal{L}(D_f; \phi_{\theta_c}(t))]$$
onde $\mathcal{L}$ é a perda de entropia cruzada, $D_r$ são os dados de retenção e $\beta$ é o coeficiente de penalidade de esquecimento.

3. Estratégia de Máscara de Parâmetros

Para aumentar a eficiência, o MCU introduz uma máscara de parâmetros que atualiza apenas um subconjunto de parâmetros, contornando os cálculos de gradiente para o restante. A máscara $m$ é derivada por:

• Filtragem ($m_r$): Excluindo parâmetros altamente influentes para os dados de retenção $D_r$ (com base na magnitude do gradiente).
• Reserva ($m_f$): Preservando parâmetros críticos para os dados de esquecimento $D_f$.
• Máscara Final: $m = m_r \ \& \ m_f$.
  Essa estratégia reduz significativamente a sobrecarga computacional (relatada como um aumento de velocidade de 75,23% nos experimentos) enquanto mantém a eficácia.

4. Penalidade de Esquecimento Adaptativa

Para eliminar a necessidade de ajuste empírico de hiperparâmetros, os autores propõem uma estratégia adaptativa de $\beta$. O coeficiente $\beta$ é ajustado dinamicamente em cada lote com base na lacuna entre as acurácias observadas e as metas de calibração:

• Se a acurácia de esquecimento já for suficiente (ou excessivamente esquecida), $\beta$ é definido como 0.
• Se o esquecimento for insuficiente, mas o desempenho de retenção estiver estável, um $\beta$ suave (0,1) é aplicado.
• Caso contrário, um $\beta$ mais forte (0,5) é usado.
  Isso permite que o framework equilibre adaptativamente a qualidade do esquecimento e o desempenho preditivo sem intervenção manual.

5. Seleção de Modelo

Diferentemente de métodos que produzem um único modelo, o MCU identifica um modelo de esquecimento ótimo e uma região de esquecimento eficaz ao longo do caminho. O modelo ótimo é selecionado minimizando a lacuna média entre o desempenho do modelo de esquecimento e a linha de base de retreinamento (RT) em conjuntos de dados de esquecimento, retenção e teste.

Contribuições Principais

1. Perspectiva Não Linear: O artigo é o primeiro a investigar o MU a partir de uma perspectiva não linear, abordando a questão do emaranhamento de pesos inerente à aritmética de tarefas linear.
2. Espectro de Modelos: Introduz o conceito de explorar caminhos de esquecimento, fornecendo um espectro de modelos em vez de um único ponto, oferecendo flexibilidade para priorizar utilidade ou qualidade de esquecimento com base em necessidades específicas.
3. Framework Plug-and-Play: O MCU é projetado para integrar-se perfeitamente a métodos de MU existentes (por exemplo, NegGrad+, SalUn), aprimorando consistentemente seu desempenho independentemente da qualidade do modelo pré-esquecimento inicial.
4. Mascaramento Eficiente: A estratégia de máscara de parâmetros proposta alcança eficácia de esquecimento comparável a máscaras elemento a elemento, mas reduz significativamente o tempo de treinamento contornando completamente os cálculos de gradiente para parâmetros mascarados.

Resultados Experimentais

O framework foi avaliado em tarefas de classificação de imagens (CIFAR-10, ImageNet-100, Tiny-ImageNet) usando várias arquiteturas (PreResNet, ViT, VGG).

• Desempenho: O MCU e sua variante adaptativa (MCU$\beta$) consistentemente alcançaram as duas melhores performances gerais em cenários de esquecimento de dados aleatórios e de esquecimento por classe. No esquecimento por classe no ImageNet-100, o MCU$\beta$ performou quase em par com a linha de base de retreinamento (RT).
• Comparação com Métodos Lineares: Os resultados destacaram a superioridade do esquecimento não linear sobre métodos lineares como NegTV. Os métodos lineares lutaram com o compromisso entre sub-esquecimento e super-esquecimento, enquanto o MCU manteve um equilíbrio estável.
• Robustez: O MCU$\beta$ demonstrou robustez em diferentes modelos pré-esquecimento (incluindo modelos degradados como Ascensão de Gradiente) e proporções variáveis de dados de retenção (performando bem mesmo com apenas 10-30% dos dados de retenção).
• Eficiência: A estratégia de máscara de parâmetros reduziu significativamente o tempo de execução em comparação com as linhas de base, enquanto a estratégia adaptativa de $\beta$ removeu a necessidade de busca de hiperparâmetros.

Significado e Alegações

O artigo alega que o MCU oferece uma solução mais eficaz e flexível para o esquecimento de máquina, indo além das restrições de atualizações lineares. Ao revelar um espectro contínuo de modelos de esquecimento, ele aborda a limitação fundamental de que um único modelo não pode servir otimamente a todos os pontos de esquecimento.

Os autores enfatizam que o MCU serve como um framework plug-and-play que pode ser integrado a qualquer método de MU existente para melhorar a eficácia. A capacidade de selecionar diferentes pontos ao longo do caminho permite que os praticantes se adaptem a avaliações de risco em evolução (por exemplo, um ponto de dados tornando-se mais sensível ao longo do tempo) sem o custo de retreinamento. O trabalho sugere que explorar caminhos não lineares no espaço de parâmetros é uma direção viável e necessária para superar o emaranhamento de pesos e alcançar um esquecimento de máquina de alta qualidade.