Resumo Técnico: Sobre a Importância de Múltiplas Sementes de Treinamento para Avaliar o Desaprendizado de Máquina

Declaração do Problema

O desaprendizado de máquina (machine unlearning) visa remover a influência de pontos de dados específicos de um modelo treinado sem o custo proibitivo do retreinamento total. Embora o desaprendizado exato (retreinar do zero) seja o "padrão ouro", ele é frequentemente inviável. Consequentemente, pesquisadores dependem de algoritmos de desaprendizado aproximado (ex: Random Labels, UNSIR, Bad Teacher, SSD, LFSSD). Como esses algoritmos são frequentemente difíceis de analisar matematicamente, seu desempenho deve ser avaliado empiricamente.

Uma prática prevalente na literatura é avaliar esses métodos de desaprendizado executando o algoritmo de desaprendizado múltiplas vezes de forma independente (usando múltiplas sementes de desaprendizado) partindo de um único modelo pré-treinado (usando apenas uma única semente de treinamento). Este artigo argumenta que essa estratégia de avaliação é falha. Especificamente, o desempenho do desaprendizado pode ser altamente sensível à semente de treinamento inicial. Depender de uma única semente de treinamento pode gerar resultados não representativos, levando a conclusões não confiáveis sobre a eficácia ou robustez de um algoritmo. Este problema é particularmente agudo para métodos de desaprendizado determinísticos, que produzem resultados idênticos quando iniciados a partir do mesmo modelo, tornando múltiplas sementes de desaprendizado redundantes nesses casos.

Metodologia

Os autores propõem um framework de avaliação empírica rigoroso que considera a variabilidade tanto na fase de treinamento quanto na fase de desaprendizado.

1. Procedimento de Avaliação Genérico

O artigo formaliza um procedimento de avaliação (Algoritmo 1) envolvendo:

• $I$ Sementes de Treinamento: Treinar $I$ modelos independentes do zero usando sementes aleatórias distintas.
• $J$ Sementes de Desaprendizado: Para cada modelo treinado, executar o algoritmo de desaprendizado $J$ vezes usando sementes de desaprendizado distintas.
• Agregação de Métricas: Calcular o valor médio das métricas de desaprendizado (ex: acurácia de esquecimento, acurácia de retenção) em todos os $I \times J$ modelos resultantes.

2. Análise de Decomposição de Variância

A principal contribuição teórica é uma decomposição de variância da métrica de desaprendizado $Z$:
$$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$$
Onde:

• $\sigma^2_{\text{train}}$ é a variância atribuível à escolha da semente de treinamento.
• $\sigma^2_{\text{unlearn}}$ é a variância atribuível à escolha da semente de desaprendizado.
• $ICC$ (Coeficiente de Correlação Intraclasse) é definido como $\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$.

A análise demonstra que, se $\sigma^2_{\text{train}} > 0$ (ou seja, $ICC > 0$), aumentar o número de sementes de desaprendizado ($J$) não pode estimar consistentemente o desempenho do desaprendizado; o número de sementes de treinamento ($I$) deve ser aumentado. O artigo deriva estratégias de alocação otimizadas para orçamentos computacionais para minimizar a variância ou atingir uma largura de intervalo de confiança alvo, mostrando que priorizar $I$ é geralmente mais eficaz do que priorizar $J$ quando a variância de treinamento é significativa.

3. Correções de Implementação

Os autores identificaram e corrigiram um problema de implementação no código de referência para SSD e LFSSD. A implementação original utilizava a média por lote antes de elevar ao quadrado, o que enviesava as pontuações de importância de parâmetros e introduzia não-determinismo entre as sementes de desaprendizado. Os autores introduziram uma versão "determinística" (det.) que utiliza o cálculo de importância por amostra não enviesado, garantindo que esses métodos produzam resultados idênticos para uma semente de treinamento fixa.

Resultados Experimentais

Os autores conduziram experimentos extensos em três domínios: Classificação de Imagens, Aprendizado Federado de Ranking Online (FOLTR) e Grandes Modelos de Linguagem (LLMs).

Classificação de Imagens (CIFAR-100, CIFAR-20)

• Análise de Variância: Usando 75 sementes de treinamento e 10 sementes de desaprendizado, o estudo descobriu que, para a maioria dos métodos (incluindo SSD, LFSSD, Bad Teacher e UNSIR), a variância atribuível às sementes de treinamento ($\sigma^2_{\text{train}}$) era significativamente maior do que a variância das sementes de desaprendizado ($\sigma^2_{\text{unlearn}}$).
• Métodos Determinísticos: Para as implementações corrigidas do SSD (det.) e LFSSD (det.), $\sigma^2_{\text{unlearn}}$ era efetivamente zero, confirmando que múltiplas sementes de desaprendizado não fornecem insights adicionais se a semente de treinamento for fixa.
• Intervalos de Confiança: Cálculos baseados na Equação 2 indicam que alcançar intervalos de confiança estreitos (ex: largura $W=1$) muitas vezes requer centenas ou milhares de sementes de treinamento, enquanto aumentar as sementes de desaprendizado gera retornos decrescentes.

Aprendizado Federado de Ranking (FOLTR)

• Experimentos no conjunto de dados MQ2007 com 10 clientes mostraram que avaliar com uma única semente de treinamento ($I=1, J=10$) produziu trajetórias que não eram representativas da verdadeira variabilidade entre sementes.
• Avaliar através de múltiplas sementes de treinamento ($I=10, J=1$) revelou uma variância substancialmente maior no desempenho pós-desaprendizado, confirmando que o problema se estende a tarefas de ranking federado.

Grandes Modelos de Linguagem (LLMs)

• Usando Llama-3.2-1B-Instruct no dataset TOFU, o estudo observou uma variância substancial entre sementes tanto na Utilidade do Modelo quanto na Qualidade do Esquecimento para métodos como GradAscent e Runlearning.
• Sementes de treinamento individuais abrangeram quase toda a gama de resultados possíveis, reforçando que avaliações de semente única são insuficientes para caracterizar o comportamento de desaprendizado de LLMs.

Principais Contribuições

1. Demonstração Empírica da Sensibilidade da Semente de Treinamento: O artigo demonstra numericamente que avaliações com uma única semente de treinamento podem produzir resultados não representativos em classificação de imagens, um achado que se estende ao FOLTR e aos LLMs.
2. Justificativa Teórica: Fornece uma análise de decomposição de variância provando que aumentar as sementes de desaprendizado não pode compensar a falta de sementes de treinamento quando $\sigma^2_{\text{train}} > 0$.
3. Orientação Prática: Os autores fornecem fórmulas e tabelas (Tabelas 1 e 2) para orientar pesquisadores na alocação de recursos computacionais entre repetições de treinamento e desaprendizado para atingir a confiança estatística desejada.
4. Correções de Implementação: O artigo corrige o comportamento não-determinístico nas implementações de referência do SSD e LFSSD, distinguindo entre as versões originais ("orig.") e as versões atualizadas e determinísticas ("det.").

Significância e Alegações

O artigo afirma que a prática comum de usar uma única semente de treinamento com múltiplas sementes de desaprendizado leva a avaliações não confiáveis de métodos de desaprendizado de máquina. Os autores afirmam que:

• Confiabilidade: Uma avaliação precisa requer a média entre múltiplas sementes de treinamento, pois a variabilidade introduzida pela inicialização do treinamento frequentemente domina a variabilidade introduzida pelo processo de desaprendizado.
• Generalização: Esta limitação não é específica para classificação de imagens, mas é uma propriedade geral do framework de avaliação, observada em aprendizado federado e LLMs.
• Viabilidade: Apesar do alto custo de treinamento, o uso de múltiplas sementes de treinamento permanece viável mesmo para LLMs (ex: treinar um modelo Llama-3.2-1B leva cerca de dez minutos), tornando prático o rigoroso processo de avaliação proposto.

O trabalho estende descobertas anteriores (ex: Cadet et al., Triantafillou et al.) ao aumentar a escala de sementes de treinamento utilizadas (75 vs. 10), explicando explicitamente por que múltiplas sementes de desaprendizado falham em compensar sementes de treinamento únicas, e fornecendo diretrizes concretas para o design experimental.