Resumo Técnico: Inferência Estatística de Pertencimento (SMI) para Auditoria Confiável de Modelos Desaprendidos

1. Declaração do Problema

O Desaprendizado de Máquina (MU) é um mecanismo crítico para fazer cumprir o "direito ao esquecimento", permitindo a remoção de dados de treinamento específicos de um modelo sem retreinamento do zero. Um desafio central neste campo é a auditoria: verificar de forma confiável se um modelo realmente esqueceu os dados especificados.

Os padrões atuais de auditoria dependem predominantemente de Ataques de Inferência de Pertencimento (MIAs). A suposição predominante é que, se uma MIA falhar em identificar uma amostra como membro, o modelo a esqueceu com sucesso. Os autores argumentam que essa suposição é fundamentalmente falha por duas razões principais:

1. Viés de Alinhamento: Amostras desaprendidas ($F_u$) ocupam um espaço de características distinto tanto das amostras de membros originais ($F_m$) quanto das amostras genuinamente não membros ($F_n$). Enquanto $F_m$ contribui com gradientes positivos, $F_n$ não contribui com gradientes e $F_u$ induz gradientes negativos. MIAs convencionais assumem que $F_u$ se alinha com $F_n$; no entanto, a inferência falha frequentemente resulta desse desalinhamento em vez do esquecimento real, levando a um "esquecimento ilusório".
2. Sobrecarga Computacional: Métodos de auditoria MIA de última geração (por exemplo, LiRA, RMIA) exigem o treinamento de numerosos "modelos sombra" para estabelecer baselines, incorrendo em custos computacionais proibitivos comparáveis ao retreinamento do próprio modelo alvo.

2. Metodologia: Inferência Estatística de Pertencimento (SMI)

Para abordar o viés de alinhamento e a ineficiência computacional, os autores propõem a Inferência Estatística de Pertencimento (SMI), uma estrutura de auditoria sem treinamento.

Fundamento Teórico

O artigo reformula o problema de auditoria usando a teoria do Transporte Ótimo. Em vez de visualizar o desaprendizado como uma tarefa de classificação binária (membro vs. não membro), a SMI modela a distribuição de características desaprendida $F_u$ como uma mistura convexa da distribuição de membros $F_m$ e da distribuição de não membros $F_n$:
$$F_u \approx (1 - \rho)F_m + \rho F_n$$
Aqui, $\rho$ representa a proporção de mistura (ou taxa de esquecimento). O objetivo da auditoria muda de treinar um classificador para estimar $\rho$. Os autores provam, via teoria PAC-Bayes (usando divergência $\chi^2$), que a auditoria baseada em MIA sofre de um termo de erro de alinhamento inevitável controlado pela mudança de distribuição entre os dados de treinamento do atacante e os dados desaprendidos reais.

Variantes Algorítmicas

A SMI estima $\rho$ ajustando momentos estatísticos das distribuições sem treinar nenhum modelo auxiliar:

1. SMI (Momentos de Baixa Ordem):

   • Assume que o modelo de mistura vale para os dois primeiros momentos (média $\mu$ e covariância $\Sigma$).
   • Deriva uma solução de forma fechada minimizando a discrepância da norma de Frobenius entre a covariância empírica dos dados desaprendidos e a covariância prevista pelo modelo de mistura.
   • Resolve uma equação cúbica univariada para encontrar o $\rho$ ótimo.

2. SMI-M (Discrepância de Média Máxima):

   • Aborda a instabilidade da estimativa de covariância em espaços de alta dimensão e distribuições não gaussianas.
   • Incorpora distribuições de características em um Espaço de Hilbert de Reprodutor de Kernel (RKHS) usando incorporações de média de kernel.
   • Formula a estimativa como um problema de programação quadrática convexa para minimizar o MMD entre a distribuição desaprendida e a combinação convexa das distribuições de membros e não membros.

Quantificação de Incerteza

Diferentemente dos métodos MIA que dependem de modelos sombra para intervalos de confiança, a SMI emprega bootstrapping no conjunto de características de auditoria. Ao reamostrar os dados desaprendidos e reestimar $\rho$, a SMI fornece intervalos de referência (por exemplo, percentis 5 a 95) para quantificar a confiabilidade do resultado da auditoria.

3. Contribuições Principais

• Insight Teórico: O artigo prova que a inferência de pertencimento falha não implica esquecimento real devido a um "viés de alinhamento" inerente entre amostras desaprendidas e não membros. Estabelece que a auditoria deve medir proporções de mistura distribucionais em vez de sucesso de classificação binária.
• Estrutura Sem Treinamento: A SMI elimina a necessidade de modelos sombra e treinamento de classificador MIA, reduzindo significativamente a sobrecarga computacional.
• Métricas de Confiabilidade: A estrutura fornece intervalos de referência baseados em bootstrapping, oferecendo uma maneira fundamentada de avaliar a confiança das decisões de auditoria.
• Superioridade Empírica: Extensos experimentos demonstram que a SMI (particularmente a SMI-M) supera consistentemente as baselines existentes baseadas em MIA (incluindo LiRA, RMIA, IAM e RULI) em precisão de estimativa em vários conjuntos de dados (CIFAR-10/100, CINIC-10) e arquiteturas de modelo (ResNet, ViT).

4. Resultados Experimentais

Os autores avaliaram a SMI contra sete baselines baseadas em MIA em configurações de caixa branca:

• Precisão: A SMI-M alcançou a maior precisão de estimativa ($\rho^*$) em todos os conjuntos de dados, frequentemente excedendo 90% de precisão em cenários de esquecimento completo (alvos de retreinamento), enquanto os métodos MIA mostraram variância significativa e menor precisão.
• Eficiência: As variantes SMI exigiram apenas uma única passagem de inferência (mais bootstrapping) e nenhum treinamento de modelo sombra. Em contraste, as baselines MIA exigiram o treinamento de 8 a 64 modelos sombra, resultando em custos computacionais ordens de magnitude maiores que a SMI.
• Robustez: A SMI-M permaneceu estável sob variações nas escolhas de kernel e larguras de banda. O método demonstrou desempenho confiável com tão poucos quanto 20 amostras por classe, embora o desempenho tenha melhorado com conjuntos de auditoria maiores.
• Cenários Práticos: Quando aplicado a métodos de desaprendizado aproximado (FineTune, Fisher, Scrub), a SMI diferenciou com sucesso entre vários níveis de esquecimento, identificando o Scrub como o método aproximado mais eficaz entre os testados.

5. Significado e Alegações

O artigo posiciona a SMI como uma alternativa fundamentada e eficiente à auditoria baseada em MIA. Seu significado reside em:

1. Corrigir uma Falha Fundamental: Desafia a dependência da comunidade de MIA para verificação de desaprendizado, demonstrando que a heurística "ataque falhou = esquecido" é estruturalmente insustentável.
2. Escalabilidade: Ao remover a dependência de modelos sombra, a SMI torna a auditoria confiável viável para modelos em grande escala onde o treinamento de modelos sombra é computacionalmente proibitivo.
3. Garantias Teóricas: O método é fundamentado em limites PAC-Bayes e teoria de transporte ótimo, fornecendo uma base matemática rigorosa para auditar o desempenho do desaprendizado.

Os autores concluem que a SMI estabelece um novo padrão para auditoria de modelos desaprendidos, oferecendo tanto garantias teóricas quanto forte desempenho empírico sem o ônus computacional das abordagens anteriores.