🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

Este artigo apresenta o RULER, um conjunto de métricas de verificação em nível de representação que revelam memorização residual significativa em métodos de desaprendizagem de máquina que parecem bem-sucedidos sob avaliações tradicionais em nível de saída.

Autores originais: Georgina Cosma, Axel Finke

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Georgina Cosma, Axel Finke

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno muito inteligente que estudou um livro didático massivo para se tornar um especialista. Um dia, a editora diz ao aluno: "Por favor, esqueça tudo o que aprendeu sobre o Capítulo 5." O aluno quer obedecer, mas não pode simplesmente queimar o livro e começar de novo; isso levaria tempo e energia demais. Então, ele tenta "desaprender" o Capítulo 5 apagando mentalmente essas páginas específicas, mantendo intacto seu conhecimento sobre o restante do livro.

Este artigo, RULER, trata de verificar se o aluno realmente fez um bom trabalho ao esquecer.

O Problema: O "Esquecimento Falso"

Atualmente, os professores (ou auditores) verificam se o aluno esqueceu fazendo duas perguntas simples:

O Quiz: O aluno ainda consegue responder corretamente a perguntas sobre o resto do livro? (Sim, consegue.)
O Jogo de Adivinhação: Se mostrarmos ao aluno uma frase do Capítulo 5 e perguntarmos: "Você estudou isso?", ele consegue nos dizer? (Idealmente, ele deveria chutar aleatoriamente, como se estivesse lançando uma moeda.)

Os autores encontraram uma brecha. Descobriram que um aluno pode passar perfeitamente em ambos os testes, mas ainda ter o "fantasma" do Capítulo 5 pairando em sua mente. É como um mágico que consegue fazer um coelho desaparecer de um chapéu (a saída), mas ainda está secretamente segurando a pele do coelho no bolso (a memória interna). As respostas do aluno parecem limpas, mas seu processo de pensamento ainda lembra o capítulo proibido.

A Solução: RULER (Óculos de "Raio-X")

Os autores criaram um novo conjunto de ferramentas chamado RULER (Verificação em Nível de Representação). Em vez de apenas ouvir as respostas do aluno, o RULER olha dentro do cérebro do aluno para ver como seus pensamentos estão organizados.

Eles usam duas "lentes" principais (métricas) para verificar isso:

Lente 1: A Comparação com o "Padrão Ouro" (Métrica M2)

Imagine que você tem um aluno "Padrão Ouro" que nunca viu o Capítulo 5 em primeiro lugar.

O Teste: O RULER compara os "padrões de pensamento" do aluno que tentou esquecer o Capítulo 5 com os do aluno Padrão Ouro.
A Descoberta: Embora o aluno que "esqueceu" passe no quiz, seu cérebro ainda trata o Capítulo 5 de forma diferente do aluno Padrão Ouro. É como comparar dois mapas: um é um mapa perfeito de uma cidade sem um parque específico, e o outro é um mapa onde alguém tentou apagar o parque, mas deixou um contorno fantasmagórico e tênue. Os contornos não coincidem.
O Resultado: Em seus experimentos, quase todos os métodos usados para "desaprender" deixaram esses contornos fantasmagóricos para trás. Os alunos passaram no quiz, mas falharam no exame cerebral.

Lente 2: O Detetive "Sem Oráculo" (Métrica M4)

Às vezes, você não tem um aluno Padrão Ouro para comparar. Então, o RULER inventou uma maneira de verificar o cérebro do aluno usando apenas a própria memória do aluno.

O Teste: O RULER examina os "pensamentos" sobre o capítulo esquecido e pergunta: "Esses pensamentos parecem pertencer ao resto do livro, ou se destacam como um dedo dolorido?"
A Analogia: Imagine uma multidão de pessoas usando camisas azuis (os dados retidos). Você pede ao aluno para esquecer uma pessoa específica usando uma camisa vermelha (os dados a serem esquecidos).
- Se ele esquecer com sucesso, a pessoa de camisa vermelha deve se misturar tão bem que parecerá exatamente como as camisas azuis.
- Se ele falhar, a camisa vermelha ainda estará brilhando, ou pior, o aluno empurrou a camisa vermelha tão longe que agora ela está flutuando no espaço exterior (super-deslocamento).
A Descoberta: O RULER descobriu que, em muitos casos, os dados "esquecidos" não se misturaram. Ou se destacaram como uma memória, ou foram empurrados muito longe, criando uma distorção estranha na mente do aluno.

O Que Eles Testaram

Os pesquisadores testaram isso em quatro técnicas diferentes de "desaprendizagem" (como diferentes maneiras de tentar apagar uma memória):

Ascensão de Gradiente: Tentar empurrar ativamente a memória para longe.
NegGrad+: Uma mistura de empurrar para longe e reforçar o restante.
Ajuste Fino (Fine-Tuning): Apenas reestudando o resto do livro, esperando que a memória antiga desapareça naturalmente.
SCRUB: Um método complexo usando um "professor" para guiar o esquecimento.

O Veredito: Todos os quatro métodos passaram nos testes padrão de "Quiz" e "Jogo de Adivinhação". Mas quando o RULER olhou dentro de seus cérebros, todos os quatro métodos falharam. Todos deixaram traços significativos dos dados esquecidos.

Um Caso Especial: Reconhecimento Facial

O artigo também testou isso em um sistema de reconhecimento facial (como uma câmera de segurança).

O Cenário: O sistema foi treinado para reconhecer pessoas, mas depois foi solicitado a "esquecer" uma pessoa específica (uma solicitação de "direito ao esquecimento" do GDPR).
O Resultado: Mesmo após o desaprendizado, o sistema ainda reconhecia a estrutura facial dessa pessoa específica. Era como tentar desaprender o rosto de um amigo; o sistema podia dizer "Não sei quem é essa pessoa", mas o "mapa facial" interno ainda tinha um esboço perfeito dessa pessoa. Nenhum método testado conseguiu apagar completamente essa memória de nível de identidade.

A Grande Conclusão

O artigo conclui que os métodos atuais para "desaprendizagem de máquina" não são tão completos quanto pensávamos. Eles são bons em limpar as respostas que um modelo dá, mas são ruins em limpar as memórias internas que produzem essas respostas.

O RULER atua como um contador de verdades, mostrando-nos que, apenas porque um modelo diz que esqueceu, não significa que ele realmente esqueceu. Para proteger verdadeiramente a privacidade, precisamos verificar os "pensamentos" internos da IA, e não apenas sua saída final.

Resumo Técnico: RULER – Verificação em Nível de Representação do Esquecimento de Máquina

Declaração do Problema

O esquecimento de máquina visa remover a influência de registros de treinamento específicos (o conjunto de esquecimento) de um modelo implantado, sem o custo computacional de retreinar a partir do zero, preservando ao mesmo tempo o desempenho do modelo nos dados restantes (o conjunto de retenção). Os protocolos de avaliação atuais baseiam-se em critérios de nível de saída:

Precisão do Ataque de Inferência de Membro (AIM): Deve estar próxima de 0,50 (nível de chance).
Precisão do conjunto de retenção: Deve ser preservada.
Precisão do conjunto de esquecimento: Deve corresponder a um oráculo de retreinamento (um modelo treinado a partir do zero apenas no conjunto de retenção).

Os autores identificam uma limitação crítica nesses protocolos: um modelo pode satisfazer todos os três critérios de nível de saída, enquanto ainda codifica informações sobre os registros esquecidos em suas representações intermediárias. Métricas existentes não examinam como um modelo organiza internamente informações sobre registros individuais, potencialmente deixando uma "falsa sensação de privacidade", onde o modelo se comporta corretamente nas saídas, mas retém traços estruturais dos dados que deveria esquecer.

Metodologia: RULER

O artigo introduz o RULER (Verificação em Nível de Representação do Esquecimento de Máquina), um framework composto por duas lentes de métricas de verificação baseadas na similaridade de cosseno da penúltima camada. O framework opera sobre os embeddings $h_\theta(x)$ imediatamente antes da cabeça de saída específica da tarefa.

Lente 1: Métricas Comparativas com Oráculo (Requer um Oráculo de Retreinamento)

Essas métricas comparam o modelo esquecido ( $\theta_u$ ) contra um oráculo de retreinamento ( $\theta_r$ ) treinado a partir do zero no conjunto de retenção. Para garantir que as diferenças representacionais reflitam o procedimento de esquecimento e não a inicialização aleatória, o modelo original ( $\theta_o$ ) e o oráculo ( $\theta_r$ ) compartilham a mesma semente aleatória.

M1 (Similaridade de Comparação com Oráculo): A similaridade de cosseno média entre registros do conjunto de esquecimento em $\theta_u$ e $\theta_r$ . Embora alta similaridade seja desejada, o M1 carece de um valor nulo fixo para testes de significância.
M2 (Gap de Calibração Assinado): A principal métrica da Lente 1. Calcula a diferença entre a similaridade média dos registros do conjunto de esquecimento e a similaridade mediana dos registros do conjunto de retenção entre $\theta_u$ $θ_{u}$ e $\theta_r$ $θ_{r}$ .
- Hipótese Nula: $M2 = 0$ .
- Interpretação: Valores negativos indicam memorização residual (registros do conjunto de esquecimento são menos similares ao oráculo do que os registros do conjunto de retenção). Valores positivos indicam supercorreção. A mediana é usada para a linha de base de retenção para evitar inflação devido a distribuições com assimetria positiva.
M3 (Deslocamento de Representação): Mede a mudança na similaridade com o oráculo antes e depois do esquecimento. Valores positivos indicam que o procedimento de esquecimento moveu as representações mais próximas do oráculo; valores negativos indicam que elas se afastaram.

Lente 2: Métrica Livre de Oráculo (Não Requer Oráculo de Retreinamento)

M4 (Rank Percentílico): Esta métrica opera exclusivamente na geometria interna do modelo esquecido $\theta_u$ $θ_{u}$ . Para cada registro de esquecimento, encontra o vizinho mais próximo no conjunto de retenção e mede sua similaridade de cosseno. Essa similaridade é então ranqueada contra a distribuição de similaridades de vizinhos mais próximos entre os próprios registros de retenção (leave-one-out).
- Hipótese Nula: $M4 = 0,50$ .
- Interpretação: Um valor de 0,50 implica que o registro de esquecimento é geometricamente indistinguível de um registro retido. Valores $> 0,50$ indicam memorização residual (o registro de esquecimento é muito similar ao conjunto de retenção). Valores $< 0,50$ indicam superdeslocamento (o registro foi empurrado muito longe da distribuição de retenção).

Configuração Experimental

Conjuntos de Dados: Dez conjuntos de dados de classificação tabular (por exemplo, Renda Adulta, Câncer de Mama, Crédito Alemão) foram usados como configuração principal. O framework também foi aplicado a dados tabulares em grande escala, classificação de imagens (CIFAR-10, SVHN, CIFAR-100), texto clínico (MTSamples com Bio_ClinicalBERT) e esquecimento de identidade facial (LFW).
Modelos: Um MLP fixo de duas camadas ocultas (TabularMLP) para dados tabulares; CNNs e ResNet-18 para imagens; modelos baseados em BERT para texto.
Métodos de Esquecimento: Quatro métodos aproximados foram avaliados: Ascensão de Gradiente, NegGrad+, Ajuste Fino e SCRUB (baseado em destilação). Um quinto método, Bad Teacher, foi incluído para testar a discordância estrutural versus específica do método.
Protocolo: Os experimentos utilizaram 10 conjuntos de dados, 10 sementes de treinamento e três frações de esquecimento ( $1\%$ , $5\%$ , $10\%$ ). A análise estatística empregou Modelos de Efeitos Mistos Lineares (LMM) com conjunto de dados como intercepto aleatório, juntamente com testes de postos sinalizados de Wilcoxon.

Principais Resultados

1. Discordância entre Níveis de Saída e Representação

Todos os quatro métodos aproximados de esquecimento passaram nas avaliações padrão de nível de saída (precisão AIM dentro de $\pm 0,05$ de 0,50, precisão de retenção preservada). No entanto, o M2 detectou resíduos estatisticamente significativos em 10 de 12 condições ( $p < 0,05$ ).

Direcionalidade: O M2 foi consistentemente negativo em todos os métodos e frações de esquecimento, indicando que os registros do conjunto de esquecimento permanecem mais distantes da representação do oráculo do que os registros retidos.
Tamanho do Efeito: Os tamanhos de efeito ( $r_{rb}$ ) cresceram conforme a fração de esquecimento aumentou, atingindo magnitudes grandes ($0,90 - 0,96$) na fração de esquecimento de $10\%$ .
Independência do Método: Testes post-hoc não mostraram diferença significativa entre os quatro métodos no M2, M4 ou AIM. A discordância é uma propriedade da tarefa de esquecimento em si, não de um algoritmo específico.

2. Validação do Bad Teacher

O método Bad Teacher, que utiliza um mecanismo fundamentalmente diferente (treinar um estudante para corresponder a um oráculo inicializado aleatoriamente em registros de esquecimento), também passou nas verificações de nível de saída, mas exibiu valores negativos significativos de M2. Isso confirma que a falha em apagar representações intermediárias é uma limitação estrutural das abordagens atuais de esquecimento aproximado, e não um artefato de técnicas específicas baseadas em gradiente ou destilação.

3. Utilidade Diagnóstica do M4

Dados Tabulares/Gerais: O M4 mostrou ranks médios ligeiramente acima de 0,50, impulsionados por conjuntos de dados com memorização detectável (por exemplo, Câncer de Mama, Doença Cardíaca).
Identidade Facial (LFW): Em um cenário de identidade facial onde o modelo foi treinado para classificação de gênero, mas incidentalmente codificou identidade, os valores de M4 pré-esquecimento foram extremamente altos ($0,73 - 0,94$), confirmando forte memorização ao nível de identidade. Após o esquecimento, nenhum método apagou completamente esse sinal; a Ascensão de Gradiente e o Ajuste Fino o deixaram largely intacto, enquanto o SCRUB causou superdeslocamento em frações baixas de esquecimento.
Grande Escala/Memorização Fraca: Em conjuntos de dados tabulares e de imagens em grande escala onde os modelos originais mostraram M4 $\approx 0,50$ (sem memorização detectável), os métodos de esquecimento às vezes introduziram artefatos (superdeslocamento ou deslocamento), sugerindo que o esquecimento pode degradar a qualidade da representação quando não é estritamente necessário.

Significado e Alegações

O artigo afirma que a avaliação em nível de saída é insuficiente para verificar o esquecimento de máquina. Um modelo pode satisfazer todos os critérios padrão de privacidade e utilidade enquanto retém traços mensuráveis de dados esquecidos em suas representações internas.

RULER como Ferramenta de Verificação: Os autores propõem o M2 e o M4 como adições necessárias ao protocolo de avaliação. O M2 fornece um teste em nível populacional para memorização residual contra um oráculo, enquanto o M4 serve como um diagnóstico livre de oráculo tanto para pré-esquecimento (avaliando se o esquecimento é necessário) quanto para pós-esquecimento (detectando apagamento incompleto ou superdeslocamento).
Limitações dos Métodos Atuais: O M2 negativo consistente entre diversos métodos e arquiteturas sugere que os objetivos atuais de esquecimento aproximado são otimizados para o comportamento de saída, mas falham em restringir representações intermediárias.
Escopo Modesto: Os autores afirmam explicitamente que essas métricas são ferramentas de verificação técnica, não testes de conformidade legal para o Artigo 17 do GDPR. Elas caracterizam resíduos representacionais, mas não afirmam definir adequação regulatória. Além disso, as métricas dependem da similaridade de cosseno, que não é invariante à rotação, necessitando do design de sementes emparelhadas para o M2.

Em conclusão, o artigo demonstra que o "esquecimento" no aprendizado de máquina é atualmente uma ilusão em nível de saída para muitos métodos aproximados, e o apagamento verdadeiro requer verificação em nível de representação.