A Mechanistic Perspective and Circuit-Guided Difficulty Metric for Unlearning

Resumo Técnico: Uma Perspectiva Mecanística e uma Métrica de Dificuldade Guiada por Circuitos para o Desaprendizado (Unlearning)

Declaração do Problema
O desaprendizado de máquina (machine unlearning) é crítico para a construção de modelos de linguagem (LLMs) confiáveis e em conformidade, mas seu sucesso varia significativamente entre amostras de treinamento individuais. Enquanto alguns pontos de dados são apagados de forma confiável, outros persistem apesar de procedimentos de desaprendizado idênticos. Pesquisas existentes atribuem amplamente essa disparidade a fenômenos do lado dos dados, como correlações espúrias, redundância ou estrutura do conjunto de dados. No entanto, há uma carência de explicações mecanísticas, internas ao modelo, sobre por que certas amostras são intrinsecamente mais difíceis de esquecer. Este artigo aborda duas questões de pesquisa primárias: (1) O desaprendizado pode ser definido e quantificado a partir de uma perspectiva mecanística antes do desaprendizado? e (2) Essa dificuldade prevista pode ser vinculada aos circuitos internos dentro do modelo?

Metodologia: Dificuldade de Desaprendizado Guiada por Circuitos (CUD)
Os autores propõem a Dificuldade de Desaprendizado Guiada por Circuitos (CUD - Circuit-guided Unlearning Difficulty), uma métrica pré-desaprendizado que atribui uma pontuação de dificuldade contínua a cada amostra com base nas estruturas de circuitos internos do modelo. A metodologia procede em três estágios:

1. Identificação de Circuitos de Referência:
   Os autores primeiro identificam amostras âncoras "fáceis" e "difíceis" usando um objetivo de otimização de dois níveis.

   • Âncoras Fáceis ($D_{f,E}$): Amostras que exibem aumento de perda (baixa memorização) pós-desaprendizado.
   • Âncoras Difíceis ($D_{f,H}$): Amostras que retêm baixa perda (alta memorização) pós-desaprendizado, indicando falha no desaprendizado.
     Essas âncoras são selecionadas via otimização sobre o conjunto de esquecimento (forget set), repetida através de múltiplas sementes para garantir estabilidade.

2. Extração de Circuitos:
   Usando o Edge Attribution Patching com Integrated Gradients (EAP-IG), os autores extraem os circuitos computacionais responsáveis pelas previsões nos conjuntos de âncoras a partir do modelo original. Esses circuitos são representados como matrizes estruturadas que capturam interações funcionais entre componentes do modelo.

3. Cálculo da Pontuação CUD:
   Para qualquer amostra de consulta $z_i$, seu circuito específico $C_i$ é extraído. A pontuação CUD é computada medindo a similaridade de $C_i$ com o circuito da âncora fácil ($C_E$) e o circuito da âncora difícil ($C_H$). A pontuação é definida como:
   $$CUD(z_i) = \frac{1 - s_E}{(1 - s_E) + (1 - s_H)}$$
   onde $s_E$ e $s_H$ são métricas de similaridade entre o circuito da consulta e suas respectivas âncoras. A pontuação resultante varia de 0 (fácil de desaprender) a 1 (difícil de desaprender). Esta abordagem trata a dificuldade como uma posição geométrica relativa no espaço do circuito, independente do algoritmo de desaprendizado específico utilizado.

Principais Contribuições

• Primeira Análise de Disparidade ao Nível de Circuito: O artigo fornece a primeira análise mecanística de por que o desempenho do desaprendizado varia, revelando que amostras fáceis e difíceis são memorizadas através de circuitos internos estruturalmente distintos.
• Métrica CUD: A introdução de uma métrica principista e detalhada que quantifica a dificuldade intrínseca do desaprendizado usando sinais ao nível de circuito antes que qualquer intervenção de desaprendizado ocorra.
• Assinaturas Mecanísticas: A identificação de padrões de circuitos específicos que distinguem amostras fáceis e difíceis:
  • Amostras Fáceis: Associadas a interações mais curtas e rasas concentradas nas partes iniciais a intermediárias do modelo (ex: caminhos MLP iniciais a médios). Elas dependem de caminhos de computação compactos e repetidamente utilizados.
  • Amostras Difíceis: Dependem de caminhos mais longos e profundos próximos à computação de estágio tardio (ex: transições de MLP mais profundas e conexões diretas aos logits). Elas envolvem uma circuiteria heterogênea e difusa com roteamento mediado por atenção, tornando-as resistentes à intervenção localizada.

Resultados Experimentais
Os autores avaliaram o CUD nos conjuntos de dados TOFU (perfis de autores fabricados) e MovieLens-1M (recomendação) através de cinco métodos de desaprendizado (GradAscent, GradDiff, NPO, SimNPO, UNDIAL, E2UREC, RecEraser).

• Estratificação de Dificuldade: Usando o CUD, os autores construíram conjuntos de esquecimento "fáceis" e "difíceis". Substituir o conjunto de esquecimento padrão pelo conjunto difícil selecionado pelo CUD resultou em uma queda estatisticamente significativa na eficácia do desaprendizado (queda média de 14,1 pontos entre os métodos) e degradação no conhecimento retido. Inversamente, o conjunto fácil gerou uma melhoria na eficácia do desaprendizado (média de +3,3 pontos) com desempenho de retenção preservado ou ligeiramente melhorado.
• Robustez: As pontuações CUD permaneceram estáveis entre diferentes métricas de similaridade (Cosine, Jaccard, Hamming) e diferentes funções de perda de desaprendizado (GradDiff vs. UNDIAL), com uma alta correlação ($\rho = 0,76$) entre as pontuações derivadas de diferentes formulações de perda.
• Independência de Características Superficiais: A análise confirmou que o CUD não é confundido pela similaridade lexical (diversidade de n-gramas nas âncoras) ou comprimento de contexto (não há correlação entre a pontuação CUD e a contagem de tokens de entrada).
• Comparação com MRD: Ao contrário do Memory Removal Difficulty (MRD), que mede a sensibilidade a perturbações de parâmetros e correlaciona-se fracamente com o CUD ($\rho = -0,27$), o CUD captura estruturas de circuitos funcionais relevantes para a tomada de decisão e pode ser computado offline antes do desaprendizado.

Significância e Alegações
O artigo afirma que o CUD representa um primeiro passo em direção a uma análise principista e interpretável da dificuldade de desaprendizado. Ao mudar a perspectiva de heurísticas do lado dos dados para mecanismos internos do modelo, o trabalho demonstra que a dificuldade de desaprendizado está fundamentalmente ligada às vias estruturais (circuitos) que sustentam as previsões do modelo.

Os autores postulam que este entendimento mecanístico permite:

1. Identificação Proativa: A capacidade de identificar amostras fáceis e difíceis antes que o desaprendizado comece, sem executar o procedimento de desaprendizado.
2. Intervenção Direcionada: Insights sobre quais camadas ou módulos (ex: MLP inicial vs. logits tardios) dominam a resistência ao esquecimento, facilitando a depuração direcionada.
3. Benchmarking Independente de Método: A construção de conjuntos de esquecimento controlados e estratificados por dificuldade para testar algoritmos de desaprendizado de forma mais rigorosa do que os benchmarks padrão permitem.

O artigo conclui que, embora o CUD exija atualmente recursos computacionais para a descoberta de circuitos, ele fornece um framework fundamental para o desenvolvimento de futuros métodos de desaprendizado que se adaptem à dificuldade intrínseca da amostra em vez de tratar todas as amostras uniformemente.