Resumo Técnico: Compreendendo a Memorização Verbatim em LLMs através da Descoberta de Circuitos

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades notáveis, os mecanismos subjacentes da memorização verbatim — a reprodução exata de dados de treinamento — permanecem pouco compreendidos. A pesquisa de interpretabilidade existente identificou que a memorização é distribuída entre camadas (camadas iniciais promovendo tokens, camadas superiores amplificando a confiança) e envolve cabeças de atenção específicas, mas carece de uma explicação mecanística de como o modelo decide recuperar uma sequência memorizada versus gerar conteúdo novo. Além disso, os métodos padrão de descoberta de circuitos, que dependem de conjuntos de dados contrastivos (exemplos limpos vs. corrompidos), têm sido amplamente restritos a tarefas pequenas e bem definidas (ex: Identificação de Objeto Indireto) devido à dificuldade de construir tais conjuntos de dados para tarefas de código aberto como a memorização.

Metodologia

Os autores abordam este problema utilizando interpretabilidade mecanística, especificamente o framework de circuitos, para isolar subgrafos computacionais mínimos responsáveis pela memorização.

1. Construção do Conjunto de Dados

• Fonte: O estudo utiliza o subconjunto Wikipedia do dataset The Pile, processado usando o modelo GPT-Neo-125M.
• Seleção de Memorização: As amostras foram filtradas para um score de memorização de exatamente 1.0 (correspondência perfeita de nível de token com o ground truth), resultando em 4.047 amostras.
• Pontos de Divergência: Os autores encurtaram algoritmicamente os comprimentos de contexto até que a geração do modelo divergisse do caminho memorizado (detectada via queda no score BLEU abaixo de 0.3). Esses pontos definem a transição da memorização para a geração de conteúdo novo.
• Conjuntos de Dados Contrastivos: Dois conjuntos de dados distintos foram criados para isolar diferentes aspectos da memorização:
  • Dataset de Decisão de Memorização: Projetado para identificar componentes que disparam a decisão inicial de recuperar conteúdo memorizado. Ele contrasta contextos "limpos" (um token de distância de disparar a memorização) com contextos "corrompidos" (semanticamente similares, mas que levam a tokens não memorizados).
  • Dataset de Comparação de Ramificação (Branch Comparison): Projetado para identificar componentes responsáveis por manter um caminho memorizado uma vez que a decisão foi tomada. Ele contrasta contextos que continuam ao longo do caminho memorizado contra aqueles que divergem para o token não memorizado de maior probabilidade do modelo.

2. Descoberta de Circuitos

• Técnica: O estudo emprega Atribuição de Patching de Arestas com Gradientes Integrados (EAP-IG). Este método usa gradientes para aproximar os efeitos do patching de ativação, reduzindo o custo computacional de milhares de passagens de forward para apenas duas passagens de forward e uma de backward.
• Estratégias de Intervenção:
  • Ruído (Corrompido $\to$ Limpo): Realizar o patching de ativações de entradas corrompidas em entradas limpas para identificar componentes que, quando perturbados, quebram a memorização.
  • Denoising (Limpo $\to$ Corrompido): Realizar o patching de ativações de entradas limpas em entradas corrompidas para identificar componentes que restauram ou induzem a memorização.
• Métrica de Fidelidade (Faithfulness): Os circuitos são avaliados com base em um score de fidelidade normalizado, garantindo que o subgrafo realize $\ge$ 85% do desempenho da tarefa do modelo completo.

Principais Contribuições

1. Criação de Dataset: A construção de dois conjuntos de dados contrastivos especializados abordando a iniciação (Decisão) e a continuação (Comparação de Ramificação) da memorização.
2. Descoberta de Circuitos: A identificação de circuitos compactos (contendo $\le$ 5% das arestas do modelo) responsáveis por essas tarefas específicas de memorização. Notavelmente, o circuito de Comparação de Ramificação foi encontrado como extremamente minimalista (com apenas 14 arestas, ou 0.04% do modelo).
3. Verificação Rigorosa: Um framework de avaliação multifacetado incluindo comparações de baseline aleatório, generalização entre tarefas, generalização entre corpora e testes contra métodos alternativos de patching (ablação zero, ablação de média).
4. Insights Mecanísticos:
   • Assimetria no Controle: Circuitos capazes de disparar a memorização também podem mantê-la uma vez iniciada. No entanto, circuitos que apenas mantêm a memorização não podem disparar sua iniciação.
   • Diferenças de Generalização: Mecanismos que impedem a memorização (circuitos de interrupção) transferem-se robustamente através de diferentes domínios de texto (GitHub, Enron Emails, Common Crawl). Por outro lado, mecanismos que induzem a memorização são altamente dependentes de contexto e não generalizam bem entre domínios.

Resultados

• Tamanho do Circuito: A tarefa de Comparação de Ramificação rendeu um circuito notavelmente pequeno (14 arestas, 0.04% do modelo) com alta fidelidade (1.00). A tarefa de Decisão de Memorização exigiu circuitos maiores (ex: 141 arestas, 0.43%) para níveis de fidelidade semelhantes.
• Generalização entre Tarefas:
  • Circuitos de Decisão de Memorização controlaram com sucesso se o modelo continuaria pelos caminhos memorizados na tarefa de Comparação de Ramificação (fidelidade 1.00).
  • Circuitos de Comparação de Ramificação performaram mal quando aplicados à tarefa de Decisão de Memorização, indicando que os mecanismos para continuar uma sequência memorizada são distintos daqueles que realizam a decisão inicial de memorizar.
• Generalização entre Corpora:
  • Prevenção: Circuitos de ruído (projetados para quebrar a memorização) reduziram efetivamente a precisão da memorização através de diversos domínios (ex: reduzindo a precisão de 90.5% para 4.5% no Common Crawl).
  • Indução: Circuitos de denoising (projetados para induzir a memorização) mostraram transferibilidade limitada. Embora os scores de fidelidade tenham permanecido altos, a indução real da memorização em novos domínios foi fraca (ex: aumentando a precisão de 5.2% para apenas 23.8% no Common Crawl).
• Robustez: Os circuitos identificados mostraram alta dependência dos pares específicos de "limpo-corrompido" usados para a descoberta. Quando testados com métodos alternativos de patching (ablação zero ou de média), a fidelidade caiu significativamente, sugerindo que os circuitos dependem de ativações contrafatuais específicas em vez de propriedades estruturais gerais.

Significância e Alegações

O artigo afirma fornecer uma compreensão mecanística de como os LLMs transitam entre memorização e geração. A principal significância reside na descoberta de uma assimetria nos circuitos de memorização:

• Gatilho vs. Manutenção: A capacidade de iniciar a memorização engloba a capacidade de mantê-la, mas o inverso não é verdadeiro. Isso sugere uma estrutura de controle hierárquica onde um circuito de "gatilho" específico decide acessar a informação armazenada, enquanto mecanismos separados lidam com a continuação.
• Prevenção vs. Indução: O estudo sugere que a prevenção da memorização é um mecanismo mais generalizável entre domínios de texto do que a indução da memorização. Isso implica que intervenções de segurança visando os mecanismos de "gatilho" podem ser mais eficazes e robustas do que tentativas de induzir ou suprimir a memorização de maneira agnóstica ao domínio.
• Contradição com Trabalhos Anteriores: Os achados contrastam com Stoehr et al. (2024), que descobriram que passagens memorizadas são difíceis de corromper. Os autores hipotetizam que essa diferença surge porque eles visam caminhos computacionais específicos (circuitos) em vez de pesos implicados pelo gradiente. Eles propõem um modelo onde um circuito de "gatilho" é facilmente interrompido, enquanto o armazenamento subjacente da informação permanece robusto.

Os autores mantêm a modéstia, observando limitações como a dependência de um único modelo pequeno (GPT-Neo-125M), o uso de métodos de aproximação (EAP-IG) em vez de patching direto, e o potencial especificidade de seus achados para o subconjunto Wikipedia do The Pile. Eles concluem que, embora esses circuitos ofereçam uma janela para a memorização, validação adicional através de diferentes tamanhos de modelos e arquiteturas é necessária.