Resumo Técnico: Memorização Hierárquica em Modelos de Linguagem de Grande Escala

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem um modo de falha crítico na geração de citações acadêmicas: a fabricação de referências inexistentes. Embora os LLMs demonstrem fluência em diversos domínios, eles frequentemente alucinam registros bibliográficos que parecem estruturalmente corretos, mas são factualmente falsos. Este estudo postula que a alucinação e a memorização verbatim não são fenômenos distintos, mas resultados opostos do mesmo processo de aprendizado probabilístico. Especificamente, o artigo investiga como a redundância de um registro bibliográfico no corpus de pré-treinamento — aproximada por sua contagem de citações — determina a capacidade do modelo de recordá-lo com precisão. O problema central é caracterizar a estrutura interna desse processo de memorização: trata-se de um estado binário (memorizado vs. alucinado) ou de um fenômeno graduado e hierárquico, no qual diferentes componentes de um registro são recordados em diferentes níveis de redundância?

Metodologia

O estudo empregou um desenho experimental de sistema fechado utilizando GPT-4.1 (corte de conhecimento: junho de 2024) para gerar registros bibliográficos sem acesso a ferramentas de recuperação externas.

• Desenho Experimental: O modelo foi instruído a gerar cinco artigos acadêmicos recentes em 20 domínios distintos de ciência da computação (por exemplo, Vision Transformers, Diffusion Models, LoRA), resultando em 100 amostras totais.
• Verificação de Dados: Os registros gerados foram verificados manualmente contra o Google Scholar (a partir de outubro de 2025) para determinar a existência e coletar contagens de citações. O Google Scholar foi escolhido por sua ampla cobertura de pré-publicações, atas de conferências e discussões na web, o que melhor aproxima a diversidade dos corpora de pré-treinamento de LLMs do que bancos de dados acadêmicos tradicionais.
• Métricas de Avaliação:
  • Avaliação Manual: Os registros foram classificados como completamente corretos (Pontuação 2), parcialmente alucinados (Pontuação 1) ou completamente alucinados (Pontuação 0).
  • Avaliação Computacional: Para registros existentes, a similaridade cosseno (usando embeddings Sentence-BERT) foi calculada entre metadados gerados e autênticos para medir a fidelidade factual em uma escala contínua.
  • Análise por Nível de Campo: Para registros parcialmente alucinados ($n=68$), a correção de sete campos específicos de metadados (título, primeiro autor, coautores, ano, periódico, volume, páginas) foi avaliada individualmente para mapear trajetórias de memorização.

Principais Contribuições

Este estudo estende trabalhos preliminares ao reestruturar a dicotomia alucinação-memorização como um fenômeno graduado e estratificado hierarquicamente. As principais contribuições são:

1. Escala Log-Linear: Estabelecer que a precisão factual escala de forma log-linear com a contagem de citações, servindo como proxy para a redundância dos dados de treinamento.
2. Limites de Memorização: Identificar dois limites empiricamente distintos na transição da síntese probabilística para a recordação verbatim.
3. Memorização Hierárquica: Demonstrar que, dentro de um único registro bibliográfico, diferentes campos de metadados cruzam o limite de memorização em níveis de citação drasticamente diferentes.
4. Interferência de Memória: Caracterizar um modo de falha onde registros de alta citação semanticamente similares são confundidos, interpretado através da lente de atratores espúrios em redes de Hopfield modernas.

Resultados

1. Frequência de Citações e Precisão Factual

Existe uma forte correlação positiva ($r = 0,75, p < .001$) entre contagens de citações transformadas logaritmicamente e similaridade cosseno. Artigos de alta citação alcançam pontuações factuais significativamente mais altas do que os de baixa citação (d de Cohen = 1,02). A relação não é linear, mas exibe comportamento de limite:

• Ponto de Inflexão (~90 citações): O ponto onde o modelo transita de um comportamento puramente generativo (sintetizando tokens com base em associações) para um comportamento baseado em memória (recordando cada vez mais registros específicos).
• Ponto de Saturação (~1.248 citações): Além deste limite, os registros bibliográficos são reproduzidos quase verbatim (similaridade cosseno $\approx 1,0$) com variância residual mínima, indicando recordação determinística.

2. Padrões de Memorização Hierárquica

A análise de registros parcialmente alucinados revela que a memorização não é uniforme entre os campos de metadados. Os campos são recordados em uma ordem específica com base em sua redundância no corpus de treinamento:

• Memorização Mais Antiga: Títulos e Primeiros Autores mostram aumentos constantes de precisão começando a partir de contagens de citações mais baixas.
• Memorização Intermediária: Coautores e Nomes de Periódicos começam a ser reproduzidos com precisão apenas em torno do limite de saturação (~1.000 citações).
• Memorização Tardia/Inconfiável: Volume e Números de Página permanecem ruidosos mesmo em contagens de citações altas.
• Não Memorizado: Ano de Publicação mostra essencialmente nenhuma correlação com a contagem de citações ($r = 0,038$). O modelo parece gerar anos com base em priors de nível de domínio (estimando um período plausível com base em quando um campo estava ativo) em vez de recuperar o ano específico do registro.

3. Interferência de Memória

Mesmo para artigos altamente citados, erros podem ocorrer devido à confusão de registros similares. Um caso notável envolveu uma citação gerada para um artigo de revisão sobre GANs que combinava a lista de autores de um artigo seminal de 2014 com a formulação do título de uma pesquisa de 2020. Isso sugere que, quando múltiplos padrões de alta frequência se sobrepõem (títulos/autores similares), seus "atratores" na paisagem de energia do modelo se fundem, criando um atrator espúrio — um registro composto plausível, mas inexistente.

Significado e Afirmações

O artigo argumenta que a memorização em LLMs não é um estado binário ligado/desligado, mas um contínuo moldado pela distribuição desigual de conhecimento no corpus de pré-treinamento.

• Reestruturação da Alucinação: A alucinação não é meramente uma falta de conhecimento, mas uma reconstrução probabilística de dados de baixa redundância, enquanto a recordação verbatim é uma forma de sobreajuste a dados de alta redundância.
• Estrutura Interna: O estudo fornece evidências de que a "memória" de um LLM é internamente estruturada hierarquicamente. Um registro pode estar "parcialmente memorizado", onde o título e o autor são recordados verbatim, mas o local e o ano são alucinados.
• Implicações para Confiabilidade: As descobertas sugerem que, em cenários de sistema fechado (sem recuperação externa), a confiabilidade de dados estruturados gerados por LLMs é fundamentalmente limitada pela redundância do material de origem. Mesmo registros altamente citados são suscetíveis a interferência se compartilharem características semânticas com outros registros de alta frequência.
• Quadro Teórico: O artigo interpreta esses padrões de interferência através do quadro das redes de Hopfield modernas, onde o mecanismo de atenção atua como um processo de minimização de energia que pode convergir para atratores espúrios formados por padrões de alta frequência sobrepostos.

O estudo conclui que compreender esses limites hierárquicos e padrões de interferência é essencial para caracterizar os limites da memorização de LLMs e avaliar a confiabilidade de registros factuais gerados em domínios como citação acadêmica, precedentes legais e referências de patentes.