Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms

Título: Revisitando a Memorização Não-Verbatim em Grandes Modelos de Linguagem: O Papel das Formas Superficiais de Entidades

1. O Problema

A avaliação da confiabilidade e das limitações dos Grandes Modelos de Linguagem (LLMs) depende da compreensão do que eles memorizam sobre conhecimento factual. Uma abordagem comum é a Resposta a Perguntas (QA) baseada em entidades, onde a memorização é medida pela precisão das respostas sobre fatos relacionados a entidades.

No entanto, a maioria das avaliações existentes utiliza uma única forma superficial canônica (o nome padrão, como "Pelé") para consultar cada entidade. Isso cria uma ambiguidade fundamental:

• Se o modelo responde corretamente, ele realmente memorizou o fato sobre a entidade, ou apenas aprendeu a acessar esse fato através daquele nome específico?
• Entidades reais possuem múltiplas formas superficiais (apelidos, abreviações, variações ortográficas, erros comuns). Se um modelo falha ao usar um nome alternativo (ex: "Edson Arantes do Nascimento" em vez de "Pelé"), isso indica uma falha na memorização do fato ou apenas uma dependência superficial?

O artigo argumenta que as avaliações atuais não conseguem distinguir entre a memorização do fato e a acessibilidade através de um nome específico, levando a uma visão incompleta da robustez dos LLMs.

2. Metodologia: O Dataset RedirectQA

Para investigar sistematicamente esse fenômeno, os autores introduzem o RedirectQA, um novo dataset de QA baseado em entidades.

• Construção do Dataset:
  • Utiliza triplos factuais do Wikidata (sujeito, relação, objeto).
  • Aproveita as informações de redirecionamento do Wikipedia para associar múltiplas formas superficiais a cada entidade.
  • Mantém a relação factual e a resposta "gold" (dourada) fixas, variando apenas a forma superficial da entidade no sujeito da pergunta.
• Categorização das Formas Superficiais:
  As formas de redirecionamento são classificadas em categorias para análise controlada:
  1. Nomes Alternativos e Abreviações: (ex: "NYT" para "The New York Times", nomes de nascimento).
  2. Variações Ortográficas: (ex: diferenças de diacríticos, pontuação, maiúsculas/minúsculas).
  3. Erros Típicos: (ex: erros de digitação comuns, como "Christian Ronaldo" em vez de "Cristiano Ronaldo").
• Estrutura: O dataset contém 30.560 instâncias de formas superficiais derivadas de 14.672 triplos factuais, gerando pares canônico-redirecionamento para análise de consistência.

3. Experimentos e Configuração

• Modelos Avaliados: Foram testados 13 LLMs de diferentes arquiteturas e tamanhos, incluindo modelos transparentes (Pythia, OpenSciRef, OLMo 2), modelos de pesos abertos (Llama 3.1, Qwen 3) e um modelo proprietário (GPT-4o-mini).
• Protocolo de Inferência: As perguntas foram geradas usando templates específicos para cada relação. A avaliação utilizou correspondência de strings sensível a aliases (aceitando variações válidas do nome da resposta).
• Análise de Frequência: Para entender a origem da memorização, os autores decomuseram a frequência da entidade em frequências de formas superficiais específicas, utilizando corpora de pré-treinamento transparentes (Pile, OLMo Mix) e linking de entidades (DBpedia Spotlight).

4. Resultados Principais

A. Inconsistência Dependente da Categoria
Os resultados mostram que a precisão das previsões muda frequentemente quando apenas a forma superficial da entidade é alterada, mesmo que o fato subjacente seja o mesmo.

• Variações Ortográficas Menores: Os modelos são relativamente robustos a pequenas variações (erros de digitação, diacríticos, pontuação).
• Variações Léxicas Maiores: Há uma consistência significativamente menor para Nomes Alternativos e Abreviações. Por exemplo, modelos frequentemente falham ao responder sobre "NYT" mesmo que acertem sobre "The New York Times".
• Padrões Assimétricos: Em alguns casos, o modelo falha no título canônico do Wikipedia, mas acerta em uma forma de redirecionamento, indicando que a "canonicidade" humana não garante a melhor forma de acesso para o LLM.

B. Análise de Frequência (Acoplamento entre Formas)
A análise de correlação e correlação parcial revela insights sobre como o conhecimento é armazenado:

• Tanto a frequência da forma superficial específica quanto a frequência agregada da entidade estão positivamente correlacionadas com a precisão.
• Acoplamento Cross-Surface: A frequência da entidade contribui para a precisão além da frequência da forma superficial específica. Isso sugere que a memorização não é puramente independente para cada forma de nomeação; existe um "acoplamento" onde o conhecimento sobre a entidade se beneficia da exposição total a todas as suas variações nominais no corpus de treinamento.
• Para formas canônicas, a frequência agregada da entidade é um preditor mais forte do que a frequência isolada do nome canônico.

5. Contribuições Chave

1. Dataset RedirectQA: Um recurso controlado que desacopla o fato da forma superficial, permitindo estudar a dependência de superfície na memorização factual.
2. Evidência de Dependência de Superfície: Demonstra que a memorização não-verbatim não é totalmente invariante à superfície. LLMs podem "esquecer" fatos quando apresentados com nomes alternativos, mesmo que os conheçam sob o nome canônico.
3. Refinamento da Teoria de Memorização: Propõe uma visão intermediária onde a memorização factual é nem puramente específica à superfície (independente para cada nome) nem totalmente invariante à superfície. Existe um acoplamento entre as formas superficiais de uma mesma entidade.
4. Implicações para Avaliação: Alerta que avaliar LLMs apenas com nomes canônicos pode mascarar falhas críticas de acesso ao conhecimento factual em cenários do mundo real, onde os usuários usam abreviações, apelidos ou cometem erros.

6. Significado e Conclusão

O trabalho destaca a importância da diversidade de formas superficiais na avaliação de LLMs. A consistência factual não é garantida apenas pelo conhecimento do fato, mas também pela capacidade do modelo de generalizar esse conhecimento através de diferentes referências nominais.

As descobertas sugerem que, para avaliar a confiabilidade real dos modelos, é necessário ir além das consultas canônicas e testar a robustez contra variações naturais de linguagem (apelidos, abreviações, erros). Além disso, a análise de frequência indica que a exposição a múltiplas formas de uma entidade no treinamento é crucial para a consolidação do conhecimento factual, sugerindo que a "memória" do modelo é uma rede interconectada de referências, e não um conjunto de fatos isolados por nome.

Limitações: O estudo foca em QA em inglês e depende da cobertura do Wikipedia/Wikidata, o que pode refletir vieses editoriais dessas plataformas. A análise de frequência está restrita a modelos com transparência de pré-treinamento.