💬 NLP

Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

Este artigo estabelece que a recordação factual em modelos de linguagem de grande escala segue uma lei de escala sigmoidal previsível, impulsionada pelos efeitos combinados da contagem de parâmetros do modelo e da frequência dos tópicos nos dados de treinamento, explicando até 94% da variância de desempenho dentro de famílias específicas de modelos.

Autores originais: Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante dentro do cérebro de um robô. Esse robô é uma IA, e sua função é responder a perguntas extraindo fatos dessa biblioteca. Às vezes, o robô acerta. Outras vezes, ele inventa fatos que soam reais, mas não são verdadeiros. Os autores deste artigo chamam esses fatos inventados de "confabulações".

Este artigo faz uma pergunta simples: O que faz o robô dizer a verdade com mais frequência?

Os pesquisadores testaram 38 modelos de IA diferentes (desde os menores até os massivos) e pediram que eles listassem 10 artigos acadêmicos reais para 24 tópicos diferentes. Alguns tópicos eram superpopulares (como "Mudanças Climáticas"), enquanto outros eram muito de nicho (como "Prevenção da evasão escolar em áreas rurais"). Em seguida, eles verificaram se os artigos listados pelos robôs realmente existiam.

Eis o que eles descobriram, explicado com algumas analogias do cotidiano:

1. Os Dois Ingredientes para a Verdade

O artigo descobriu que acertar a resposta depende de duas coisas principais, trabalhando juntas como uma receita:

O Tamanho do Cérebro (Tamanho do Modelo): Quão grande é a IA. Pense nisso como o tamanho das prateleiras da biblioteca. Uma biblioteca maior pode armazenar mais livros sem que eles sejam esmagados ou misturados.
Quão Famoso é o Tópico (Frequência do Tópico): Com que frequência aquele tópico específico aparece nos livros que a IA leu durante o aprendizado. Pense nisso como quantas cópias de um livro específico existem na biblioteca. Se um tópico é mencionado em milhares de livros, a IA o conhece bem. Se é mencionado apenas em alguns poucos, a IA pode ter dificuldades.

2. A Batalha "Sinal vs. Ruído"

Os autores usam um conceito chamado Relação Sinal-Ruído para explicar como isso funciona. Imagine que você está tentando ouvir um amigo sussurrar em uma sala lotada e barulhenta.

O Sinal: Esta é a "verdade" sobre um tópico. Se o tópico é muito comum nos dados de treinamento (como "Mudanças Climáticas"), o sinal é alto e claro.
O Ruído: Esta é a interferência causada pela memória limitada da IA. Se a IA é pequena, sua "sala" está muito lotada de outros fatos, criando muita estática.
O Resultado: Para ouvir a verdade (recordar um fato), o Sinal (quão famoso é o tópico) precisa ser alto o suficiente para cortar através do Ruído (quão pequena é a memória da IA).

3. A "Curva em S" do Sucesso

A descoberta mais interessante é que a relação não é uma linha reta. É uma curva em S (uma sigmoide). Imagine uma rampa que tem um fundo plano, um meio íngreme e um topo plano.

O Fundo Plano (O Chão): Quando a IA é muito pequena ou o tópico é muito obscuro, o "ruído" é alto demais. A IA não consegue ouvir a verdade de forma alguma. Em vez de chutar, ela começa a inventar modelos. Ela pode dizer "Smith (1990) escreveu sobre X" repetidamente, usando nomes comuns como "Smith" apenas para preencher o espaço. Ela não está tentando mentir; está apenas ficando sem dados reais.
O Meio Íngreme (A Rampas): À medida que a IA fica maior ou o tópico se torna mais popular, o sinal começa a romper o ruído. É aqui que a IA melhora significativamente muito rapidamente. Um pequeno aumento no tamanho ou na frequência dos dados leva a um grande salto na veracidade.
O Topo Plano (O Teto): Eventualmente, a IA fica tão grande e o tópico tão comum que atinge um limite. Ela já está lembrando quase tudo o que pode sobre aquele tópico. Tornar a IA ainda maior não ajuda muito porque não há mais fatos para encontrar.

4. O Problema da "Cauda Longa"

O artigo destaca uma grande desigualdade. A IA é ótima em lembrar coisas populares (a "cabeça" da curva), mas terrível em lembrar coisas raras (a "cauda").

A Analogia: Imagine uma estação de rádio que toca os 40 maiores sucessos em repetição. Você sempre ouvirá os sucessos claramente. Mas se tentar ouvir uma música que tocou apenas uma vez em 1995, a estática a abafará.
A Descoberta: Mesmo os maiores modelos de IA testados (com trilhões de parâmetros) lutaram com os tópicos mais raros. Para fazer a IA lembrar de um fato muito raro tão bem quanto lembra de um popular, você precisaria tornar a IA 30 vezes maior do que a maior delas testadas. Isso é um salto enorme!

5. O Que Isso Significa para o Futuro (De Acordo com o Artigo)

Os autores concluem que "alucinações" (inventar coisas) não são erros aleatórios. Elas são um resultado previsível de tentar espremer um mundo massivo e desigual de informações em uma memória finita.

Não é aleatório: Se um tópico é raro e a IA é pequena, ela cometerá erros.
É estrutural: A IA não está "mentindo"; é apenas que o sinal para aquele fato é muito fraco para superar o ruído de sua memória limitada.
A solução: Para corrigir isso para tópicos raros, você precisa tornar a IA massivamente maior (o que é caro) ou, como o artigo sugere, usar uma estratégia diferente, como "aumentação por recuperação" (dar à IA um mecanismo de busca para procurar a resposta em vez de depender de sua memória).

Em resumo: O artigo prova que a capacidade de uma IA de dizer a verdade é uma mistura matematicamente previsível de quão grande ela é e quão popular é o tópico. Se o tópico é obscuro e a IA é pequena, espere que ela invente coisas. Se o tópico é famoso e a IA é enorme, é provável que ela acerte.

Resumo Técnico: Confabulações Previsíveis

Declaração do Problema
Erros de recordação factual, ou confabulações, permanecem um modo de falha crítico em Modelos de Linguagem de Grande Escala (LLMs). Embora pesquisas anteriores tenham estabelecido que o desempenho agregado do modelo segue leis de escalonamento relacionadas ao tamanho do modelo, tamanho do conjunto de dados e computação, nenhum quadro único vinculou a qualidade da recordação factual tanto ao tamanho do modelo quanto à composição dos dados de treinamento (especificamente, a frequência de tópicos). Trabalhos existentes tratam a escala do modelo e a frequência do conhecimento como impulsionadores independentes, mas carecem de uma forma funcional preditiva que os una.

Metodologia
Os autores avaliaram 38 LLMs (abrangendo de 1B a 1,6T de parâmetros, incluindo modelos densos, Mistura de Especialistas e modelos de código fechado) em 24 tópicos acadêmicos. Os tópicos foram selecionados para abranger cinco ordens de magnitude na representação de dados de treinamento, medidos por contagens de trabalhos acadêmicos do OpenAlex ( $S$ ).

Geração de Dados: Cada modelo foi instruído a gerar 10 referências acadêmicas por tópico usando um prompt padronizado.
Pipeline de Verificação: Um sistema automatizado, SourceVerify, autenticou as referências geradas contra o OpenAlex, Google Scholar e registros de DOI. Ele produziu uma pontuação contínua de autenticidade baseada em correspondências em nível de campo (título, autores, ano, local, identificador).
Métrica de Qualidade: A qualidade final de recordação foi definida como o produto de autenticidade (verificada pelo SourceVerify) e relevância (julgada por um agente automatizado e validada por avaliadores humanos).
Análise Estatística: Os autores ajustaram uma função sigmoide aos dados, modelando a qualidade como uma função da combinação log-linear da contagem de parâmetros do modelo ( $P$ ) e da frequência de representação do tópico ( $S$ ).

Quadro Teórico
O estudo propõe um modelo de relação sinal-ruído (SNR) "inspirado em superposição".

Sinal: A força da representação de um conceito escala com sua frequência nos dados de treinamento ( $S$ ).
Ruído: O piso de interferência é determinado pela capacidade do modelo ( $P$ ). Sob a teoria da superposição, onde os modelos codificam mais recursos do que dimensões, recuperar um conceito envolve interferência de outras representações sobrepostas. À medida que a capacidade do modelo aumenta, esse piso de interferência diminui.
A Sigmoide: A recordação ocorre quando o sinal excede o piso de ruído. Os autores postulam que a qualidade da recordação segue uma função sigmoide da soma logarítmica desses fatores:
$\text{qualidade} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$
onde $\sigma$ é a função logística.

Resultados Principais

Escalonamento Sigmoide: O modelo sigmoide proposto ajusta-se aos dados em 16 modelos densos de quatro famílias independentes (Llama, Gemma, Mistral, Qwen) com um $R^2$ de 0,599. Quando analisado dentro de famílias individuais, o ajuste melhora significativamente ( $R^2$ variando de 0,74 a 0,94).
Impulsionadores Independentes: Tanto o tamanho do modelo ( $P$ ) quanto a frequência do tópico ( $S$ ) contribuem independentemente para a qualidade da recordação. O tamanho do modelo sozinho explica 42,1% da variância, enquanto a frequência do tópico adiciona mais 17,8%.
Três Regimes: A curva sigmoide revela três regimes operacionais distintos:
- Piso: Modelos pequenos ou tópicos raros resultam em "falsificação baseada em modelos", onde os modelos reciclam sobrenomes de alta frequência ou modelos genéricos em vez de recordar fatos específicos.
- Rampa: Uma região de melhoria log-linear onde o aumento da capacidade ou frequência produz ganhos proporcionais na recordação.
- Teto: A saturação ocorre quando a capacidade excede o inventário de conceitos, e a qualidade estabiliza.
Gradiente de Citação: Modelos maiores recordam referências com contagens de citação mais baixas (conhecimento de cauda longa) em comparação com modelos menores, que estão restritos a artigos altamente citados (alta frequência). Isso apoia a hipótese de que modelos maiores diminuem o piso de ruído o suficiente para recuperar sinais mais fracos.
Deslocamentos de Família: Deslocamentos sistemáticos existem entre famílias de modelos (por exemplo, modelos Llama geralmente superam Gemma e Qwen em contagens de parâmetros semelhantes), sugerindo que procedimentos de treinamento e curadoria de dados deslocam o intercepto ( $\gamma$ ) sem alterar a inclinação de escalonamento.

Significância e Alegações
O artigo afirma fornecer a primeira lei de escalonamento preditiva unificada para recordação factual que incorpora tanto a escala do modelo quanto a composição dos dados de treinamento. Ao reformular as confabulações não como erros aleatórios, mas como uma consequência previsível da compressão de conhecimento distribuído não uniformemente em capacidade representacional finita, os autores oferecem um quadro quantitativo para estimar a confiabilidade.

Os autores enfatizam que benchmarks agregados frequentemente mascaram disparidades sistemáticas; um modelo pode performar bem em tópicos de alta frequência enquanto falha em conceitos de cauda longa. O quadro sugere que estender a recordação confiável a tópicos de baixa frequência requer aumentos desproporcionais na capacidade do modelo, enquanto a curadoria de dados e o pré-treinamento direcionado podem ser mais eficientes para conceitos próximos ao limiar de recordação. O estudo conclui que, para conceitos de frequência muito baixa, o aumento de recuperação permanece a alternativa necessária à recordação paramétrica.

Limitações
Os autores notam várias restrições: o estudo é observacional (correlacional) e não causal; o proxy de dados de treinamento ( $S$ ) é indireto; a análise é limitada ao inglês e a referências acadêmicas; e os parâmetros de escalonamento específicos podem não generalizar para outros domínios factuais, como conhecimento de senso comum ou conhecimento procedural.