💬 NLP

Pretraining Exposure Explains Popularity Judgments in Large Language Models

Ao aproveitar o corpus Dolma totalmente observável e os modelos OLMo, este estudo demonstra que os julgamentos de popularidade dos grandes modelos de linguagem são impulsionados principalmente pelas estatísticas de exposição durante o pré-treinamento, e não por sinais externos de popularidade do mundo real, sendo a exposição um preditor mais preciso do viés do modelo do que as visualizações de páginas da Wikipedia.

Autores originais: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Publicado 2026-05-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro digital gigante (um Modelo de Linguagem de Grande Escala, ou LLM) que leu quase tudo na internet. Você pergunta a esse cérebro: "Quem é mais famoso: uma padaria local específica ou uma estrela pop mundialmente famosa?" O cérebro quase sempre diz a estrela pop. Sempre assumimos que isso ocorre porque o cérebro "sabe" que a estrela pop é popular no mundo real.

Mas este artigo faz uma pergunta diferente: O cérebro está realmente julgando a fama no mundo real, ou está apenas lembrando quais nomes viu com mais frequência enquanto estudava?

Para encontrar a resposta, os pesquisadores usaram um cérebro especial, totalmente de código aberto, chamado OLMo. Diferente da maioria dos cérebros de IA, podemos ver exatamente quais livros e sites o OLMo leu durante sua "escolarização" (pré-treinamento). Isso é como ter toda a biblioteca das lições de casa de um estudante, em vez de apenas adivinhar o que ele leu com base em suas notas de prova.

Aqui está a análise do experimento e das descobertas deles, usando algumas analogias simples:

1. A Configuração: Contando os "Olhares"

Os pesquisadores trataram os dados de treinamento da IA como uma biblioteca massiva. Eles usaram uma ferramenta especial (Infini-Gram) para contar exatamente quantas vezes 2.000 coisas diferentes (pessoas, lugares, marcas, músicas) apareceram nos livros que a IA leu.

A Pontuação de "Exposição": É apenas uma contagem de quantas vezes a IA "olhou" para um nome. Se a IA viu "Taylor Swift" 1 milhão de vezes e "Padeiro Local Bob" 5 vezes, Taylor Swift tem uma pontuação de exposição alta.

2. Os Três Concorrentes

Os pesquisadores queriam ver qual "pontuação" melhor previa como a IA responderia a perguntas sobre popularidade. Eles compararam três coisas:

A Pontuação do Mundo Real (Wikipedia): Eles verificaram quantas pessoas realmente visitaram as páginas da Wikipedia para essas entidades. Esta é a "verdade fundamental" da fama no mundo real.
A Adivinhação "Direta": Eles perguntaram à IA: "Em uma escala de 0 a 1000, quão famosa é Taylor Swift?"
O Confronto "Cara a Cara": Eles perguntaram à IA: "Quem é mais famoso: Taylor Swift ou Padeiro Local Bob?" (Isso é como um torneio eliminatório).

3. A Grande Descoberta: Trata-se do Que Foi Lido, Não do Que é Conhecido

Os resultados foram surpreendentes e claros:

A "Memória" da IA corresponde à Biblioteca: A ideia da IA sobre o que é famoso correspondeu muito melhor à sua "Pontuação de Exposição" (com que frequência viu o nome) do que aos números reais da Wikipedia.
O "Confronto" é o Melhor Espelho: Quando a IA foi solicitada a comparar duas coisas diretamente (como em um torneio), suas respostas alinharam-se quase perfeitamente com a frequência com que viu esses nomes em seus livros de treinamento. Foi até uma correspondência melhor do que os dados reais da Wikipedia.
O Problema da "Cauda Longa": Para coisas muito obscuras (como "Padeiro Local Bob"), os dados da Wikipedia são frequentemente confusos ou inexistentes (ninguém visita essas páginas). No entanto, a IA ainda tinha uma opinião clara sobre quem era mais famoso. Por quê? Porque mesmo que a IA tenha visto "Padeiro Local Bob" apenas 5 vezes e "Outro Padeiro" 2 vezes, ela sabia que o primeiro era "mais famoso" simplesmente porque viu o nome ligeiramente mais vezes. A IA não estava usando conhecimento do mundo real; estava apenas contando suas lições de casa.

4. Cérebros Maiores = Memórias Mais Fortes

Os pesquisadores testaram um cérebro menor (7 bilhões de parâmetros) e um cérebro maior (32 bilhões de parâmetros).

O cérebro maior estava ainda mais obcecado com seus dados de treinamento. Suas respostas alinharam-se ainda mais estreitamente com a "Pontuação de Exposição" do que as do cérebro menor.
Isso sugere que, à medida que a IA fica mais inteligente e maior, ela não necessariamente se torna mais "consciente" do mundo real; apenas se torna melhor em lembrar exatamente o que foi alimentado durante o treinamento.

A Conclusão

O artigo conclui que, quando uma IA diz quem é famoso, ela não está necessariamente fornecendo um relatório sobre a sociedade real. Ela está fornecendo um relatório sobre sua própria lista de leitura.

Pense nisso como um estudante que leu apenas uma revista específica. Se você perguntar a esse estudante: "Quem é a pessoa mais famosa do mundo?", ele não dirá a pessoa realmente mais famosa; dirá a pessoa que apareceu na capa daquela revista o maior número de vezes. O "viés de popularidade" da IA é simplesmente um reflexo da frequência das palavras em seus dados de treinamento, não uma verdadeira compreensão do mundo.

Resumo Técnico: A Exposição no Pré-treinamento Explica Julgamentos de Popularidade em Modelos de Linguagem de Grande Escala

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) exibem preferências sistemáticas por entidades bem conhecidas, um fenômeno amplamente atribuído ao "viés de popularidade". No entanto, a origem dessas preferências permanece ambígua: não está claro se elas refletem a popularidade real genuína ou meramente a frequência estatística das entidades dentro do corpus de pré-treinamento. Pesquisas anteriores tiveram dificuldade em resolver isso porque os dados de treinamento para a maioria dos LLMs lançados são inacessíveis, forçando a dependência de evidências indiretas ou comportamentos downstream que confundem a exposição com outros fatores de confusão.

Metodologia
Este estudo fornece a primeira análise direta e em grande escala do viés de popularidade, aproveitando os modelos OLMo totalmente abertos e seu corpus completo de pré-treinamento, o Dolma. A metodologia prossegue através das seguintes etapas:

Indexação de Dados e Cálculo de Exposição: Os autores indexaram todo o corpus de pré-treinamento do OLMo (compreendendo conjuntos de dados de Pré-treinamento, Meio-treinamento e Contexto Longo, totalizando 7,4 trilhões de tokens) usando o toolkit Infini-Gram.
Amostragem e Validação de Entidades: De um dump do Wikidata (datado de 24 de janeiro de 2026), 5.000 entidades foram amostradas para cada um de cinco tipos: Pessoa, Local, Organização, Arte e Produto. Para garantir a contagem precisa de frequências, todos os aliases candidatos foram validados usando o GPT-4.1 para filtrar referências ambíguas, retendo apenas aquelas que se referem exclusivamente à entidade-alvo.
Pontuação de Exposição: Para cada uma das 2.000 entidades selecionadas (400 por tipo, divididas igualmente entre 200 entidades de baixa frequência "esparças" e 200 entidades de alta frequência "populares"), uma pontuação de exposição foi calculada com base na frequência da entidade e de seus aliases validados no corpus indexado.
Comparação de Sinais de Popularidade: O estudo comparou três sinais distintos contra as pontuações de exposição no pré-treinamento:
- Visualizações de Páginas do Wikipedia: Um proxy externo para popularidade real, agregado de 1º de julho de 2015 a 31 de dezembro de 2024 (correspondendo ao corte do corpus).
- Estimativa Escalar Direta: O modelo OLMo (variantes de 7B e 32B) foi instruído a atribuir uma pontuação de popularidade (0–1000) a entidades individuais.
- Comparação Pareada: O modelo foi instruído a determinar qual de duas entidades era mais popular. Essas preferências pareadas foram convertidas em pontuações listwise usando o modelo Bradley–Terry.

Principais Resultados
A análise, baseada em correlações de posto de Spearman ( $\rho$ ), produziu as seguintes descobertas:

Exposição como Proxy para Popularidade Real: A exposição no pré-treinamento correlaciona-se fortemente com as visualizações de páginas do Wikipedia em todos os tipos de entidades (média $\rho \approx 0,755$ ), validando a exposição como um proxy significativo para a saliência real durante o período de treinamento.
Julgamentos de LLM Alinham-se Mais com Exposição do que com o Wikipedia: Os sinais de popularidade gerados por LLM alinham-se mais de perto com a exposição no pré-treinamento do que com as visualizações de páginas do Wikipedia. Isso é particularmente evidente no método de Comparação Pareada, que alcançou a maior correlação com a exposição (média $\rho \approx 0,795$ para o modelo de 32B), superando tanto a estimativa escalar direta quanto a linha de base do Wikipedia.
O Regime de Cauda Longa: Para entidades "esparças" (de baixa frequência), as visualizações de páginas do Wikipedia tornam-se pouco confiáveis, mostrando correlações próximas de zero ou negativas com a exposição ( $\rho \approx 0,10$ ). Em contraste, os julgamentos de popularidade de LLM (especialmente via comparação pareada) mantêm uma correlação positiva com a exposição ( $\rho \approx 0,31$ para o modelo de 32B), sugerindo que, para entidades raras, os priores do modelo são governados quase inteiramente pela frequência no pré-treinamento.
Efeitos de Escala do Modelo: O aumento da escala do modelo de 7B para 32B melhora sistematicamente o alinhamento entre os julgamentos de LLM e a exposição no pré-treinamento. O modelo de 32B demonstra priores baseados em exposição mais nítidos e consistentes, particularmente em tarefas de estimativa escalar direta.

Significado e Alegações
O artigo alega oferecer a primeira evidência direta e em grande escala de que os priores de popularidade em LLMs são moldados principalmente por estatísticas de pré-treinamento e não por sinais externos de popularidade. Os autores argumentam que a "exposição de dados" desempenha um papel central na condução do viés de popularidade. Especificamente, as descobertas demonstram que:

LLMs não refletem meramente métricas externas de popularidade; suas preferências internas de classificação estão profundamente enraizadas na distribuição estatística de seus dados de treinamento.
A elicitação pareada é um método mais confiável para descobrir esses priores baseados em exposição do que a estimativa escalar direta.
O "viés de popularidade" observado em LLMs não é necessariamente uma falha de raciocínio, mas sim um reflexo direto dos padrões de frequência inerentes ao corpus de pré-treinamento.

Os autores concluem que esses vieses são propriedades mensuráveis dos dados de treinamento e sugerem que trabalhos futuros devem investigar estratégias de mitigação para melhorar a equidade e a diversidade nas saídas dos modelos.