🤖 AI

When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models

Este estudo demonstra que diversos modelos de linguagem exibem uma "monocultura de citações" ao selecionar desproporcionalmente o mesmo subconjunto restrito de artigos reais devido a filtros compartilhados de preferência de conteúdo, um viés sistêmico que persiste mesmo quando as alucinações são eliminadas e não pode ser resolvido meramente pela equalização da recuperação ou pela mistura de fornecedores.

Autores originais: Sina Alemohammad, Denghui Zhang, Bolong Tang, Anthony Qin, Gengchen Mai, Ahmed Abbasi, Richard Baraniuk, Zhangyang Wang

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sina Alemohammad, Denghui Zhang, Bolong Tang, Anthony Qin, Gengchen Mai, Ahmed Abbasi, Richard Baraniuk, Zhangyang Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Durante décadas, a forma como a ciência avança dependeu de um hábito humano simples: pesquisadores leem o trabalho de outros e decidem quais artigos mencionar em seus próprios textos. Esse ato de citação é mais do que uma formalidade; é a moeda do crédito científico. Quando um artigo é citado com frequência, ele ganha visibilidade, levando a mais citações em um ciclo conhecido como efeito Mateus, onde os ricos ficam mais ricos. Essa dinâmica sempre dependeu de leitores humanos, que podem ver a reputação de um autor, o prestígio de uma revista ou o sucesso passado de um artigo, e deixar que esses sinais guiem suas escolhas. Mas uma nova força está entrando na sala. A inteligência artificial está indo além de simplesmente verificar a gramática para redigir revisões de literatura inteiras e selecionar as referências que moldam o que a comunidade científica vê. A questão não é mais apenas se essas máquinas conseguem escrever, mas o que elas escolhem ler. Se uma IA for solicitada a encontrar o trabalho mais importante sobre um tópico, ela simplesmente mimetiza o viés humano ou cria um novo tipo de viés próprio?

Uma equipe de pesquisadores partiu para responder a isso construindo um experimento controlado que removeu tudo o que costuma influenciar uma citação. Eles reuniram 120 artigos científicos reais sobre um tópico específico, mas, antes de mostra-los à IA, esconderam todos os sinais de status usuais. Os nomes dos autores foram substituídos por nomes falsos, os anos de publicação foram embaralhados e o número de vezes que cada artigo foi citado foi completamente removido. Os modelos de IA foram então solicitados a escrever breves revisões ou artigos de posicionamento, mas com uma regra estrita: eles só poderiam mencionar até dez dos trinta artigos apresentados a eles em cada rodada. Essa escassez forçou os modelos a fazer escolhas reais em vez de listar tudo o que viam. Para garantir que os resultados não fossem apenas uma casualidade, os pesquisadores compararam as escolhas da IA com uma linha de base onde um computador escolhia artigos aleatoriamente da mesma lista, e também pediram a oito especialistas humanos que fizessem as mesmas escolhas sob as exatas mesmas condições.

Os resultados revelaram um padrão marcante e uniforme. Enquanto os especialistas humanos distribuíram suas citações de forma bastante equilibrada, tratando os artigos de forma muito semelhante a um selecionador aleatório, cada modelo de IA testado concentrou sua atenção em um subconjunto pequeno e estreito de artigos. No grupo humano, os dez por cento superiores de artigos receberam cerca de 19 por cento das citações, o que é próximo do que se esperaria ao acaso. Em contraste, os modelos de IA deram entre 23 e 30 por cento de suas citações aos dez por cento superiores de artigos. Mais importante ainda, os modelos ignoraram consistentemente um número significativo de artigos que lhes foram apresentados, deixando alguns completamente não citados mesmo após terem sido exibidos dezenas de vezes. Não foi um caso de alucinação de referências falsas; cada artigo que eles citaram era real, e cada artigo que ignoraram era real. A falha não foi na alucinação, mas em um filtro invisível e compartilhado que decidiu quais artigos reais valiam a pena serem lidos.

Talvez a descoberta mais inquietante tenha sido que esse filtro era o mesmo para todos os modelos, independentemente de qual empresa os construiu. Quer a IA fosse feita pela OpenAI, Google ou Anthropic, todas favoreceram exatamente os mesmos artigos e ignoraram os mesmos. Os pesquisadores descobriram que as preferências desses onze modelos diferentes eram tão semelhantes que poderiam ser descritas como um mapa único e compartilhado do que constitui um artigo "citável". Esse mapa não era baseado nos nomes dos autores ou na revista em que apareceram, já que estes foram ocultados. Em vez disso, era impulsionado inteiramente pelo texto dos resumos. Os modelos pareciam concordar em um estilo ou tipo de conteúdo específico que merecia atenção, favorecendo artigos que soavam como trabalho teórico central, enquanto negligenciavam sistematicamente a pesquisa aplicada, mesmo quando os artigos aplicados eram tão reais e relevantes quanto os outros.

Para entender se isso era uma memória aprendida de citações passadas ou um julgamento genuíno de qualidade, os pesquisadores testaram os modelos novamente após reescreverem os títulos e resumos dos artigos. Eles mudaram as palavras completamente, garantindo que os modelos não reconhecessem os artigos por seu texto superficial, mas mantendo o significado subjacente intacto. As escolhas dos modelos não mudaram. Eles continuaram escolhendo os mesmos artigos com base na nova redação, provando que sua preferência estava enraizada no significado do conteúdo, não em uma lista memorizada de títulos famosos. Isso sugere que os modelos desenvolveram uma intuição convergente e compartilhada sobre o que constitui um bom artigo, uma que é distinta de como os especialistas humanos realmente avaliam o mesmo trabalho.

O estudo também explorou o que acontece quando esses modelos são usados repetidamente ao longo do tempo. À medida que os modelos de IA escreviam novos artigos e esses novos artigos eram adicionados de volta ao conjunto para futuras seleções, os artigos reais originais tornavam-se mais raros. Os pesquisadores descobriram que, conforme os artigos reais se tornavam mais escassos, os modelos os citavam com ainda mais intensidade, quase como se estivessem competindo pelos poucos "bons" que restavam. No entanto, isso não significava que os modelos estivessem prestando mais atenção à literatura real como um todo; na verdade, a parcela total de citações destinadas aos artigos reais caiu significamente. Os modelos estavam simplesmente concentrando sua atenção limitada em um grupo de sobreviventes em encolhimento, criando um feedback loop onde uma preferência fixa encontra um catálogo em diluição.

Esta pesquisa demonstra que o perigo da inteligência artificial na ciência não é apenas que ela possa inventar fatos falsos, mas que ela possa silenciosamente concordar com um conjunto estreito de respostas "corretas" enquanto ignora o restante do campo. Mesmo quando todas as opções são reais e cada artigo é igualmente visível, esses sistemas impõ em um filtro comum sobre a atenção científica. Misturar diferentes modelos não resolve o problema, porque todos compartilham o mesmo viés subjacente. A solução, sugerem os autores, requer a mudança do próprio mapa de preferência compartilhado, em vez de apenas tentar diversificar as fontes de informação. As máquinas não estão apenas lendo a literatura; elas estão começando a decidir o que a literatura é, e todas estão decidindo a mesma coisa.

Resumo Técnico: "Quando a IA Escreve, Quem é Citado? Evidências de Monocultura de Citação entre Modelos de Linguagem"

1. Definição do Problema

O artigo aborda um modo de falha específico na escrita científica gerada por IA que persiste mesmo quando as alucinações (referências fabricadas) são eliminadas. Enquanto as auditorias atuais focam na detecção de citações inexistentes, os autores argumentam que existe um problema mais insidioso: a monocultura de citação. Isso ocorre quando múltiplos modelos de linguagem, apesar de serem treinados por organizações diferentes e terem acesso ao mesmo conjunto de artigos reais, convergem para um subconjunto estreito desses artigos para fins de citação.

A questão central é se essa concentração é impulsionada por fatores externos (rankings de recuperação, prestígio do autor, contagem de citações) ou por um "mapa de preferência" interno e compartilhado dentro dos próprios modelos. Os autores postulam que, mesmo quando cada referência candidata é real, apresentada diretamente e desprovida de todos os sinais de status, os modelos ainda podem impor um filtro comum sobre a atenção científica, levando à homogeneização global das bibliografias.

2. Metodologia

Os autores introduzem um benchmark controlado projetado para isolar a seleção de citações da recuperação, do prestígio e da fabricação.

O Design do Benchmark:

Corpus: Um conjunto semente de 120 artigos de destilação de conhecimento (arXiv, 2015–2022) com 50–500 citações.
Cegamento: Os artigos são apresentados como "registros cegados" contendo títulos e resumos reais, mas com nomes de autores fabricados, anos de publicação reatribuídos aleatoriamente e contagens de citações/periódicos ocultas. Isso remove todos os sinais de status e prestígio.
Tarefa: Cada rodada consiste em 120 prompts (60 revisões de literatura e 60 ensaios de posição) pedindo aos modelos para citar, no máximo, 10 artigos de um painel uniformemente aleatório de 30 candidatos extraídos do catálogo atual.
O Nulo: Para cada prompt, um baseline "nulo" é gerado pelo mesmo modelo (ou um seletor uniforme aleatório) escolhendendo $k$ artigos uniformemente do mesmo painel com o mesmo orçamento realizado. Isso mede o desvio do modelo em relação à indiferença diante de inputs idênticos.
Recursão: O benchmark é executado por 12 rodadas. Em cada rodada subsequente, os 120 artigos gerados pelos modelos juntam-se ao catálogo, diluindo os artigos semente originais. Isso testa como uma preferência fixa interage com uma literatura sintética crescente.

Modelos e Controle Humano:

Modelos: Onze modelos de três fornecedores (OpenAI, Google, Anthropic) foram testados na Rodada 0.
Controle Humano: Oito especialistas da área completaram um subconjunto de 53 prompts sob as mesmas condições de cegamento e restrições de orçamento.

Estrutura Teórica:
O processo de seleção é modelado como uma escolha de subconjunto ponderado (Eq. 1). Os autores derivam identidades que ligam a concentração excessiva (medida por HHI e participação do decil superior) ao sobreposição excessiva de bibliografia par a par. Eles formalizam o conceito de um "mapa compartilhado" (uma preferência estável ao nível do artigo) e provam que, se os modelos compartilham um mapa, misturá-los não pode eliminar totalmente a concentração.

3. Principais Contribuições

Um Novo Benchmark: Um protocolo que isola a escolha de citação da recuperação e do prestígio usando artigos reais cegados com um orçamento de citação rígido e um baseline nulo correspondente.
Formalização Teórica: Uma teoria para seleção de subconjunto com orçamento fixo que fornece:
- Um limite de permutabilidade provando que as taxas de exclusão observadas exigem um favoritismo estável ao nível do artigo.
- Uma decomposição espectral mostrando que a concentração excessiva é igual à força da preferência multiplicada pelo alinhamento com uma direção compartilhada.
- Um teorema de raridade prevendo como uma preferência fixa amplifica as taxas de citação para itens raros em um catálogo em diluição.
Evidência Empírica de Monocultura: Prova quantitativa de que onze modelos de três fornecedores compartilham um mapa de preferência único e estável que não é detectado em especialistas humanos.
Identificação de Mecanismo: Evidência de que a preferência compartilhada é impulsionada pelo conteúdo (semântica do resumo) em vez da forma superficial, metadados ou posição, e que a mistura de modelos remove apenas uma fração da concentração excessiva.

4. Resultados Principais

Concentração e Exclusão (Rodada 0):

Concentração: Todos os 11 modelos concentraram as citações significativamente mais do que seus respectivos nulos. O decil superior de artigos recebeu 23,3–30,2% das citações, comparado a 15,6% para o nulo.
Exclusão: Os modelos deixaram 2–20 dos 120 artigos sem serem citados, apesar de aproximadamente 30 exposições cada, enquanto o nulo deixou essencialmente nenhum sem citar.
Baseline Humano: Especialistas da área agrupados mostraram nenhuma concentração comparável (18,9% de participação no decil superior, indistinguível do nulo). Testes estatísticos confirmaram que os padrões de exclusão dos modelos são matematicamente impossíveis sob um modelo permutável (não preferencial), enquanto as escolhas humanas são consistentes com ele.

O Mapa Compartilhado:

Alta Correlação: Os mapas de preferência de citação dos 11 modelos são altamente correlacionados (correlação média fora da diagonal de 0,71 após correção de ruído).
Componente Único: Um único componente principal explica 68–73% da variância em todos os mapas de preferência dos modelos.
Agnosticismo de Fornecedor: O acordo entre fornecedores (ex: GPT vs. Gemini) quase iguala o acordo dentro do mesmo fornecedor, indicando que o viés não é específico de uma família de treinamento, mas sim uma propriedade algorítmica compartilhada.
Limites de Mistura: A mistura uniforme de todos os 11 modelos remove apenas 28% da concentração excessiva. Mesmo uma mistura otimizada (cross-fitted) deixa cerca de 55% do excesso, pois o mapa compartilhado passa por cada mistura intocado.

Conteúdo vs. Superfície:

Invariância de Paráfrase: Quando os títulos e resumos foram parafraseados para destruir a redação superficial (sobreposição de 5-gramas < 0,05) preservando o significado, o mapa de preferência de citação permaneceu inalterado (correlação 0,96–1,00).
Drivers de Conteúdo: Um modelo de texto com validação cruzada usando apenas o texto do título/resumo previu o mapa de consenso com $r=0,47$ . O mapa rastreia um "prior de centralidade metodológica", favorecendo artigos de método central e teóricos sobre trabalhos aplicados, um viés não compartilhado pelos especialistas humanos.

Recursão e Raridade:

Efeito de Diluição: À medida que o catálogo crescia com artigos sintéticos, a participação absoluta das citações indo para os artigos semente reais caía (de 100% para 15,6%).
Amplificação Condicional: No entanto, a taxa de citação condicional de um artigo semente (dado que ele é apresentado) aumentou de ~33% para ~63%.
Mecanismo: Isso é impulsionado por um efeito de "amplificação de raridade". À medida que os artigos reais se tornam raros no pool, eles enfrentam menos competidores de alto peso (outros artigos reais) pelo orçamento de citação, fazendo com que a preferência fixa se concentre ainda mais intensamente nos poucos candidatos reais restantes.

5. Significância e Alegações

O artigo afirma demonstrar que a monocultura de citação é uma propriedade intrínseca dos modelos de linguagem atuais, não sendo resultado de viés de recuperação ou sinais de prestígio dos dados de treinamento.

Não é um Problema de Recuperação: Como a exposição foi uniformemente aleatória, a concentração é uma falha do lado da seleção.
Não é um Problema de Prestígio: Como os metadados foram cegados, os modelos não estão citando com base no status do autor ou contagens de citações.
Não é um Problema de Alucinação: Todos os artigos citados eram reais; a falha está na seleção dos artigos reais.
Limitações das Remédios Atuais: Os autores argumentam que simplesmente misturar modelos ou equalizar a exposição é insuficiente porque o próprio "mapa de preferência" é compartilhado. O "piso comum" de concentração persiste mesmo na melhor mistura possível dos modelos testados.
Implicação: A preferência compartilhada atua como um filtro comum de nível de conteúdo que estreita a atenção científica. O artigo conclui que as intervenções devem visar o próprio mapa de preferência compartilhado, em vez de apenas os mecanismos de recuperação ou exposição.

Os autores mantêm a modéstia quanto ao escopo, observando que o benchmark mede a escolha entre artigos já apresentados ao modelo e não simula todo o pipeline de recuperação, seleção de autor ou publicação. No entanto, eles afirmam que a "colapso de citação" observado é um fenômeno mensurável e estável que persiste mesmo quando cada referência é real e cada artigo é igualmente visível.