Same question, different history: language, national identity, and credit in large language models

Resumo Técnico: "Mesma pergunta, história diferente: linguagem, identidade nacional e crédito em grandes modelos de linguagem"

Definição do Problema
O artigo investiga como os Grandes Modelos de Linguagem (LLMs) lidam com atribuições históricas contestadas, especificamente em relação à invenção de tecnologias e descobertas científicas. Enquanto sociedades humanas frequentemente mantêm narrativas nacionais concorrentes sobre "quem inventou X" (por exemplo, Popov vs. Marconi para o rádio), não está claro como os LLMs, que servem como um portal padrão para a informação, apresentam essas disputas. Os autores postulam que os LLMs não são sistemas de recuperação neutros, mas participantes ativos na reprodução da memória coletiva. A questão central de pesquisa é se a linguagem de uma consulta de um usuário altera sistematicamente qual reivindicante nacional o modelo apresenta, agindo efetivamente como um "interruptor" que ativa diferentes versões nacionais da mesma história. Este fenômeno é enquadrado como uma forma computacional de "nacionalismo banal", onde a memória coletiva é diferencialmente ativada através de comunidades linguísticas.

Metodologia
O estudo empregou uma auditoria em larga escala de 11 LLMs amplamente utilizados (desenvolvidos na China, nos EUA e na Europa) em 21 disputas documentadas de invenção/descoberta envolvendo reivindicantes de diferentes nações.

• Coleta de Dados: Os pesquisadores geraram 1.380 prompts fixos em 12 idiomas (incluindo dinamarquês, alemão, inglês, francês, hindi, italiano, coreano, português, romeno, russo, sueco e chinês). Os prompts foram apresentados em duas formas: uma pergunta aberta ("Quem inventou X?") e uma pergunta contrastiva ("Quem inventou X, A ou B?").
• Volume: Cada prompt foi consultado cinco vezes por modelo, resultando em aproximadamente 75.896 respostas completadas.
• Variáveis:
  • Linguagem Associada ao Reivindicante: A língua dominante da nação mais estritamente ligada a um reivindicante específico (ex: russo para Popov, chinês para Bi Sheng).
  • Comemoração: Uma contagem (0–8) de marcadores institucionais (feriados, cédulas, estátuas, inclusão no currículo) para cada reivindicante.
  • Rank de Poder: Uma medida relativa da proeminência de um reivindicante dentro de uma disputa específica.
• Análise e Codificação: As respostas foram codificadas por anotadores de LLM independentes (usando modelos diferentes dos geradores para evitar a auto-preferência) em três categorias: apagamento (um único reivindicante apresentado como fato, rivais omitidos), parcial (reivindicante primário nomeado com rivais reconhecidos) e contestada (atribuição apresentada como aberta). A métrica primária foi a distinção binária entre apagamento e qualquer reconhecimento.
• Modelagem Estatística: Uma regressão logística de cluster-robusta foi usada para modelar a probabilidade de um reivindicante ser nomeado, controlando por correspondência de idioma, comemoração, rank de poder, comprimento da resposta e forma da pergunta.

Principais Resultados

1. Exposição Condicionada pela Linguagem: A linguagem da consulta influencia significativamente qual reivindicante é apresentado. Quando perguntado na linguagem associada a um reivindicante, esse reivindicante é significativamente mais propenso a ser nomeado. Por exemplo, Popov é nomeado em 85% das consultas em russo, mas apenas ~48% das consultas em outros idiomas (uma diferença de 37 pontos percentuais). Ganhos semelhantes foram observados para Bi Sheng em chinês (+19 pp), Santos-Dumont em português (+15 pp) e Reis em alemão (+14 pp).
2. Assimetria de Dominância: Este efeito concentra-se entre reivindicantes de menor status e não anglófonos. Figuras anglófonas dominantes (ex: Bell, Wright, Newton) e o globalmente canônico Marconi são nomeados em taxas próximas ao teto (98–100%) independentemente da linguagem da consulta. Os modelos não "esquecem" figuras dominantes em outros idiomas; em vez disso, eles falham em "lembrar" figuras subordinadas, a menos que sejam consultados em sua linguagem nacional específica.
3. Papel da Comemoração: A vantagem do idioma torna-se mais forte com níveis mais altos de comemoração institucional. No entanto, mesmo reivindicantes com zero marcadores de comemoração registrados (ex: Choe Yun-ui, Jost Bürgi) mostram uma vantagem estatisticamente significativa no idioma, sugerindo que o efeito é impulsionado pelo corpus de texto da linguagem nacional mais ampla, não apenas pelos atos formais de comemoração.
4. Forma da Pergunta: Nomear explicitamente um rival no prompt (forma contrastiva) reduz drasticamente a taxa de apagamento (de 11,2% na forma aberta para 3,1% na forma contrastiva), protegendo o rival da omissão.
5. Variância do Modelo: As taxas de apagamento variaram por modelo (1% a 12%), mas não correlacionaram claramente com a região do desenvolvedor. O caso de controle (MRI, onde todos os reivindicantes compartilham o inglês) não mostrou efeito de linguagem, confirmando que o fenômeno é específico para disputas transnacionais.

Significância e Alegações
O artigo alega que os LLMs funcionam como um novo e onipresente meio de nacionalismo banal. Ao apresentar seletivamente diferentes protagonistas nacionais com base na linguagem da consulta, esses modelos reproduzem as "comunidades imaginadas" descritas por Anderson e os "lugares de memória" descritos por Nora, mas o fazem de forma invisível e em escala planetária.

• Reprodução da Assimetria: O sistema reforça as assimetrias de conhecimento existentes. Narrativas dominantes (anglófonas) são apresentadas como fatos universais em todos os idiomas, enquanto narrativas subordinadas são acessíveis apenas para aqueles que consultam na linguagem nacional específica.
• Mecanismo: Os autores interpretam isso não como o modelo detendo lealdades nacionais, mas como uma consequência estatística de treinamento em corpora de línguas nacionais. O modelo reativa as memórias parciais codificadas no texto de cada comunidade linguística.
• Implicações: O estudo argumenta que, para a educação e o jornalismo, os LLMs não devem ser tratados como árbitros autoritários da história contestada. A resposta "padrão" em um idioma dominante (como o inglês) pode apagar sistematicamente reivindicações nacionais concorrentes, enquanto a resposta "local" em um idioma subordinado pode restaurá-las. Isso sugere a necessidade de sistemas projetados para apresentar explicitamente a contestação e para verificações de consistência translinguística, em vez de tratar variações específicas de idioma como mero ruído.

Os autores permanecem modestos quanto ao mecanismo técnico específico, observando que, embora a comemoração seja um preditor forte, o efeito persiste mesmo sem ela, refletindo provavelmente o volume maior e não mensurado e o enquadramento do texto em linguagem nacional nos dados de treinamento. Eles concluem que o comportamento é um resultado de design, não uma inevitabilidade, e, portanto, aberto à intervenção.