Estimating the Geopolitical Preferences of Large Language Models from United Nations Voting Data

Resumo Técnico: Estimando as Preferências Geopolíticas de Grandes Modelos de Linguagem a partir de Dados de Votação das Nações Unidas

Definição do Problema
O artigo aborda o desafio de medir as preferências geopolíticas expressas por Grandes Modelos de Linguagem (LLMs). Embora as auditorias existentes muitas vezes dependam de pesquisas ou testes simples, os autores argumentam que esses métodos são insuficientes para capturar o alinhamento geopolítico complexo. A pesquisa em relações internacionais (RI) estabeleceu há muito tempo que medir preferências geopolíticas é difícil, exigindo métodos que recuperem posições latentes a partir de escolhas observadas, em vez de depender da origem do desenvolvedor ou de respostas a um pequeno conjunto de questões controversas. O problema central é determinar se a orientação geopolítica de um LLM pode ser inferida do país sede de seu desenvolvedor ou se suas preferências expressas divergem significamente de atores estatais, particularmente no contexto da política internacional, onde as ações dos Estados podem contradizer os princípios prevalentes nos textos de treinamento.

Metodologia
O estudo adapta a abordagem de ponto ideal ordinal dinâmico das relações internacionais, especificamente a metodologia desenvolvida por Bailey et al. (2017) (BSV), ao problema do alinhamento.

• Universo de Dados: A análise utiliza o arquivo congelado da Biblioteca Digital das Nações Unidas (versão 5, fevereiro de 2026), cobrindo sessões regulares da UNGA 1–80 (1946–2025). O conjunto de dados inclui 5.555 resoluções divisivas, registradas e adotadas, compreendendo 841.403 escolhas de países observadas e 22.220 escolhas de modelos.
• Design Experimental: Quatro LLMs contemporâneos — GPT-5 (OpenAI), Claude Sonnet (Anthropic), Gemini (Google) e DeepSeek (DeepSeek) — foram inseridos como respondentes adicionais na matriz de votação da UNGA.
  • Prompting: Cada modelo recebeu o texto substantivo completo de cada resolução, juntamente com metadados (símbolo, título, data, agenda).
  • Restrições: Os modelos foram instruídos a avaliar a proposta "baseando-se apenas em seu conteúdo substantivo", foram explicitamente impedidos de assumir qualquer papel nacional e foram obrigados a produzir exatamente uma palavra: "APOIO" (SUPPORT), "ABSTENÇÃO" (ABSTAIN) ou "OPOSIÇÃO" (OPPOSE).
• Estratégia de Estimativa:
  1. Similaridade Direta (S-score): Uma estatística de concordância ternária (Signorino e Ritter, 1999) mapeando oposição, abstenção e apoio para -1, 0 e 1. Isso mede a concordância categórica observada, mas é fortemente influenciado pelas frequências marginais de resposta.
  2. Estimativa de Ponto Ideal Dinâmico: Um modelo espacial latente onde uma utilidade latente $Z_{itv} = \beta_v \theta_{it} + \epsilon_{itv}$ determina o voto.
     • $\theta_{it}$ representa o ponto ideal do ator-sessão.
     • $\beta_v$ é o parâmetro de discriminação da resolução.
     • O modelo utiliza um prior dinâmico para ligar ator-sessões adjacentes e resoluções recorrentes para conectar o tempo, suavizando as trajetórias.
     • A escala é orientada de modo que a posição média dos EUA exceda a posição média da Rússia.
  • Robustez: Uma replicação foi realizada utilizando o universo original de países do BSV e o amostrador (sessões 1–67) para verificar se os achados não foram impulsionados por arquivos atualizados ou técnicas de amostragem modernas.

Principais Resultados
A análise produz quatro fatos empíricos primários sobre o comportamento e o alinhamento dos modelos:

1. Limiares de Resposta Divergentes: Os modelos utilizam as categorias de resposta de formas distintas.

   • GPT-5: 97,3% Apoio, 1,5% Abstenção, 1,2% Oposição.
   • Gemini: 88,5% Apoio.
   • Claude Sonnet: 77,8% Apoio, 18,7% Abstenção.
   • DeepSeek: 37,8% Apoio, 17,4% Abstenção, 44,8% Oposição (o único modelo onde a oposição é a categoria modal).
   • Nota: Altas taxas de apoio não são exclusivas dos modelos; países como México (92,6%) e Indonésia (91,4%) mostram padrões semelhantes nesta agenda.

2. Posições Espaciais Latentes (2001–2025):

   • GPT-5, Claude Sonnet e Gemini: Seus pontos ideais estão concentrados próximos ao meio da faixa do P5, mas estão mais próximos da Rússia entre os cinco membros permanentes. Para o GPT-5, a distância média até a Rússia/URSS é de 0,248, comparada a 2,411 dos Estados Unidos.
   • DeepSeek: Ocupa uma localização distinta, mais pró-americana, estando mais próximo da França (0,408) do que da China, apesar de ser desenvolvido por uma empresa chinesa.
   • Estados Unidos: Todos os quatro modelos estão mais distantes dos Estados Unidos no período moderno.

3. Divergência de Políticas Específicas:

   • Em um subconjunto de 2.104 resoluções onde os EUA votaram "Não" enquanto a China e a Rússia/URSS votaram "Sim", os modelos mostraram divergência significativa dos EUA:
     • GPT-5 apoiou 96,1% dessas resoluções.
     • Gemini apoiou 83,4%.
     • Claude Sonnet apoiou 65,2%.
     • DeepSeek apoiou 36,1% (opondo-se em 47,4%).
   • Essa lacuna é impulsionada por resoluções relativas a direitos econômicos/sociais, autodeterminação palestina, descolonização e controle multilateral de armas.

4. Discrepância de Medição:

   • A concordância bruta (S-score) e a proximidade do ponto ideal latente classificam os modelos de forma diferente. Enquanto os S-scores classificam a China como o membro do P5 mais próximo para o GPT-5, Claude e Gemini (devido às altas taxas gerais de apoio), o estimador de ponto ideal classifica a Rússia como a mais próxima. Isso ocorre porque o modelo de ponto ideal confere peso a resoluções que discriminam posições geopolíticas, enquanto a concordância bruta é mecanicamente inflada por altos índices de apoio comuns tanto aos modelos quanto à China.

Significância e Alegações
O artigo apresenta contribuições tanto metodológicas quanto substantivas:

• Metodológicas: Demonstra que métodos desenvolvidos em RI e ciências sociais para estimar preferências geopolíticas (especificamente modelos de ponto ideal dinâmico) podem iluminar o alinhamento de LLMs. Argumenta que as pontuações de alinhamento requerem uma teoria de medição; relatar apenas taxas de apoio ou concordância bruta pode levar a conclusões enganosas sobre o posicionamento geopolítico latente.
• Substantivas: O estudo documenta uma lacuna robusta entre as escolhas dos modelos contemporâneos e o comportamento de votação dos EUA na agenda adotada e divisiva da UNGA.
  • Origem do Desenvolvedor vs. Alinhamento: Os resultados alertam contra a inferência do alinhamento internacional de um modelo a partir do país de seu desenvolvedor. Modelos americanos (GPT-5, Claude) estão mais distantes dos EUA no espaço latente, enquanto o modelo chinês (DeepSeek) está mais próximo da França.
  • Natureza do Alinhamento: Os autores sugerem que os modelos podem agregar linguagem normativa (princípios humanitários, de desenvolvimento e multilaterais) prevalente em seus dados de treinamento, em vez de estratégia estatal. Quando instados sem um papel nacional, os modelos tendem a endossar princípios amplamente formulados (ex: direito à alimentação, autodeterminação) que os EUA frequentemente rejeitam como parte de pacotes diplomáticos maiores.
• Implicações para Governança e Pesquisa:
  • Pesquisa: Pesquisadores que utilizam LLMs como codificadores ou respondentes simulados devem auditar as atitudes específicas do modelo, pois substituir um modelo por outro pode alterar o apoio em quase 60 pontos percentuais e mudar qual membro do P5 parece mais próximo.
  • Política: Estratégias de "IA Soberana" não podem assumir que um modelo hospedado domesticamente reflete a posição internacional revelada pelo Estado. Governos que integram modelos em fluxos de trabalho sensíveis precisam de avaliações específicas para a tarefa contra corpora de políticas reais, não apenas testes de segurança genéricos.

O artigo conclui que o alinhamento geopolítico é uma propriedade empírica do modelo, do prompt, do corpus, do período e da estratégia de medição, e que aplicar técnicas de medição de RI aos LLMs torna o problema do alinhamento mais difícil, porém mais preciso.