Resumo Técnico: Mapeando o Viés Geopolítico em 11 Grandes Modelos de Linguagem

Declaração do Problema

A proliferação de Grandes Modelos de Linguagem (LLMs) como interfaces primárias para questões políticas contestadas introduz um desafio crítico de medição: distinguir a convicção política genuína da aquiescência (uma tendência de concordar com proposições assertadas, independente do conteúdo). Auditorias anteriores de viés em LLMs frequentemente dependem de prompts de enquadramento único ou métricas simples de concordância. Esses métodos são confundidos por dois fatores:

1. Sensibilidade à redação da pergunta: Pequenas mudanças no fraseado do prompt podem alterar as respostas de forma não relacionada à crença.
2. Sicofancia/Aquiescência: Modelos treinados via otimização de preferência frequentemente concordam com o enquadramento do usuário, independentemente da verdade da proposição ou da posição real do modelo. Um modelo que concorda tanto com "A contribui mais que B" quanto com "B contribui mais que A" revela um estilo de resposta, não uma posição.

Consequentemente, alegações de que os modelos detêm opiniões políticas específicas são frequentemente contaminadas por sua disposição de concordar, tornando impossível separar a convicção da conformidade usando técnicas de auditoria padrão.

Metodologia

Os autores introduzem um instrumento de escolha forçada e de polaridade chaveada por duplo enquadramento, adaptado da psicometria de pesquisas, para medir a postura geopolítica.

Design Experimental

• Sujeitos: 11 modelos de chat ajustados por instrução (5 sediados na China, 5 sediados nos EUA, 1 europeu).
• Estímulos: 7 tópicos geopolíticos (ex: Taiwan, Comércio, Mar do Sul da China) apresentados em inglês e mandarim.
• Duplo Enquadramento: Cada item é um "par mínimo bilíngue". Uma proposição afirmativa é exposta, seguida por uma versão reversa onde os dois termos de resultado comparados são trocados, enquanto as partes permanecem fixas.
• Neutralidade do Agente: Os prompts evitam o enquadramento de agente em primeira pessoa para medir a concordância com uma proposição, em vez da deferência ao usuário.
• Robustez: Prefixos e sufixos aleatórios (wrappers) são aplicados para absorver a sensibilidade do formato de superfície.
• Escala: 19.712 respostas totais através de 308 células de condição (Modelo × Tópico × Idioma × Enquadramento), com 64 iterações por célula.

Mecanismo de Pontuação

As respostas são mapeadas para um eixo de postura assinado de -2 (Máximo Pró-China) a +2 (Máximo Pró-EUA).

• Chaveamento de Polaridade: A pontuação é multiplicada por -1 se o item estiver na direção "chaveada Pró-China" ou se o enquadramento for revertido.
• Lógica de Cancelamento:
  • Aquiescência (Swing): Se um modelo simplesmente concorda tanto com a proposição quanto com sua reversão, as pontuações assinadas se cancelam para zero.
  • Convicção (Viés Líquido): Se um modelo detém uma posição genuína, ele inverte sua resposta bruta quando a proposição se reverte para manter a mesma postura assinada, fazendo com que as pontuações se acumulem.
• Decomposição: O comportamento do modelo é decomposto em:
  • Viés Líquido (Net Bias): A média dos dois enquadramentos (representando a convicção genuína).
  • Oscilação (Swing): A metade da diferença entre os enquadramentos (representando a magnitude da aquiescência).

Principais Resultados

1. Validade: Separando Convicção de Aquiescência

O instrumento distingue com sucesso entre modelos que são genuinamente enviesados e aqueles que são meramente complacentes.

• Mistral vs. Qwen: Ambos os modelos exibiram a mesma "oscilação" (magnitude de aquiescência de 0,22). No entanto, o Qwen mostrou um Viés Líquido significativo de -0,73 (Pró-China), enquanto o Mistral apresentou um Viés Líquido de +0,045 (estatisticamente neutro). Isso prova que a concordância bruta não é igual ao viés; o instrumento isola a convicção ao cancelar a concordância simétrica.
• Falha da Concordância Bruta: O modelo com a maior concordância bruta (Mistral) era neutro, enquanto um modelo com concordância bruta negativa (Gemini) carregava uma estimativa de ponto negativa, demonstrando que a pontuação de enquadramento único classifica incorretamente o viés.

2. A Origem do Desenvolvedor Prediz a Postura de Forma Assimétrica

• Modelos Chineses: Todos os cinco modelos de origem chinesa mostraram uma postura líquida Pró-China (variando de -0,35 a -1,19).
• Modelos dos EUA: Os cinco modelos dos EUA situaram-se na neutralidade (variando de -0,28 a +0,52), mostrando heterogeneidade em vez de uma inclinação uniforme Pró-EUA.
• Assimetria: A separação é direcional; os modelos chineses são uniformemente alinhados, enquanto os modelos dos EUA não são uniformemente opostos.

3. A Mudança de Idioma da Consulta Afeta a Postura Universalmente

• A mudança do inglês para o mandarim deslocou todos os 11 modelos em direção a uma postura Pró-China, independentemente da origem do desenvolvedor.
• O deslocamento médio foi de -0,837 (IC 95%: -1,060 a -0,613).
• Este deslocamento é consistente com um mecanismo baseado no corpus (influência dos dados de treinamento) em vez de um efeito específico do desenvolvedor, pois afetou modelos construídos fora da China. Um teste de controle com português mostrou um deslocamento muito menor, confirmando que o efeito é específico para o corpus de mandarim.

4. Contingência de Tópico

A lacuna entre modelos dos EUA e da China não é uniforme; é maior em questões de soberania.

• Tópicos de Soberania: A lacuna de origem é mais ampla em Taiwan (1,50), Xinjiang (1,18) e Mar do Sul da China (1,08).
• Tópicos Econômicos/Técnicos: A lacuna diminui significativamente em Comércio (0,38) e Tecnologia (0,84). Notavelmente, os modelos chineses colapsaram para a neutralidade em Tecnologia em vez de manter um polo Pró-China, sugerindo um evitamento específico de domínio.

5. Fatores Aditivos

Origem, Idioma da Consulta e Domínio do Assunto atuam como três efeitos principais quase iguais e aditivos (cada um explicando ~9% da variância). Os efeitos de enquadramento foram negligenciáveis (0,13%), confirmando que o instrumento neutralizou com sucesso os artefatos de redação. As interações entre esses fatores foram mínimas.

Significância e Alegações

O artigo afirma que sua principal contribuição é o próprio instrumento, não apenas as descobertas geopolíticas.

• Inovação Metodológica: Ao importar o design de chaveamento equilibrado e de escolha forçada da metodologia de pesquisa, os autores fornecem uma ferramenta quantitativa reproduzível que separa "convicção" de "conformidade". Isso resolve o confuso onde a sicofancia se mascara como opinião política.
• Anatomia Empírica: O estudo fornece o primeiro mapeamento quantitativo limpo de como a origem do desenvolvedor, o idioma da consulta e o domínio do assunto interagem para moldar as posturas dos LLMs, revelando que as mudanças de linguagem são universais e aditivas aos efeitos de origem.
• Reprodutibilidade: Os autores liberam os estímulos, o pipeline de pontuação e uma ferramenta interativa (llmbias.org) para permitir que o instrumento seja aplicado a qualquer domínio de opinião contestada (política, cultural ou científica).
• Limitações: Os autores reconhecem que o estudo mede a postura sob pares mínimos controlados, em vez de discurso de forma livre, e que a "origem" é tratada como um fator associacional devido ao design de um modelo por desenvolvedor. Eles também observam que o instrumento não pode distinguir entre aquiescência simétrica e concordância correlacionada ao conteúdo.

Em resumo, o trabalho demonstra que, sem controlar a aquiescência, as auditorias de viés de LLM são fundamentalmente falhas. O instrumento de duplo enquadramento proposto oferece um mecanismo robusto para revelar inclinações geopolíticas genuínas, mostrando que, embora os modelos dos EUA e da China divirjam significativamente, o idioma da consulta exerce uma força poderosa e universal em direção à postura Pró-China em todos os modelos.