Resumo Técnico: O Parceiro de Coalizão Invisível

Declaração do Problema

Pesquisas anteriores estabeleceram que modelos de linguagem de grande escala (LLMs) ajustados por instrução exibem um viés político à esquerda. No entanto, este achado deriva exclusivamente de questionários políticos abstratos (ex: Political Compass, propostas de políticas da Smartvote) que medem atitudes ou disposições políticas em relação a princípios. Existe uma lacuna crítica na compreensão de se esses vieses medidos preveem o comportamento político concreto quando os modelos são confrontados com decisões políticas do mundo real que envolvem compensações (tradeoffs) específicas, argumentos de lados opostos e resultados vinculativos.

O artigo postula que, se os LLMs alternam seu raciocínio entre princípios abstratos e compensações concretas, a literatura predominante sobre "viés à esquerda" pode estar medindo um fenômeno que não se generaliza para a participação democrática real.

Metodologia

Os autores introduzem uma metodologia de instrumento duplo fundamentada no contexto democrático suíço, que oferece um sistema multipartidário único, uma tradição de democracia direta com referendos concretos e um ambiente multilíngue (alemão, francês, italiano, romanche).

1. Instrumento 1: Abstrato (Smartvote)

• Dados: O questionário Smartvote das eleições do Conselho Nacional Suíço de 2023 (75 perguntas em 14 categorias políticas).
• Sujeitos: 66 LLMs de 27 famílias de modelos (EUA, China, França, Canadá, Israel), incluindo modelos de código aberto e de código fechado.
• Benchmark: 184 membros eleitos do Conselho Nacional Suíço.
• Análise: As respostas dos LLMs foram projetadas em um espaço político definido por Análise de Componentes Principais (PCA) das respostas dos parlamentares para medir o alinhamento com partidos específicos (SP, Grüne, GLP, Die Mitte, FDP, SVP).

2. Instrumento 2: Concreto (Volksabstimmungen)

• Dados: 48 referendos federais realizados entre março de 2021 e fevereiro de 2025.
• Sujeitos: 9 LLMs de destaque (ex: GPT-5.4, Claude Opus 4.6, Mistral Large, Grok 4.20).
• Condições:
  • Idiomas: Cada referendo foi apresentado em todos os quatro idiomas nacionais.
  • Níveis de Informação: Três condições foram testadas: (1) Apenas resumo, (2) Resumo + contexto factual, (3) Texto completo incluindo argumentos pró/contra.
• Benchmark: Recomendações oficiais dos partidos (Parolen) e resultados reais do voto popular.
• Análise: Concordância binária (Ja/Nein — Sim/Não) entre os votos dos modelos e as Parolen dos partidos, bem como consistência entre idiomas e condições.

Contribuições Principais

1. Estrutura de Instrumento Duplo: O primeiro estudo a comparar o posicionamento político de LLMs em questionários abstratos contra decisões políticas concretas dentro do mesmo sistema político.
2. Descoberta de Viés Dependente do Instrumento: Evidência de que o "viés à esquerda" não é um traço estável, mas uma função do instrumento de medição.
3. Instabilidade Cross-Linguística: Quantificação de como o idioma da consulta altera os outputs políticos, revelando um "Röstigraben artificial" (divisão linguística) no comportamento do modelo que não reflete os reais padrões de votação suíços.
4. Heurística de Aversão à Mudança: Identificação de uma tendência sistemática de "Nein" (Não) em modelos específicos que opera independentemente da ideologia política (progressista vs. conservadora).

Resultados Principais

1. Divergência entre Comportamento Abstrato e Concreto (RQ1)

• Smartvote (Abstrato): Replica achados anteriores. A maioria dos modelos se agrupa no centro-esquerda, mostrando um gradiente de concordância da esquerda para a direita (maior concordância com SP/Grüne, menor com SVP). O centroide do modelo está significativamente deslocado do centro parlamentar (Cohen's d = 3.64).
• Volksabstimmungen (Concreto): O gradiente inverte. Em referendos concretos, os modelos mudam de um perfil de pico à esquerda para um perfil de pico central.
  • A concordância com partidos de esquerda (SP, Grüne) colapsou entre 33–37 pontos percentuais.
  • Os modelos alinharam-se mais com partidos de centro (Die Mitte e FDP).
  • Teste estatístico: A mudança na direção do gradiente é significativa (Wilcoxon signed-rank p = 0.008).
  • Conclusão: O posicionamento político abstrato não prevê o comportamento de votação concreto (Spearman ρ = -0.253, p = 0.545).

2. Sensibilidade Linguística (RQ2)

• Variância de Consistência: A consistência cross-linguística varia drasticamente. O GPT-5.4 é quase invariante (98% de consistência), enquanto o Mistral e o Llama mostram alta instabilidade (50–58% de consistência).
• O "Röstigraben Artificial": Para alguns modelos, o idioma da consulta altera a resposta mais do que o conteúdo político.
  • Exemplo: A taxa de "Ja" do Mistral oscilou de 17% em alemão para 82% em romanche (embora 42% das consultas em romanche tenham sido recusadas).
  • Essas mudanças não se correlacionam com as divisões de votação cantonais reais da Suíça (Röstigraben), sugerindo que a instabilidade advém de diferenças no processamento de linguagem interno do modelo, e não de associações culturais aprendidas.

3. Aversão Sistemática à Mudança (RQ3)

• Dois modelos (Grok e Mistral) exibiram uma tendência sistemática de votar "Nein" (Não) em 83–94% dos referendos.
• Essa tendência foi uniforme tanto para propostas progressistas quanto conservadoras, indicando aversão à mudança em vez de um viés político específico de esquerda ou direita.
• Outros modelos não mostraram desvio significativo de uma linha de base de 50%, embora o alinhamento com os resultados do voto popular tenha variado (GPT-5.4: 97.9% de alinhamento; Grok: 60.4%).

4. Padrões de Recusa

• As taxas de recusa foram altamente dependentes do idioma e do contexto.
• O Gemini 3.1 Pro recusou 98% das consultas breves em alemão, mas apenas 54% das consultas breves em romanche.
• O Grok mostrou um padrão invertido, recusando mais em francês do que em alemão.
• Adicionar contexto (texto completo) geralmente reduziu as taxas de recusa para o Gemini, mas as aumentou para o Grok em francês, indicando salvaguardas de segurança inconsistentes entre provedores e idiomas.

Significância e Alegações

O artigo argumenta que o "parceiro de coalizão invisível" (o LLM) não possui um caráter político único e estável. Em vez disso, sua disposição política é dependente do instrumento:

• Em instrumentos abstratos, os LLMs comportam-se como progressistas de centro-esquerda, alinhando-se com a literatura anterior.
• Em decisões concretas, eles comportam-se como burocratas cautelosos: centristas, favoráveis ao status quo e inconsistentes entre idiomas.

Implicações:

• O "viés à esquerda" relatado na literatura anterior pode ser um artefato de uma medição abstrata que falha em capturar como os modelos lidam com compensações do mundo real.
• O risco não é necessariamente que os LLMs favoreçam sistematicamente causas progressistas, mas que seu caráter político seja instável. Usuários e auditores que dependem de uma única classe de instrumento (ex: questionários abstratos) podem estar mal calibrados em relação ao real impacto dos modelos nos processos democráticos concretos.
• A sensibilidade linguística introduz um novo vetor de desigualdade democrática, onde falantes de línguas minoritárias podem receber respostas diferentes ou ter respostas negadas devido a padrões de recusa dependentes do idioma.

Os autores concluem que a questão não é mais "Os LLMs inclinam-se à esquerda?", mas sim "Como o instrumento usado para medi-los altera o caráter político que eles revelam?".