Measuring Political Stance and Consistency in Large Language Models

Resumo Técnico: Medindo o Posicionamento Político e a Consistência em Grandes Modelos de Linguagem

Definição do Problema
A rápida adoção de Grandes Modelos de Linguagem (LLMs) para a recuperação de informações introduziu riscos significativos em relação ao viés político e à confiabilidade de afirmações normativas. Diferente de consultas fatuais, questões políticas frequentemente carecem de uma única resposta "correta", tornando difícil para os usuários verificarem a veracidade dos resultados do modelo. Os LLMs podem inadvertidamente refletir vieses presentes em seus dados de treinamento ou adquirir novos vieses durante o processo de alinhamento. Embora pesquisas anteriores tenham examinado inclinações políticas em domínios específicos (ex: eleições nos EUA, controle de armas), há uma carência de análise sistemática sobre questões regionais e geopolíticas amplamente debatidas, como a guerra entre Rússia e Ucrânia, o conflito Palestina-Israel e políticas na China e no Oriente Médio. Além disso, a consistência desses posicionamentos sob diferentes estratégias de prompting permanece pouco explorada.

Metodologia
Os autores conduziram uma avaliação abrangente de nove LLMs em 24 questões politicamente sensíveis, com foco em tópicos da Ásia, Oriente Médio e Europa Oriental. Os modelos selecionados incluem Mistral-7B, Ollama-8B, DeepSeek, Grok-3-mini, Gemini-2.5-Flash, o3-mini, GPT-4o-mini, GPT-4o e GPT-5. O estudo empregou cinco estratégias distintas de prompting para avaliar a consistência de posicionamento:

1. Perguntas Diretas: Pedir opiniões sem contexto prévio.
2. Fornecimento de Argumentos Opostos: Apresentar um argumento que se opõe ao posicionamento base inferido pelo modelo.
3. Fornecimento de Argumentos para Ambos os Lados: Fornecer argumentos para ambas as partes em conflito.
4. Mudança na Formulação da Pergunta: Reverter o enquadramento da pergunta (ex: perguntar se uma ação é "justificada" vs. "injustificada").
5. Prompting em Diferentes Idiomas: Traduzir os prompts para as línguas locais dos países envolvidos na disputa (ex: turco e grego para a disputa das Ilhas do Egeu) para testar o viés induzido pelo idioma.

Para cada estratégia, três variantes parafraseadas foram geradas para garantir a robustez. As respostas dos modelos foram analisadas por um modelo "juiz" automatizado (Ollama-8B), com o Grok-3-mini servindo como um validador externo para minimizar o viés de autoavaliação. A validação humana em uma amostra aleatória confirmou a precisão do juiz em 96,7%.

Principais Contribuições

• Escopo Expandido: O estudo analisa inclinações políticas em 24 questões amplamente ausentes da literatura anterior, incluindo o bloqueio ao Catar, a opressão dos palestinos, a situação dos uigures e diversas disputas territoriais.
• Análise de Consistência: Os autores investigam como cinco diferentes estratégias de prompting influenciam a estabilidade dos posicionamentos dos modelos, indo além das avaliações de prompt único.
• Reprodutibilidade: Os autores disponibilizaram seu código e dados para apoiar futuras pesquisas neste domínio.

Resultos

• Posicionamento Geral: Em quase todos os casos, os LLMs adotaram um lado específico em questões sensíveis em vez de permanecerem neutros.
• Consenso: Para 8 de 24 tópicos, todos os nove modelos compartilharam a mesma inclinação política (ex: apoio aos direitos palestinos, crítica ao bloqueio do Golfo ao Catar e apoio à Ucrânia na guerra entre Rússia e Ucrânia).
• Variabilidade de Modelos:
  • O Grok-3-mini emergiu como o modelo mais consistente, alterando seu posicionamento em apenas cinco questões em todas as estratégias de prompting.
  • O Mistral-7B foi o menos consistente, alterando seu posicionamento em 19 de 24 casos.
  • O DeepSeek (desenvolvido por uma empresa chinesa) gerou consistentemente saídas apoiando o governo chinês em questões relevantes (IDs 11–14), enquanto outros modelos adotaram majoritariamente o posicionamento oposto.
• Efeitos do Prompting:
  • Sensibilidade Linguística: Alterar o idioma do prompt foi o método mais eficaz para alterar posicionamentos em questões envolvendo países com diferentes idiomas. Em 36,7% desses casos, os modelos reverteram seu posicionamento com base no idioma utilizado (ex: apoiando a Grécia quando instados em grego e a Turquia quando instados em turco).
  • Estabilidade: Os posicionamentos sobre o bloqueio ao Catar e a opressão dos palestinos permaneceram inalterados em todos os modelos e todos os métodos de prompting.
  • Variabilidade Total: De um total de 216 combinações modelo-questão (24 questões × 9 modelos), os posicionamentos permaneceram estáveis em 118 casos, indicando uma consistência substancial no geral, embora exista variabilidade significativa.

Significância e Alegações
O artigo afirma que estas descobertas são essenciais para aumentar a conscientização do usuário quanto às limitações dos LLMs em orientação política. Os autores argumentam que os usuários devem interpretar os resultados dos modelos criticamente, reconhecendo que os posicionamentos podem ser maleáveis dependendo do idioma e do enquadramento do prompt. Para os desenvolvedores, o estudo destaca a necessidade de abordar vieses pré-existentes nos dados de treinamento e nos processos de alinhamento. Os autores sugerem que salvaguardas futuras poderiam incluir mecanismos que exijam que os modelos forneçam justificativas e contra-argumentos baseados em evidências para ajudar os usuários a formarem suas próprias conclusões. O estudo posiciona-se como um passo necessário para uma recuperação de informações socialmente benéfica, reconhecendo que, embora atores maliciosos possam teoricamente explorar estes achados, o objetivo principal é promover a transparência e o engajamento crítico com o conteúdo político gerado por IA.