Resumo Técnico: Diagnóstico de Viés Político em LLMs de Língua Coreana via Simulação de Agentes Fundada em Censo

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados para simular comportamentos políticos humanos, contudo, exibem vieses políticos sistemáticos que comprometem sua utilidade em previsões eleitorais. Embora pesquisas anteriores (por exemplo, Feng et al. [4]) tenham documentado uma inclinação liberal-decisiva em LLMs de língua inglesa usando sondagem intrínseca, permanece incerto se esses vieses se generalizam para eleitorados não ingleses com estruturas políticas distintas, ou quais mecanismos específicos impulsionam a divergência entre a simulação e a realidade.

A política coreana apresenta um desafio único para a simulação devido ao seu regionalismo persistente (bastiões conservadores em Gyeongsang versus progressistas em Jeolla), um grande bloco moderado (aproximadamente 48% dos eleitores), renomeações frequentes de partidos e clivagens geracionais. Frameworks de simulação fundamentados em censo foram desenvolvidos principalmente para os EUA, deixando uma lacuna na compreensão de como os LLMs lidam com dinâmicas políticas não inglesas. Este artigo aborda duas questões centrais: (i) LLMs de língua coreana exibem os mesmos padrões de viés direcional que os modelos de língua inglesa? e (ii) Quais mecanismos específicos de falha impulsionam a lacuna entre a simulação e os resultados eleitorais reais?

2. Metodologia: O Framework Dynamo-K

Os autores introduzem o Dynamo-K, um framework de simulação de agentes LLM fundamentado em censo, projetado como um instrumento de diagnóstico. O pipeline opera através de seis camadas:

1. Fundamentação em Censo: Agentes são sintetizados via amostragem proporcional ponderada a partir dos microdados de 2% do Censo 2020 do MDIS (794.342 registros), cobrindo 5.790 células demográficas não vazias através de idade, sexo, província, educação e estado civil.
2. Semeadura de Crenças: Orientações políticas são atribuídas com base em probabilidades condicionais derivadas dos dados cumulativos do Inquérito Social Geral da Coreia (KGSS) (2003–2023), mapeando demografias para orientações progressistas, moderadas ou conservadoras.
3. Calibração Gallup: Para corrigir a tendência metodológica do KGSS de empurrar respondentes ambíguos para os polos, um adaptador de calibração redistribui as orientações dos agentes para corresponder à referência de longo prazo da Gallup Coreia (26% conservadores, 48% moderados, 26% progressistas). Isso envolve reatribuir agentes "limítrofes" e ajustar suas pontuações de crença.
4. Simulação LLM (ORC): Cada agente recebe um cenário eleitoral e raciocina sobre uma decisão de voto usando um pipeline de Observação–Raciocínio–Conclusão (ORC). O prompt do sistema codifica explicitamente a persona do agente, incluindo demografias e uma descrição comportamental projetada para mitigar vieses (por exemplo, instruindo eleitores moderados a raciocinar como um eleitor perfilado, não como uma IA, e enfatizando a probabilidade igual de votar em qualquer campo).
5. Agregação: Os resultados são agregados em níveis nacional e subnacional (17 províncias), com intervalos de confiança bootstrap gerados a partir de 1.000 reamostragens.
6. Avaliação: O desempenho é medido contra seis eleições coreanas certificadas (2017–2025) usando Erro Absoluto Médio (MAE), precisão de previsão de vencedor e similaridade de Wasserstein.

O estudo avalia quatro modelos treinados independentemente: Qwen3-30B-A3B, EXAONE-4.0-32B, Llama-3.1-8B e DeepSeek-R1-8B.

3. Principais Contribuições e Descobertas

A. Modos de Falha Sistemáticos

Os autores identificam três modos de falha reproduzíveis e uma descoberta dependente do modelo:

1. Viés Progressista em Agentes Moderados: Sem mitigação, agentes moderados votam em candidatos progressistas 97% das vezes. Mesmo com condicionamento demográfico apenas, isso permanece em 82%. A mitigação explícita por prompt (descrições equilibradas, instruções de perspectiva anti-IA) reduz isso para 59%, diminuindo significativamente o MAE geral de 36,8%p para 7,1%p. Isso confirma uma inclinação progressista consistente com descobertas em língua inglesa, mas destaca seu impacto catastrófico na simulação de um grande bloco moderado.
2. Colapso de Saliência de Terceiros: LLMs lutam para distribuir votos entre candidatos de terceiros viáveis. Na eleição de 2017, a simulação colapsou o campo, prevendo o vencedor eventual (Moon Jae-in) com 71,3% de participação, enquanto subestimava o candidato centrista (Ahn Cheol-soo) em 0,9% (real: 21,4%).
   • Decomposição do Mecanismo: O colapso é impulsionado por dois mecanismos distintos: Falha de Saliência (modelos como EXAONE falham em mencionar o candidato no texto de raciocínio) e Viés de Decisão (modelos como Qwen3 mencionam o candidato, mas falham em votar neles).
   • Solução de Reenquadramento: O reenquadramento do cenário (reordenar candidatos, expandir promessas) sozinho recuperou a participação prevista de Ahn de 0,9% para 18,8%, reduzindo o MAE em 62% sem mudanças arquitetônicas ou retreinamento.
3. Colapso de Polarização Regional: O que parece ser um viés conservador uniforme em eleições gerais é, na verdade, uma subestimação bidirecional de ambos os bastiões conservadores e progressistas. O erro está concentrado em regiões de disputa onde eleitores moderados dominam.
4. Viés de Modelo de Valência Oposta: Na corrida presidencial de 2025, o Qwen3 exibiu um viés progressista de +11,8%p, enquanto o EXAONE exibiu um viés conservador de −17,2%p. Isso demonstra que o viés direcional é altamente dependente do modelo, mesmo entre modelos de tamanho similar.

B. Calibração e Validação

• Adaptador OSLR: Para abordar o viés dependente do modelo, os autores propõem o adaptador Orientation × Sido Logistic Reweighting (OSLR). Este mecanismo de reponderação aprendido não utiliza nomes de candidatos no treinamento ou teste, confiando apenas em características estáveis (orientação do partido, região).
• Teste Retido a Frio: O adaptador OSLR foi avaliado na eleição local de 2022 (totalmente retida). Embora não tenha previsto perfeitamente o vencedor devido à divisão nas previsões do modelo, reduziu o MAE nacional de 2,29%p (ensemble simples) para 1,57%p, demonstrando que a estrutura de reponderação aprendida transfere-se para eleições estruturalmente diferentes.
• Desempenho: O sistema previu corretamente o vencedor em todas as três eleições presidenciais (3/3), com um MAE de melhor caso de 2,1%p na corrida de 2022 com margem de 0,73%p. No entanto, a previsão de vencedor em eleições gerais foi de 0/2 correta usando uma abstração de proxy de partido, embora uma prova de conceito em nível de distrito para 2024 tenha revertido o resultado para correto.

C. Custo e Escalabilidade

O pipeline opera a aproximadamente $0,25 por execução de 5.000 agentes, cerca de duas ordens de magnitude mais barato que pesquisas profissionais ($50.000+). Os autores enquadram isso não como um substituto para pesquisas, mas como uma ferramenta para "diagnóstico em escala", permitindo exploração rápida de cenários (por exemplo, "e se" candidatos desistirem) e análise de sensibilidade que é economicamente inviável com métodos tradicionais.

4. Significado e Alegações

O artigo afirma que o Dynamo-K serve como um instrumento de diagnóstico que traz à tona modos de falha específicos e reproduzíveis no comportamento político de LLMs que, de outra forma, permanecem ocultos atrás de resumos de precisão agregada.

• Validade Diagnóstica: O framework localiza com sucesso falhas em mecanismos específicos (por exemplo, distinguindo entre falha de saliência e viés de decisão), permitindo intervenções direcionadas como reenquadramento de prompt ou reponderação.
• Generalização Não Inglesa: O estudo fornece a primeira caracterização empírica de como a "inclinação liberal" documentada para LLMs em inglês surge na simulação de decisões de eleitores coreanos, confirmando que o viés está presente, mas interage com estruturas políticas locais (por exemplo, o grande bloco moderado) de maneiras únicas.
• Limitações: Os autores são modestos em suas alegações, observando que o tamanho da amostra (seis eleições) é pequeno para conclusões estatísticas robustas. Eles reconhecem limitações incluindo incompatibilidade temporal do censo (usando dados de 2020 para eleições de 2017/2025), agentes estáticos (sem atualização dinâmica de crenças) e a falta de efeitos de interação social. Eles afirmam explicitamente que o sistema não é um substituto para pesquisas, mas uma ferramenta complementar para triagem rápida e diagnóstico de mecanismos.

O trabalho conclui que, embora os LLMs possam alcançar precisão competitiva na previsão de vencedores para eleições presidenciais, desafios significativos permanecem na modelagem de eleições gerais e dinâmicas de terceiros, necessitando de modelagem em nível de distrito e mais pesquisa interlinguística.