Ideological Bias in LLMs' Economic Causal Reasoning

Resumo Técnico: Viés Ideológico no Raciocínio Causal Econômico de LLMs

1. Problema e Motivação

O artigo investiga se os Grandes Modelos de Linguagem (LLMs) exibem viés ideológico sistemático ao raciocinar sobre efeitos causais econômicos. À medida que os LLMs são cada vez mais utilizados em análise de políticas, relatórios econômicos e suporte à decisão corporativa, a capacidade de prever corretamente a direção de efeitos causais torna-se crítica.

O problema central reside no fato de que, em muitos cenários econômicos, a direção do efeito é ideologicamente contestada. Diferentes quadros teóricos (intervencionista/governamental vs. orientado ao mercado) preveem sinais causais opostos para a mesma intervenção.

• Exemplo: Um aumento no salário mínimo.
  • Visão Orientada ao Mercado: Preve que aumentará o desemprego (devido ao aumento dos custos trabalhistas).
  • Visão Intervencionista: Preve que manterá ou aumentará o emprego (devido ao aumento do poder de compra e demanda).
    O risco é que os LLMs, ao preverem nessas situações, privilegiem implicitamente um conjunto de priors (pressupostos) sobre o outro, gerando um "inclinamento" invisível nas recomendações de políticas públicas.

2. Metodologia

2.1. Dados e Benchmark (EconCausal)
Os autores utilizaram o benchmark EconCausal, composto por 10.490 triplets causais (tratamento, resultado e sinal do efeito) extraídos de artigos de revistas de economia e finanças de alto nível (top-tier).

• Definição de "Contestação Ideológica": Para cada triplet, quatro LLMs (GPT, Claude, Qwen, Grok) foram consultados para atribuir um sinal esperado sob uma perspectiva intervencionista ($s_{intervention}$) e uma orientada ao mercado ($s_{market}$), sem conhecimento do resultado empírico real.
• Seleção: Foram identificados 1.056 triplets contestados (10,1% do total), onde as duas perspectivas previram sinais divergentes.
• Validação: Dois professores de economia validaram uma subamostra, confirmando a estabilidade do processo de rotulagem (acordo de 93,33%).

2.2. Configuração Experimental

• Modelos Avaliados: 20 LLMs de última geração, incluindo modelos fechados (OpenAI GPT, Anthropic Claude, Google Gemini, xAI Grok) e abertos (Meta Llama, Alibaba Qwen), variando em escala de parâmetros.
• Tarefa: Previsão de sinal causal (Positivo, Negativo, Neutro, Misto) dado o contexto e o par tratamento-resultado.
• Métricas Principais:
  • Acurácia Assimétrica: Diferença de acurácia entre itens onde a verdade empírica alinha-se com expectativas intervencionistas ($Acc_{intervention}$) versus orientadas ao mercado ($Acc_{market}$).
  • Viés Direcional ($B_{dir}$): Medida que quantifica se os erros do modelo tendem sistematicamente para um lado ideológico.
  • Teste de Robustez: Emparelhamento por dificuldade (Difficulty Matching) e análise de In-Context Learning (ICL) com exemplos de diferentes orientações ideológicas.

3. Principais Resultados

3.1. Dificuldade e Assimetria de Acurácia

• Dificuldade: Itens contestados ideologicamente são consistentemente mais difíceis para todos os modelos do que itens não contestados.
• Viés de Acurácia: 18 dos 20 modelos apresentaram maior acurácia quando a verdade empírica alinhava-se com expectativas intervencionistas.
  • Modelos fechados: Vantagem de +9,7 pontos percentuais (pp) para o lado intervencionista.
  • Modelos abertos: Vantagem de +15,1 pp para o lado intervencionista.
  • Exceção: A família Claude (Sonnet 4.6 e Opus 4.6) mostrou uma leve vantagem para o lado orientado ao mercado.

3.2. Viés Direcional nos Erros
Os erros não são aleatórios; eles são sistematicamente direcionados.

• A maioria dos modelos (15 de 20) cometeu erros que tendiam a favorecer a perspectiva intervencionista ($B_{dir} > 0$).
• Modelos como Llama 3.3-70B e Qwen 3-8B exibiram viés direcional muito forte (+17,9 e +17,7, respectivamente).
• Isso significa que, quando os modelos erram, eles tendem a prever resultados que favorecem a intervenção governamental, mesmo quando a evidência empírica aponta para o mercado.

3.3. Heterogeneidade por Subáreas
O viés não é uniforme em todas as áreas da economia:

• Maior assimetria: Saúde e Bem-estar/Redistribuição (onde a intervenção estatal é ideologicamente saliente).
• Exceção: Tributação, onde o padrão se inverteu ligeiramente.
  Isso indica que o viés é concentrado em áreas de política pública específicas, não sendo apenas um "desvio para a esquerda" generalizado.

3.4. Robustez e In-Context Learning (ICL)

• Dificuldade: Após emparelhar os itens por dificuldade, a assimetria de acurácia persistiu, descartando a hipótese de que itens de mercado são intrinsecamente mais difíceis.
• Prompting: O uso de exemplos in-context (um exemplo intervencionista vs. um de mercado) não conseguiu reverter o viés.
  • Em muitos casos, exemplos alinhados à verdade de mercado não melhoraram a acurácia dos modelos orientados ao mercado.
  • Em alguns casos, exemplos de mercado aumentaram a confiança do modelo (calibração) sem melhorar a precisão, levando a erros mais confiantes.

4. Contribuições Principais

1. Novo Lente de Análise: Introduz o conceito de "relações causais contestadas ideologicamente" para estudar o raciocínio de LLMs, indo além da dependência de contexto ou de preferências expressas em pesquisas.
2. Construção de Dataset: Criou um subconjunto rotulado do EconCausal que distingue itens contestados de não contestados, permitindo avaliações controladas.
3. Evidência Empírica Sistemática: Demonstra que os LLMs são não apenas menos precisos em questões contestadas, mas sistematicamente menos confiáveis em uma direção ideológica específica (orientada ao mercado).
4. Nova Métrica: Propõe o uso de métricas de viés direcional ($\Delta acc$ e $B_{dir}$) para avaliação, argumentando que a acurácia agregada mascara disparidades perigosas em cenários de alto risco.

5. Significado e Implicações

• Risco de Políticas Públicas: O viés não é apenas uma questão de "opinião", mas de raciocínio factual. Quando um LLM prevê erroneamente que um aumento de salário mínimo mantém o emprego (alinhado ao viés intervencionista), os usuários podem interpretar isso como um fato empírico, não como um viés do modelo.
• Falha nas Métricas Atuais: A acurácia média é insuficiente para avaliar LLMs em análise econômica. Um modelo pode ter alta acurácia geral, mas ser altamente falho em prever efeitos de mercado.
• Origem do Viés: O estudo sugere que o viés não é apenas um artefato de prompting, mas está enraizado no treinamento (pré-treinamento e alinhamento). A comparação entre modelos base e instruídos mostra que o viés intervencionista já existe nos modelos base e pode ser amplificado pelo instruction tuning.
• Recomendação: A avaliação de raciocínio causal em LLMs deve ser consciente da direção (direction-aware), especialmente em contextos de alto risco onde a assimetria de confiabilidade pode distorcer decisões políticas e econômicas.

Em resumo, o artigo alerta que os LLMs atuais carregam um "inclinamento" estrutural que favorece narrativas de intervenção governamental sobre evidências empíricas de mercado, representando um risco significativo para a integridade da análise econômica automatizada.