Resumo Técnico: Grandes Modelos de Linguagem Predizem com Precisão as Percepções Públicas de Apoio à Ação Climática em Todo o Mundo

Definição do Problema

Enfrentar as mudanças climáticas exige mudanças coordenadas no comportamento individual e na política sistêmica. Embora as pesquisas de opinião global indiquem um amplo apoio à ação climática (ex: 69% de disposição para contribuir com 1% da renda), os esforços de mitigação reais permanecem insuficientes. Uma barreira primária identificada em pesquisas multidisciplinares é a ignorância pluralística: indivíduos subestimam sistematicamente o nível de apoio e a disposição para agir entre seus pares. Essas percepções equivocadas (crenças de segunda ordem) suprimem o apoio expresso e a ação por meio de mecanismos de cooperação condicional, criando uma espiral de inação autoperpetuadora.

Corrigir essas lacunas requer mapas de discrepância de percepção globais e oportunos. No entanto, gerar tais dados é logisticamente desafiador e dispendioso, pois exige medidas pareadas de atitudes pessoais e percebidas de amostras representativas em diversas nações. Este estudo investiga se Grandes Modelos de Linguagem (LLMs) podem servir como uma alternativa ou complemento escalável e de baixo custo às pesquisas tradicionais para mapear essas lacunas de percepção em todo o mundo.

Metodologia

Dados e Verdade Fundamental (Ground Truth)

O estudo utiliza dados da Pesquisa Global sobre Mudanças Climáticas (parte da Gallup World Poll 2021/22), abrangendo 125 países com aproximadamente 129.902 respondentes.

• Variável de Resultado: A "lacuna de percepção", definida como a diferença entre a média nacional da disposição pessoal de contribuir financeiramente para a ação climática (crença de primeira ordem) e a disposição percebida dos outros (crença de segunda ordem).
• Covariáveis: Indicadores sociodemográficos (idade, educação, religiosidade), macroeconômicos (PIB per capita, desigualdade, IDH) e climáticos (temperatura média) por país foram agregados a partir dos dados do Banco Mundial e da Gallup.

Desenho Experimental

Os autores conduziram um experimento pré-registrado (OSF: ez4ur) comparando quatro LLMs de última geração contra modelos estatísticos de base:

1. Modelos Avaliados: GPT-4o mini, Claude 3.5 Haiku, Gemini 2.5 Flash e Llama 4 Maverick (17B).
2. Protocolo de Prompting: Os modelos foram consultados sob oito estágios sequenciais de informação (Estágio 1 ao Estágio 8), variando desde o fornecimento apenas do nome do país até o fornecimento de todo o conjunto de dados sociodemográficos, econômicos, climáticos e de disposição de primeira ordem.
3. Tarefa: Os modelos foram instruídos a estimar a porcentagem de respondentes em um determinado país que acreditam que outros estão dispostos a contribuir com 1% de sua renda para a ação climática, baseando-se estritamente nos dados contextuais fornecidos.
4. Benchmarks: O desempenho dos LLMs foi comparado contra:
   • Verdade Fundamental: As lacunas de percepção reais derivadas da pesquisa.
   • Modelos Estatísticos: Regressões de Mínimos Quadrados Ordinários (OLS) e Lasso treinadas em 80% dos países e avaliadas em um conjunto de controle de 20%.

Testes Diagnósticos e Mecanísticos

Para distinguir entre inferência estruturada e memorização de dados de treinamento, os autores empregaram vários testes diagnósticos:

• Ablação de Características: Remoção sistemática de variáveis de entrada específicas (ex: remover disposição pessoal, PIB ou demografia) para medir o impacto no erro de previsão.
• Perturbações Contrafatuais:
  • Inversão de Disposição (Willingness Flip): Troca de valores de alta/baixa disposição pessoal entre países.
  • Incompatibilidade de Nome (Name Mismatch): Atribuição do nome de um país ao perfil de dados de outro país.
  • Inversão de PIB (GDP Flip): Inversão dos valores de PIB entre os países.
• Testes de Robustez: Testes em diferentes formatos de prompt (tópicos vs. frases) e generalização para 24 lacunas de percepção de políticas climáticas dos EUA alternativas.

Principais Resultados

Precisão Preditiva

• Melhores Desempenhos: Claude 3.5 Haiku e Llama 4 Maverick demonstraram a maior precisão.
  • Claude: Alcançou um Erro Médio Absoluto (MAE) de 4,60 pontos percentuais (p.p.) e uma correlação ($r$) de 0,77 com a verdade fundamental, desempenhando-se de forma comparável ao OLS (MAE 4,79) e ao Lasso (MAE 4,66).
  • Llama: Mostrou desempenho semelhante com um MAE de 7,00 p.p. e $r = 0,67$.
• Desempenhos Inferiores: GPT-4o mini e Gemini 2.5 Flash exibiram erros significativamente maiores (MAE > 13 p.p. e 14 p.p., respectivamente) e correlações menores. O desempenho do Gemini foi particularmente ruim ($r = 0,15$), provavelmente devido a filtros de segurança ou limitações específicas do modelo.
• Padrão Global: Todos os modelos capturaram a ampla estrutura espacial das lacunas de percepção, sendo as subestimações mais severas na América Latina, África Ocidental e Sul da Ásia, e menores na Europa Ocidental.

Preditores Estruturais de Precisão

A precisão da previsão não foi uniforme; ela correlacionou-se fortemente com indicadores estruturais de disponibilidade de informação:

• Penetração de Internet e PIB: Os modelos performaram significativamente melhor em países com maior penetração de internet e PIB per capita ($R^2$ entre 0,08–0,27).
• Viés: Isso sugere um viés de representação nos dados de treinamento, onde os LLMs são mais confiáveis em nações mais ricas e digitalmente conectadas e menos precisos em ambientes mais pobres ou menos conectados.

Insights Mecanísticos

• Projeção Social: Os melhores modelos (Claude, Llama) identificaram corretamente a disposição pessoal (crença de primeira ordem) como o preditor mais forte da disposição percebida (crença de segunda ordem), espelhando o processo psicológico humano de projeção social.
• Raciocínio vs. Memorização:
  • Ablação: A remoção dos dados de disposição pessoal aumentou os erros para Claude e Llama em cerca de 1,5–2,2 p.p., confirmando a dependência desta característica.
  • Contrafatuais: A troca de nomes de países ou valores de PIB teve efeitos negligenciáveis nos principais modelos, indicando que eles dependem do raciocínio estrutural das características fornecidas, em vez de recuperar estatísticas específicas de países memorizadas.
  • Exposição aos Dados de Treinamento: Embora alguns modelos tenham sido treinados após a liberação dos dados da pesquisa, o padrão de erros (variando conforme o ambiente de informação, não uniforme) e o fato de o modelo treinado mais recentemente (Gemini) não ter sido o melhor, argumentam contra a pura memorização.

Significância e Alegações

O artigo afirma que os LLMs, particularmente o Claude e o Llama, fornecem uma ferramenta rápida e de baixo custo para avaliar as lacunas de percepção globais em relação à ação climática. A significância desses achados é estruturada da seguinte forma:

1. Escalabilidade: Os LLMs podem mapear lacunas de percepção em 125 países com precisão comparável aos modelos estatísticos tradicionais, oferecendo uma alternativa viável para pesquisas de grande escala, que são caras e logisticamente difíceis.
2. Intervenção Direcionada: Ao identificar onde as lacupas de percepção são maiores (ex: regiões específicas na África e Ásia), os LLMs podem ajudar governos e ONGs a priorizar onde os esforços de correção de percepção são mais urgentes e provavelmente serão eficazes.
3. Papel Complementar: Os autores posicionam modestamente os LLMs não como um substituto total para as pesquisas, mas como um mecanismo complementar. Eles podem permitir o rastreamento de baixo custo em ambientes ricos em informação e fornecer sinais provisórios em ambientes com escassez de recursos, orientando onde os recursos de medição direta devem ser implantados.
4. Validade Mecanística: O estudo demonstra que os LLMs podem realizar raciocínio de segunda ordem complexo ("Eu acho que você acha") e capturar o mecanismo psicológico de projeção social com um viés de subestimação sistemático, desde que sejam condicionados a dados estruturais e atitudinais relevantes.

Os autores concluem que, embora existam limitações quanto à granularidade subnacional e ao desempenho em regiões de baixa conectividade, o mapeamento de percepção baseado em LLM representa um avanço significativo na ciência social computacional para o design de políticas climáticas.