Mapping the Narrow Corridor with Large Language Models

Resumo Técnico: Mapeando o Corredor Estreito com Grandes Modelos de Linguagem

Definição do Problema
O arcabouço do Corredor Estreito de Acemoglu e Robinson postula que a liberdade surge de um equilíbrio contestado entre o poder do Estado e o poder da sociedade civil, visualizado como um caminho através de um espaço bidimensional. Embora o arcabouço seja teoricamente rico, ele permanece puramente qualitativo porque operacionalizá-lo exige uma codificação laboriosa e carregada de julgamento de séculos de história em coordenadas específicas de $(sociedade, estado)$. Os autores identificam isso como um problema de mensuração: transformar a história narrativa em uma sequência de coordenadas quantitativas é vulnerável ao viés humano, à leitura seletiva e à falta de reprodutibilidade. O artigo questiona se os Grandes Modelos de Linguagem (LLMs) podem operacionalizar esse arcabouço para produzir trajetórias reprodutíveis, verificáveis e úteis para múltiplos países.

Metodologia
Os autores propõem um pipeline reprodutível e agnóstico a provedores que pontua países período a período (tipicamente em intervalos de 10 anos) usando uma estratégia de prompting específica:

1. Rubrica Ancorada: Em vez de solicitações de formato livre, o sistema utiliza uma rubrica fixa de 0 a 10 definindo faixas para o poder do estado (desde "colapsado/inexistente" até "penetração avassaladora") e o poder da sociedade (de "atomizada" a "fiscaliza pervasivamente o estado"). A rubrica inclui orientação explícita de neutralidade para evitar o presentismo e tratar os eixos como independentes.
2. Elicitação de Cadeia de Pensamento (CoT): Para cada período, o modelo é primeiro instigado a listar os principais eventos e tendências históricas que afetam a dinâmica de poder, separando tendências lentas de eventos discretos. Essa narrativa é então alimentada em um segundo prompt para gerar a pontuação numérica, garantindo que o número seja condicionado a um raciocínio explícito.
3. Ancoragem Temporal em Contexto: Para garantir a coerência temporal, o pipeline acumula os pares $(sociedade, estado)$ de todos os períodos anteriores e os insere no prompt para o período atual. Isso desencoraja o desvio da trajetória e permite que o modelo raciocine sobre as mudanças em relação ao estado anterior.
4. Saída Estruturada: As respostas são validadas contra um esquema JSON fixo contendo as pontuações, mudanças, eventos-chave e justificativas. Respostas malformadas acionam uma tentativa de reprocessamento ou um fallback numérico.
5. Agnosticismo de Provedor: Uma interface unificada permite a troca de provedores de modelos (Google, Anthropic, OpenAI, Alibaba) alterando apenas uma string, isolando os efeitos do modelo dos efeitos do prompt.

Configuração Experimental

• Escopo: Um atlas de prova de conceito cobrindo 12 países (Irã, França, Reino Unido, EUA, China, Chile, Colômbia, RDC, Líbano, Zâmbia, Somália, Índia) selecionados para representar os quatro tipos de "Leviatã" do livro (Despótico, Preso, de Papel, Ausente).
• Modelos: Quatro modelos foram comparados: três de pesos fechados (gemini-2.5-pro, claude-opus-4-8, gpt-5.5) e um de pesos abertos (qwen-2.5-72b-instruct).
• Validação:
  • Consistência: As pontuações foram comparadas com o índice de especialistas das Variedades de Democracia (V-Dem) (especificamente o índice de sociedade civil e autoridade estatal sobre o território). Os autores observam explicitamente que, como o V-Dem provavelmente está nos dados de treinamento dos modelos, isso mede a "consistência concorrente" com o consenso dos especialistas, em vez da precisão externa.
  • Confiabilidade: A concordância intermodelos foi medida usando o $\alpha$ de Krippendorff nas mudanças período a período.
  • Sensibilidade de Linguagem: Os prompts para cinco países foram traduzidos para suas línguas nativas para testar se os dados de treinamento centrados no inglês enviesavam os resultados.

Principais Resultados

1. Atlas de Trajetória: Os modelos geraram trajetórias que se alinharam amplamente com as expectativas teóricas do livro.
   • Leviatãs Presos: O Reino Unido, EUA, França e Índia foram colocados dentro do corredor, mostrando o crescimento conjunto do estado e da sociedade.
   • Leviatãs Despóticos: Irã e China foram colocados na região de domínio estatal, com trajetórias mostrando um deslocamento para o domínio estatal após grandes revoluções (Irã de 1979, China de 1949).
   • Estados Fracos: A RDC e a Somália permaneceram na região de baixo estado (Leviatã Ausente), enquanto o Líbano e a Colômbia ocuparam a região de estado fraco (Leviatã de Papel), embora os modelos tenham colocado a Zâmbia dentro do corredor em vez de abaixo dele, interpretando sua estabilidade pós-1991 como um crescimento equilibrado genuíno.
2. Robustez de Ensemble: Uma média de ensemble dos quatro modelos produziu uma leitura mais suave e robusta do que qualquer modelo individual. Embora os modelos discordassem sobre o grau de crescimento (ex: capacidade estatal dos EUA), eles concordaram amplamente sobre a categoria de posicionamento (ex: todos colocaram os EUA dentro do corredor).
3. Consistência com V-Dem:
   • Poder da Sociedade: Foram encontradas correlações positivas fortes entre as pontuações de sociedade dos LLMs e o índice de sociedade civil do V-Dem (ex: $\rho = 0,89$ para a China).
   • Poder do Estado: As correlações foram fracas ou inexistentes. Os autores atribuem isso a uma incompatibilidade de operacionalização: o proxy do V-Dem para "autoridade sobre o território" está próximo da saturação para estados consolidados, enquanto o LLM captura dinâmicas mais amplas de capacidade estatal e fases de construção histórica.
4. Confiabilidade: A confiabilidade intermodelos (Krippendorff's $\alpha$) foi geralmente moderada a forte ( $\alpha$ geral $\approx 0,66$ para sociedade, $0,68$ para estado), com maior concordância em países com arcos históricos claros (Irã, Chile) e menor concordância em casos complexos como os EUA.
5. Sensibilidade de Linguagem: Traduzir os prompts para as línguas nativas resultou em deslocamentos mínimos nas trajetórias (deslocamento médio de 0,33 pontos), sugerindo que, embora o viés nos dados de treinamento exista, a linguagem do prompt em si não é o principal motor das pontuações.

Significância e Alegações
O artigo posiciona-se como uma prova de conceito e não como uma análise histórica definitiva. Suas principais contribuições são:

• Operacionalização: Demonstra que os LLMs podem traduzir um arcabouço denso em narrativa e qualitativo em um atlas de trajetória reprodutível e quantitativo.
• Escalabilidade e Custo: Os autores destacam a dramática redução de custo e tempo em comparação com painéis de especialistas (aproximadamente $15 e algumas horas para 1.600 chamadas vs. ordens de magnitude a mais para codificação humana).
• Transparência: Ao contrário de painéis de especialistas humanos onde o viés é frequentemente opaco, o pipeline de LLM oferece artefatos explícitos (prompts, rubricas, cadeia de pensamento) que podem ser inspecionados, versionados e reexecutados.
• Definição de Papel: Os autores argumentam que os LLMs são mais adequados como uma "primeira passagem escalável" para gerar trajetórias candidatas e evidenciar áreas de discordância, liberando especialistas humanos para focar em casos contestados onde a responsabilidade e o julgamento matizado são primordiais.

Limitações Reconhecidas
Os autores alertam explicitamente que:

• Circularidade: A concordância com o V-Dem não prova a precisão, pois o V-Dem provavelmente está nos dados de treinamento.
• Viés: Os modelos herdam vieses de corpora de treinamento centrados no inglês e de inclinação ocidental, o que pode suavizar episódios contestados ou subdocumentados.
• Dependência de Caminho: O método de ancoragem em contexto significa que uma pontuação errônea inicial pode se propagar por toda a trajetória.
• Generalização: Com apenas 12 países, o estudo não é uma base para generalização transnacional.

O artigo conclui que, embora os LLMs não possam substituir a codificação de especialistas para prestação de contas de alto nível, eles fornecem uma ferramenta poderosa e reprodutível para visualizar e explorar arcabouços teóricos como o Corredor Estreito em uma escala anteriormente inalcançável.