Mapping the Narrow Corridor with Large Language Models

Resumen Técnico: Mapeando el Corredor Estrecho con Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El marco del Corredor Estrecho de Acemoglu y Robinson postula que la libertad surge de un equilibrio disputado entre el poder del Estado y el poder de la sociedad civil, visualizado como un camino a través de un espacio bidimensional. Aunque el marco es teóricamente rico, sigue siendo puramente cualitativo porque su operacionalización requiere una codificación laboriosa y sujeta al juicio humano de siglos de historia en coordenadas específicas de $(sociedad, estado)$. Los autores identifican esto como un problema de medición: convertir la narrativa histórica en una secuencia de coordenadas cuantitativas es vulnerable al sesgo humano, la lectura selectiva y la falta de reproducibilidad. El artículo se pregunta si los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) pueden operacionalizar este marco para producir trayectorias reproducibles, verificables y útiles para múltiples países.

Metodología
Los autores proponen un flujo de trabajo agnóstico respecto al proveedor y reproducible que califica a los países periodo por periodo (típicamente en intervalos de 10 años) utilizando una estrategia de prompting específica:

1. Rúbrica Anclada: En lugar de solicitudes de forma libre, el sistema utiliza una rúbrica fija de 0 a 10 que define bandas para el poder del estado (desde "colapsado/inexistente" hasta "penetración abrumadora") y el poder de la sociedad (desde "atomizada" hasta "controla de manera generalizada al estado"). La rúbica incluye una guía explícita de neutralidad para evitar el presentismo y tratar los ejes como independientes.
2. Elicitación de Cadena de Pensamiento (CoT): Para cada periodo, se le solicita primero al modelo que enumere los principales eventos y tendencias históricas que afectan las dinámicas de poder, separando las tendencias lentas de los eventos discretos. Esta narrativa se introduce luego en un segundo prompt para generar la puntuación numérica, asegurando que el número esté condicionado por un razonamiento explícito.
3. Anclaje Temporal en Contexto: Para asegurar la coherencia temporal, el flujo de trabajo acumula los pares $(sociedad, estado)$ de todos los periodos anteriores y los introduce en el prompt del periodo actual. Esto evita que la trayectoria se desvíe y permite al modelo razonar sobre los cambios en relación con el estado previo.
4. Salida Estructurada: Las respuestas se validan contra un esquema JSON fijo que contiene las puntuaciones, los cambios, los eventos clave y las justificaciones. Las respuestas malformadas activan un reintento o una alternativa numérica.
5. Agnosticismo de Proveedor: Una interfaz unificada permite intercambiar proveedores de modelos (Google, Anthropic, OpenAI, Alibaba) cambiando una sola cadena de texto, aislando los efectos del modelo de los efectos del prompt.

Configuración Experimental

• Alcance: Un atlas de prueba de concepto que cubre 12 países (Irán, Francia, Reino Unido, EE. UU., China, Chile, Colombia, RDC, Líbano, Zambia, Somalia, India) seleccionados para representar los cuatro tipos de "Leviatán" del libro (Despótico, Sujeto, de Papel, Ausente).
• Modelos: Se compararon cuatro modelos: tres de pesos cerrados (gemini-2.5-pro, claude-opus-4-8, gpt-5.5) y uno de pesos abiertos (qwen-2.5-72b-instruct).
• Validación:
  • Consistencia: Las puntuaciones se compararon con el índice de expertos de Variedades de la Democracia (V-Dem) (específicamente el índice de sociedad civil y la autoridad estatal sobre el territorio). Los autores señalan explícitamente que, dado que es probable que V-Dem esté en los datos de entrenamiento de los modelos, esto mide la "consistencia concurrente" con el consenso de expertos en lugar de la exactitud externa.
  • Fiabilidad: La concordancia inter-modelo se midió mediante el alfa de Krippendorff sobre los cambios periodo a periodo.
  • Sensibilidad Lingüística: Los prompts para cinco países se tradujeron a sus lenguas nativas para probar si los datos de entrenamiento centrados en el inglés sesgaban los resultados.

Resultados Clave

1. Atlas de Trayectorias: Los modelos generaron con éxito trayectorias que se alinearon en gran medida con las expectativas teóricas del libro.
   • Leviatanes Sujetos: El Reino Unido, EE. UU., Francia e India fueron ubicados dentro del corredor, mostrando el crecimiento conjunto del estado y la sociedad.
   • Leviatanes Despóticos: Irán y China fueron ubicados en la región dominante del estado, con trayectorias que muestran un desplazamiento hacia la dominancia estatal tras revoluciones importantes (Irán 1979, China 1949).
   • Estados Débiles: La RDC y Somalia permanecieron en la región de bajo estado (Leviatán Ausente), mientras que el Líbano y Colombia ocuparon la región de estado débil (Leviatán de Papel), aunque los modelos ubicaron a Zambia dentro del corredor en lugar de por debajo de este, interpretando su estabilidad post-1991 como un crecimiento equilibrado genuino.
2. Robustez del Conjunto (Ensemble): La media de un conjunto de los cuatro modelos produjo una lectura más suave y robusta que cualquier modelo individual. Aunque los modelos discreparon sobre el grado de crecimiento (por ejemplo, la capacidad estatal de EE. UU.), coincidieron ampliamente en la categoría de ubicación (por ejemplo, todos ubicaron a EE. UU. dentro del corredor).
3. Consistencia con V-Dem:
   • Poder de la Sociedad: Se encontraron fuertes correlaciones positivas entre las puntuaciones de sociedad de los LLM y el índice de sociedad civil de V-Dem (por ejemplo, $\rho = 0.89$ para China).
   • Poder del Estado: Las correlaciones fueron débiles o inexistentes. Los autores lo atribuyen a una discrepancia en la operacionalización: el proxy de V-Dem sobre "autoridad sobre el territorio" está casi saturado para estados consolidados, mientras que el LLM captura dinámicas más amplias de capacidad estatal y fases de construcción histórica.
4. Fiabilidad: La fiabilidad inter-modelo (alfa de Krippendorff) fue generalmente moderada a fuerte (alfa general $\approx 0.66$ para sociedad, $0.68$ para estado), con mayor acuerdo en países con arcos históricos claros (Irán, Chile) y menor acuerdo en casos complejos como EE. UU.
5. Sensibilidad Lingüística: Traducir los prompts a las lenguas nativas resultó en un desplazamiento mínimo de las trayectorias (desplazamiento medio de 0.33 puntos), lo que sugiere que, si bien existe un sesgo en los datos de entrenamiento, el lenguaje del prompt no es el principal motor de las puntuaciones.

Significancia y Reivindicaciones
El artículo se posiciona como una prueba de concepto más que como un análisis histórico definitivo. Sus principales contribiones son:

• Operacionalización: Demuestra que los LLM pueden traducir un marco cualitativo y con alta carga narrativa en un atlas de trayectoria cuantitativo y reproducible.
• Escalabilidad y Costo: Los autores destacan la drástica reducción de costo y tiempo en comparación con los paneles de expertos (aproximadamente $15 y unas pocas horas para 1,600 llamadas frente a órdenes de magnitud más para la codificación humana).
• Transparencia: A diferencia de los paneles de expertos humanos donde el sesgo suele ser opaco, el flujo de trabajo de los LLM ofrece artefactos explícitos (prompts, rúbricas, cadena de pensamiento) que pueden ser inspeccionados, versionados y ejecutados nuevamente.
• Definición de Rol: Los autores argumentan que los LLM son más adecuados como una "primera pasada escalable" para generar trayectorias candidatas y detectar áreas de desacuerdo, liberando a los expertos humanos para que se centren en casos disputados donde la rendición de cuentas y el juicio matizado son primordiales.

Limitaciones Reconocidas
Los autores advierten explícitamente que:

• Circularidad: El acuerdo con V-Dem no prueba la exactitud, ya que es probable que V-Dem esté en los datos de entrenamiento.
• Sesgo: Los modelos heredan sesgos de los corpus de entrenamiento centrados en el inglés y con tendencia occidental, lo que puede suavizar episodios disputados o poco documentados.
• Dependencia de la Ruta: El método de anclaje en contexto significa que una calificación errónea temprana podría propagarse a través de toda la trayectoria.
• Generalización: Con solo 12 países, el estudio no es una base para la generalización transnacional.

El artículo concluye que, si bien los LLM no pueden reemplazar la codificación experta para la rendición de cuentas de alto nivel, proporcionan una herramienta poderosa y reproducible para visualizar y explorar marcos teóricos como el Corredor Estrecho a una escala previamente inalcanzable.