Resumen Técnico: EconCausal

Enunciado del Problema

Los efectos causales socioeconómicos son inherentemente dependientes del contexto; una misma intervención puede producir resultados divergentes o incluso opuestos según los regímenes regulatorios, las condiciones del mercado, los periodos temporales o las características de la población. Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado promesa en el razonamiento general, su aplicación al apoyo a la toma de decisiones económicas se ve obstaculizada por una brecha crítica: la incapacidad de inferir de manera fiable direcciones causales bajo contextos específicos y de alta dimensión, y de revisar esos juicios cuando el contexto cambia. Las evaluaciones existentes no abordan esto porque suelen centrarse en relaciones genéricas y ligeras en contexto, omiten el contexto institucional y empírico necesario para la interpretación, o rara vez prueban la robustez bajo cambios de contexto. En consecuencia, los modelos actuales corren el riesgo de producir juicios causales superficiales o engañosos en entornos socioeconómicos.

Metodología

Construcción del Conjunto de Datos: EconCausal

Los autores presentan EconCausal, una evaluación a gran escala compuesta por 10.490 triplets causales anotados con contexto, derivados de 2.595 estudios empíricos de alta calidad publicados en revistas de economía y finanzas de primer nivel (por ejemplo, American Economic Review, Journal of Finance). La construcción del conjunto de datos sigue un riguroso proceso de cuatro etapas:

1. Extracción de Triplets con Consenso de Múltiples Ejecuciones: Utilizando GPT-5 mini, el sistema extrae pares de tratamiento–resultado de los artículos tres veces de forma independiente. Los pares que aparecen en al menos dos ejecuciones se conservan. Las variaciones menores en la redacción se fusionan mediante similitud coseno (umbral $\ge$ 0.8) en incrustaciones de texto. Los signos ($+, -, \text{Ninguno}, \text{Mixto}$) se asignan por votación mayoritaria, guardando párrafos de evidencia de apoyo para la trazabilidad.
2. Metadatos y Contexto Global: Se extraen metadatos a nivel de artículo (empírico vs. teórico), resúmenes de contexto global (tiempo, ubicación, unidad de análisis) y métodos de identificación (por ejemplo, DiD, IV, ECA) para servir como valores predeterminados.
3. Refinamiento Específico del Triplet: Para los artículos empíricos, el sistema verifica si el contexto global se aplica a triplets específicos. Si un triplet requiere un contexto más específico o un método de identificación, se aplica una edición mínima; de lo contrario, se conservan los valores predeterminados globales.
4. Evaluación y Filtrado por Múltiples Críticos: Tres críticos LLM independientes (Gemini, Grok, Qwen) califican cada triplet en seis dimensiones (extracción de variables, dirección, signo, causalidad, afirmación principal, adecuación del contexto) utilizando una rúbrica de 0 a 3. Los triplets que no cumplen los umbrales conservadores (puntuación promedio $\ge$ 2.0 por criterio y suma total $\ge$ 15) se filtran, eliminando el 27.3% de los candidatos.

El conjunto de datos fue validado por tres profesores de economía, quienes aprobaron el 86.6% de los triplets retenidos, confirmando el conservadurismo de la regla de filtrado.

Tareas de la Evaluación

EconCausal evalúa a los LLM mediante tres tareas de complejidad progresiva:

• Tarea 1 (Identificación del Signo Causal): Dado un contexto específico $c$ y un par tratamiento–resultado $(T, O)$, predecir el signo causal. Esto prueba si los modelos han interiorizado causalidades económicas establecidas.
• Tarea 2 (Predicción del Signo Dependiente del Contexto): Dado un signo conocido para $(T, O)$ bajo el contexto $c_1$, predecir el signo bajo un contexto diferente $c_2$. Esto prueba la capacidad de reconocer que los signos causales cambian con el contexto.
• Tarea 3 (Predicción del Signo Robusta ante la Desinformación): Similar a la Tarea 2, pero el ejemplo proporcionado para $c_1$ contiene un signo deliberadamente incorrecto. Esto prueba la robustez ante evidencia engañosa.

Resultados Clave

Panorama del Rendimiento

Los experimentos en diversos modelos propietarios (Gemini, GPT, Grok) y de código abierto (Llama, Qwen) revelan una brecha significativa de rendimiento entre el razonamiento de contexto fijo y la transferencia dependiente del contexto:

• Contexto Fijo (Tarea 1): Los mejores modelos logran una alta precisión ($\sim$88% para Gemini 3 Flash), indicando una fuerte interiorización de hechos causales en configuraciones explícitas.
• Cambio de Contexto (Tarea 2): La precisión cae significativamente cuando los modelos deben revisar juicios a través de contextos. Para los modelos de código cerrado, la precisión general cae del 73.9% al 41.3% en casos de "desajuste de signo" (donde los contextos de origen y destino implican signos opuestos).
• Robustez ante la Desinformación (Tarea 3): El rendimiento se degrada aún más cuando se introduce evidencia engañosa, con promedios de código cerrado y código abierto cayendo al 49.3% y 44.3%, respectivamente.

Fallos Sistemáticos

• Sobretransferencia de Signos de Origen: En la Tarea 2, los modelos exhiben un fuerte sesgo hacia "sobretransferir" el signo del ejemplo de origen, incluso cuando contradice el contexto objetivo. Añadir un ejemplo de origen con signo redujo las predicciones correctas en 15.08 puntos porcentuales, mientras que aumentó las predicciones que coinciden con el signo de origen en 21.95 puntos porcentuales.
• Sesgo hacia Signos Direcionales: Los modelos se comprometen sistemáticamente en exceso con signos binarios ($+$ o $-$), luchando por identificar efectos nulos ($\text{Ninguno}$) o heterogéneos ($\text{Mixto}$). La precisión en casos $\text{Ninguno}$ es solo del 13.8%, y en casos $\text{Mixto}$ es del 22.8%, en comparación con el 74.8% y el 61.1% para signos positivos y negativos, respectivamente.
• Mala Calibración: Los modelos muestran "compromiso excesivo", asignando alta confianza a predicciones incorrectas, particularmente para las categorías $\text{Ninguno}$ y $\text{Mixto}$. El Error de Calibración Esperado (ECE) es severo para estas categorías ambiguas (por ejemplo, 0.839 para $\text{Ninguno}$ en Finanzas), y los modelos rara vez seleccionan "Desconocido" incluso cuando la información contextual se elimina por completo.

Significancia y Afirmaciones

El artículo afirma que EconCausal proporciona una base rigurosa para evaluar cómo los LLM integran restricciones institucionales y ambientales en juicios económicos. Los autores argumentan que los sistemas actuales aún no son lo suficientemente robustos para análisis económicos o sensibles a políticas de alto riesgo porque confunden la "plausibilidad" con la "portabilidad". Aunque los modelos pueden generar signos causales plausibles, fallan en determinar si esos signos se aplican a un contexto objetivo específico, anclándose a menudo en signos empíricamente válidos de contextos de origen donde ya no se sostienen.

La evaluación destaca que el razonamiento socioeconómico requiere más que reconocimiento de patrones; exige la capacidad de condicionar juicios en contextos de alta dimensión, parcialmente observados y potencialmente endógenos. Los autores posicionan a EconCausal como un paso necesario hacia el desarrollo de sistemas que puedan juzgar no solo si un signo causal es plausible, sino si se transfiere al contexto en cuestión.

Limitaciones

Los autores reconocen varias limitaciones:

• Dependencia de la Extracción: El proceso depende de LLM para la extracción y el filtrado, lo que puede introducir sesgos sistemáticos u omitir detalles sutiles de identificación, a pesar del consenso de múltiples ejecuciones y la validación experta.
• Sesgo del Corpus: El conjunto de datos se extrae de revistas de primer nivel en idioma inglés, representando potencialmente en exceso la investigación influyente mientras subrepresenta otras afirmaciones socioeconómicas.
• Granularidad de las Etiquetas: El espacio de etiquetas direccionales ($+, -, \text{Ninguno}, \text{Mixto}$) comprime hallazgos empíricos complejos, omitiendo tamaños del efecto, magnitudes e intervalos de confianza.
• Alcance del Contexto: Los contextos están vinculados a configuraciones empíricas específicas, limitando la evaluación directa de la validez externa a través de características no anotadas como la estructura del mercado o los entornos de aplicación.
• Alcance Conductual: La evaluación es conductual y no indaga en las representaciones internas del modelo ni en los mecanismos de atención.