Resumen Técnico: CausalReasoningBenchmark

Enunciado del Problema

Las evaluaciones actuales para sistemas automatizados de inferencia causal, particularmente aquellos que aprovechan Modelos de Lenguaje Grande (LLM), adolecen de un defecto crítico en la evaluación: confunden la identificación y la estimación. La mayoría de las evaluaciones existentes miden el rendimiento basándose únicamente en una salida numérica única, como un Efecto Promedio del Tratamiento (ATE). Este enfoque falla al distinguir entre dos fases distintas del análisis causal:

1. Identificación: El ejercicio conceptual de determinar si una cantidad causal es recuperable a partir de datos bajo supuestos específicos, requiriendo la formulación de un diseño de investigación válido (por ejemplo, Variables Instrumentales, Discontinuidad en la Regresión) y la especificación de todos los componentes necesarios (tratamiento, resultado, controles, instrumentos, umbrales).
2. Estimación: La implementación numérica del diseño identificado en datos finitos para calcular estimaciones puntuales y errores estándar.

Al colapsar estos pasos en una sola puntuación, las evaluaciones existentes no pueden diagnosticar si un modelo falló debido a un razonamiento causal defectuoso (diseño inválido) o a errores en la ejecución numérica (errores de codificación). Además, muchas evaluaciones dependen de datos sintéticos o simplificados que carecen de las complejidades de la investigación empírica del mundo real, como definiciones ambiguas de variables y datos faltantes.

Metodología

Los autores introducen CausalReasoningBenchmark, una suite de evaluación integral diseñada para desentrañar la identificación de la estimación.

Construcción del Conjunto de Datos

La evaluación comprende 173 consultas a través de 132 conjuntos de datos del mundo real únicos, curados a partir de:

• 79 artículos de investigación revisados por pares (principalmente de revistas de ciencias políticas como The Journal of Politics y American Political Science Review), incluyendo estudios de reanálisis a gran escala de diseños de Variable Instrumental (IV), Discontinuidad en la Regresión (RDD) y Diferencias en Diferencias (DiD).
• Tres libros de texto de inferencia causal (The Mixtape, The Effect y Causal Inference: What If), que proporcionan ejemplos pedagógicos y cubren diseños de Exogeneidad Condicional.

Cada consulta incluye una pregunta causal en lenguaje natural, un conjunto de datos CSV, metadatos que describen las variables y el contexto del estudio, y una solución de referencia.

Marco de Evaluación

El sistema debe producir dos salidas distintas para cada consulta:

1. Especificación de Identificación Estructurada: Un objeto JSON que detalla la estrategia de diseño de investigación y campos específicos (por ejemplo, nombres de instrumentos para IV, variables de ejecución y umbrales para RDD, variables de tiempo/grupo para DiD).
2. Salida de Estimación: Una estimación puntual y un error estándar, generados mediante código ejecutable (Python/R).

Mecanismo de Puntuación:

• Métricas de Identificación: La especificación se evalúa campo por campo contra la referencia. Las verificaciones incluyen coincidencias exactas para las etiquetas de estrategia y estimando, coincidencias basadas en conjuntos para las variables de tratamiento/resultado, y lógica estricta para las variables de control (deben incluir el conjunto de ajuste mínimo suficiente y excluir "malos controles" como variables posteriores al tratamiento o mediadores).
• Métricas de Estimación: El efecto predicho y los intervalos de confianza se comparan con los valores de referencia utilizando métricas como el error de estimación puntual, la superposición de Jaccard de los intervalos de confianza y el acuerdo con la hipótesis nula. El evaluador incluye una función de reescalado automático para mitigar errores causados por discrepancias de unidades (por ejemplo, porcentajes vs. proporciones).

Contribuciones Clave

1. Evaluación del Mundo Real: Una colección curada de 173 consultas derivadas de literatura revisada por pares y libros de texto, asegurando que los datos reflejen la complejidad de la investigación empírica real.
2. Esquema de Identificación Estructurado: Un requisito para que los agentes generen especificaciones detalladas y estructuradas para cinco diseños canónicos: IV, RDD, DiD, Exogeneidad Condicional y Ensayos Controlados Aleatorizados (RCT).
3. Evaluación Desentrelazada: La primera evaluación que puntúa por separado la corrección del diseño de investigación y la precisión de la estimación numérica, permitiendo un diagnóstico granular de los modos de fallo.
4. Scripts de Referencia Estandarizados: Provisión de código de estimación de referencia para cada consulta para aislar los fallos de identificación de los errores de implementación.

Resultados de Línea Base

Los autores evaluaron un LLM de última generación (GPT-5.3 con capacidades de razonamiento) en la evaluación. Los resultados destacan una brecha significativa entre el reconocimiento de estrategia de alto nivel y la especificación detallada:

• Reconocimiento de Estrategia: El modelo identificó correctamente la estrategia de investigación de alto nivel (por ejemplo, "Variable Instrumental") en el 79.2% de los casos.
• Corrección Completa de Identificación: La tasa de especificaciones de identificación completamente correctas (incluyendo todos los campos específicos del diseño y variables de control) cayó a solo el 34.1%.
• Estimación: Aunque los errores de estimación no fueron triviales (error relativo mediano del 18.1%), fueron secundarios a los errores de identificación. En muchos casos, el modelo produjo estimaciones razonables incluso cuando la especificación de identificación era defectuosa, a menudo utilizando un enfoque plausible pero no estándar.

Análisis de Errores:

• Variables de Control: El tipo de error más frecuente (39 casos de controles necesarios omitidos; 18 casos de inclusión de controles malos/post-tratamiento).
• Confusión de Estrategia: Un patrón notable involucró la clasificación errónea de estudios observacionales que requieren ajuste de covariables (Exogeneidad Condicional) como Ensayos Controlados Aleatorizados (24 casos), probablemente debido a que el modelo malinterpretó la palabra "asignación" en los metadatos.
• Confusión de Estimando: En las consultas de RDD, el modelo confundió frecuentemente los Efectos Promedio del Tratamiento Condicionales (CATE) con los Efectos Promedio del Tratamiento Locales (LATE) (29 de 44 casos).
• Nuances Específicos del Diseño: Las consultas de IV mostraron la brecha más grande entre el reconocimiento de estrategia y la especificación completa, indicando dificultad para identificar instrumentos válidos y distinguirlos de los valores ajustados de la primera etapa.

Significado y Afirmaciones

El artículo afirma que CausalReasoningBenchmark proporciona un marco de evaluación más riguroso y realista para sistemas automatizados de inferencia causal. Al separar la identificación de la estimación, la evaluación revela que el principal cuello de botella en el razonamiento causal basado en LLM actuales no es la capacidad de reconocer categorías amplias de diseño o realizar cálculos, sino los detalles sutiles de la especificación del diseño de investigación.

Los autores argumentan que una evaluación de puntuación única basada en estimaciones finales de efectos oscurecería estas distinciones críticas, potencialmente enmascarando fallos fundamentales de razonamiento. La evaluación tiene la intención de fomentar el desarrollo de sistemas más robustos capaces de manejar el rigor intelectual requerido para una inferencia causal válida en entornos del mundo real. El conjunto de datos y el código de evaluación están disponibles públicamente en Hugging Face para apoyar las contribuciones de la comunidad y la investigación futura.