Resumen Técnico: CausalDS – Evaluación de la Razonamiento Causal en Agentes de Ciencia de Datos

1. Planteamiento del Problema

Los benchmarks actuales para Modelos de Lenguaje de Gran Escala (LLMs) en ciencia de datos y razonamiento causal sufren de una fragmentación que no logra capturar la complejidad del análisis causal del mundo real. Las evaluaciones existentes suelen aislar capacidades específicas:

• Benchmarks de ciencia de datos (p. ej., DS-1000, MLE-bench) enfatizan la codificación, el uso de herramientas y el análisis abierto, pero carecen de una estructura de generación de datos causales con un principio oculto.
• Benchmarks de razonamiento causal (p. ej., CLadder, CausalGraph2LLM) prueban el razonamiento de grafos simbólicos, la intervención y la lógica contrafactual, pero a menudo operan en niveles puramente simbólicos o utilizan ejemplos curados de la literatura existente.

Esta separación crea una brebre donde los modelos pueden depender del "razonamiento causal amortizado" (memorizar patrones de conjuntos de datos existentes) en lugar de un razonamiento genuino sensible a la estructura, un modo de fallo denominado "loro causal" (causal parrot). Además, la ciencia de datos causal realista requiere que un agente no solo responda preguntas causales, sino que también interprete descripciones de dominio, inspeccione datos observacionales, determine la identificabilidad, estime cantidades, cuantifique la incertidumbre y reconozca cuándo una pregunta no es respondible (abstención). Ningún benchmark existente evalúa conjuntamente el razonamiento simbólico, la ejecución de ciencia de datos, la cuantificación de la incertidumbre, la abstención epistémica y el uso de herramientas dentro de un único marco sintético pero realista.

2. Metodología: El Marco CausalDS

CausalDS aborda esta brecha generando escenas de ciencia de datos causales sintéticas que sirven como la unidad de evaluación. Cada escena consiste en un Modelo Causal Estructural (SCM) oculto, una historia en lenguaje natural, datos observacionales tabulares y un conjunto de tareas que abarcan la jerarquía de tres niveles de Pearl.

2.1 Pipeline de Generación de Escenas

El proceso de generación sigue un pipeline estricto para asegurar que la verdad fundamental (ground truth) sea conocida mientras se mantiene la coherencia narrativa:

1. Muestreo de Grafos: Se muestrean Grafos Acíclicos Dirigidos (DAGs) a partir de motivos canónicos (cadenas, bifurcaciones, confundidores, colisionadores, etc.) y pueden expandirse mediante "injerto basado en anclas", donde se adjuntan motivos auxiliares a través de nodos compartidos para aumentar la complejidad preservando el flujo narrativo.
2. Instanciación del SCM: Cada grafo se instancia con un Modelo Causal Estructural utilizando perfiles de mecanismos tipados (continuos y binarios) extraídos de registros que mezclan reglas bioquímicas/booleanas empíricas con regímenes sintéticos.
3. Capa de Observación: Una decisión de diseño crítica distingue el SCM conceptual de los datos entregados al agente. Las variables conceptuales pueden ser reemplazadas por paquetes de mediciones ruidosas (proxies). Esta capa aumenta la dificultad del análisis de datos sin alterar el estatus de identificabilidad causal subyacente.
4. Verbalización: Los nodos abstractos se mapean a nombres de variables relevantes al dominio (opcionalmente sembrados desde CauseNet) y son verificados por un auditor para asegurar que la historia generada en lenguaje natural refleje fielmente el grafo oculto sin introducir "aristas accidentales".
5. Derivación de Tareas: De cada escena, se derivan tareas a través del Nivel 1 (asociación/predicción), Nivel 2 (intervención/identificación/estimación) y Nivel 3 (contrafactual/mediación).

2.2 Entorno de Evaluación

Los agentes interactúan con un entorno de caja de arena (usando mini-swe-agent) donde deben:

• Leer los archivos proporcionados (historias, esquemas de datos, datos observacionales).
• Ejecutar código (Python/bash) para realizar análisis.
• Escribir archivos de respuesta en un formato específico.
• Gestionar observaciones imperfectas y decidir si abstenerse cuando un estimando es no identificable.

2.3 Puntuación y Métricas

La evaluación es totalmente determinista y puntúa cinco ejes distintos:

• Razonamiento Causal Simbólico: Recuperación de grafos y lógica de identificación.
• Ejecución de Ciencia de Datos: Precisión de las estimaciones y predicciones.
• Cuantificación de la Incertidumbre: Calibración de los intervalos de confianza.
• Abstención Epistémica: Identificación correcta de consultas no identificables y la negativa a responder.
• Uso de Herramientas/Eficiencia: Uso de tokens y recuento de llamadas a herramientas.

Un puntaje compuesto (CausalDSScore) agrega el desempeño penalizando tanto los errores de contenido como los fallos de abstención en tareas no identificables.

3. Contribuciones Clave

• Escenas Basadas en SCM Sintéticos: El primer benchmark que genera SCMs ocultos, sintetiza datos observacionales y calcula la verdad fundamental privada para la evaluación, mientras ancla los ejes de composición (tipos de variables, estructuras de grafos) a distribuciones empíricas de conjuntos de datos reales para asegurar el realismo.
• Verbalización de Forma Libre Fiel al Grafo: Un pipeline que mapea los nodos de grafos abstractos a variables de dominio coherentes y genera historias en lenguaje natural, auditadas para asegurar que la narrativa no se desvíe de la estructura causal subyacente.
• Capa de Observación Separada: Un mecanismo para variar la dificultad de la ciencia de datos (mediante proxies ruidosos) independientemente de la identificabilidad causal, permitiendo estresar las habilidades de estimación sin cambiar la pregunta causal.
• Suite de Tareas Amplia: Un conjunto exhaustivo de tareas que cubre los tres niveles de la jerarquía de Pearl, incluyendo predicción, asociación, recuperación de grafos, identificación, estimación de efectos, diagnóstico de sesgos y razonamiento contrafactual.
• Evaluación Determinista Consciente de la Abstención: Un sistema de puntuación que trata la abstención en estimandos no identificables como un resultado de primera clase, evitando que los modelos sean recompensados por alucinar respuestas a preguntas imposibles de responder.

4. Resultados Experimentales

Los autores evaluaron seis modelos (tres modelos cerrados de frontera: Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5; y tres modelos de pesos abiertos: Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B) en un examen de composición realista de 100 escenas.

• Disociación de Desempeño: Los cinco ejes de evaluación no colapsan en una única capacidad. Los modelos difieren significamente en corrección de contenido, cuantificación de la incertidumbre, reconocimiento de abstención y eficiencia en el uso de herramientas.
• Tabla de Clasificación: Claude Opus 4.8 logró el mejor CausalDSScore general (0.278), liderando en tasa de éxito, error normalizado y relación señal-ruido (SNR). Fue el único modelo en lograr una corrección de contenido perfecta (100%) en tareas binarias manteniendo un fuerte desempeño de abstención.
• La Abstención como Diferenciador: La capacidad de reconocer consultas no identificables fue un gran diferenciador. Los modelos de frontera (especialmente GPT-5.5 y Claude) mostraron tasas de éxito de abstención significativamente más altas (hasta un 75%) en comparación con los modelos de pesos abiertos (tan bajos como 18.8% para Gemma 4 26B).
• Cuantificación de la Incertidumbre: Todos los modelos exhibieron sobreconfianza. La cobertura empírica de los intervalos ATE nominales del 95% colapsó entre el 20.0% y el 71.4%, con Claude Opus 4.8 desempeñándose mejor (71.4%).
• Uso de Herramientas y Eficiencia: Los modelos de frontera (Claude, GPT-5.5) utilizaron una estrategia de "casi un solo paso" (near one-shot) con menos llamadas a herramientas (2.1–3.4 por tarea) y menor uso de tokens, mientras que los modelos de pesos abiertos iteraron pesadamente (11–18 llamadas/tarea) y consumieron significativamente más tokens.
• Dureza de la Observación: Bajo las variantes de observación más difíciles (proxies ruidosos), el desempeño degradó, particularmente para los modelos de pesos abiertos. GPT-5.5 mostró la mayor caída en la calibración de la estimación continua (el error normalizado medio subió a 3.10), mientras que Claude Opus el 4.8 mantuvo un error controlado.

5. Significado y Reivindicaciones

El artículo afirma que CausalDS proporciona una evolución necesaria en la evaluación de benchmarks al integrar el razonamiento simbólico, la estimación cuantitativa y el uso de herramientas agénticas en un único entorno realista. El principal hallazgo empírico es que la competencia en ciencia de datos causales se descompone: los modelos pueden dominar las partes (leer la estructura, producir estimaciones) pero fallan en el todo (saber la calidad de la estimación o si es lícito dar una respuesta).

Los autores sostienen que un agente competente de ciencia de datos causales debe superar los cinco ejes simultáneamente. El benchmark expone que los modelos de frontera actuales se están acercando a esta capacidad, con Claude Opus 4.8 emergiendo como el más cercano a un "agente de ciencia de datos causal bien equilibrado", mientras que los modelos de pesos abiertos y los modelos más pequeños luchan significativamente con los ejes epistémicos (abstención y la incertidumbre) y la eficiencia en el uso de herramientas. El trabajo destaca que "saber cuándo abstenerse" es una habilidad separada y avanzada que distingue a los agentes robustos de aquellos propensos a la alucinación.