Resumen Técnico: ReplaySCM

Enunciado del Problema

Las actuales pruebas de referencia para el razonamiento causal en modelos de lenguaje grandes (LLM) evalúan predominantemente salidas locales, como respuestas a preguntas causales específicas, valores contrafactuales predichos o aristas individuales de grafos. Aunque útiles, estas tareas no verifican si un sistema puede sintetizar un modelo causal reutilizable y ejecutable capaz de generalizar bajo nuevas intervenciones no vistas.

Este artículo introduce ReplaySCM, una prueba de referencia diseñada para evaluar la inducción de mecanismos causales ejecutables a partir de evidencia intervencionista finita. El desafío central consiste en inducir un Modelo Causal Estructural (SCM) que, al ser "reproducido" tanto en mundos de entrenamiento como en mundos de intervención retenidos, produzca un comportamiento semánticamente idéntico a la verdad fundamental, independientemente de la forma sintáctica de las fórmulas inducidas.

Metodología

Diseño de la Prueba de Referencia

ReplaySCM consta de 1.300 ítems generados a partir de SCMs booleanos acíclicos, binarios, totalmente observados, finitos y pequeños.

• SCM Latente: Cada problema se fundamenta en un SCM latente donde los mecanismos endógenos son expresiones booleanas sobre raíces observadas y otras variables endógenas.
• Mundos de Intervención: La prueba proporciona múltiples mundos de entrenamiento generados ejecutando el SCM latente bajo intervenciones duras (fijación de variables a valores específicos). Se retiene un conjunto de mundos de prueba para la evaluación.
• Formato de Salida: Los modelos deben emitir un mapa de mecanismos en un Lenguaje Específico de Dominio (DSL) booleano restringido que contiene los operadores not, and, or, xor e iff.
• Protocolo de Evaluación: El evaluador analiza la presentación, verifica la legalidad y la aciclicidad, y reproduce el SCM presentado en los mundos de entrenamiento y retenidos.
  • Puntuación: Se asigna crédito basándose en el comportamiento de reproducción semántica, no en la coincidencia de cadenas. Cualquier SCM ejecutable que induzca la tabla de verdad correcta en los mundos puntuados se considera correcto, incluso si sus fórmulas booleanas difieren sintácticamente del estándar de oro.

Escalera de Revelación Estructural

La prueba varía la información estructural revelada al modelo para aislar capacidades de razonamiento específicas:

1. Ordenado (Ord-Full): Revela el orden topológico completo.
2. Orden por Bloques: Revela bloques de precedencia gruesos pero oculta el orden intra-bloque.
3. Orden Oculto: Revela la partición raíz/endógena pero oculta el orden endógeno.
4. Raíces Ocultas: Oculta tanto el orden como el conjunto de raíces, requiriendo que el modelo prediga primero el conjunto de raíces.

Reducción de Ambigüedad y Auditoría de Soporte

Para abordar la naturaleza subdeterminada de la evidencia finita, los autores emplean una escalera de auditoría de soporte de tres niveles:

• Original: Mundos de entrenamiento estándar.
• Mundos Extra: Añade 3–4 mundos de entrenamiento simulados por oro para aumentar la cobertura de patrones de predecesores locales (de ~0.89 a ~0.98).
• Auditoría de Contraejemplo (CEx): Añade aún más mundos para lograr una cobertura local completa (1.0) y se dirige específicamente a alternativas semánticas descubiertas. En CEx, ninguna alternativa descubierta por LLMs, búsqueda exacta simbólica o búsquedas bnlearn+DSL permanece consistente con los mundos de entrenamiento.

Tareas Suplementarias

• SCM Alternativo: Dado un SCM de referencia válido, el modelo debe encontrar una alternativa semánticamente distinta que se ajuste a los mundos de entrenamiento y proporcionar una intervención separadora y un testigo.
• Líneas Base No-LLM: Incluye bnlearn+DSL (propuesta de estructura + ajuste booleano exacto) y búsqueda exacta simbólica (búsqueda directa de mecanismos booleanos) para calibrar la dificultad de la tarea.

Contribuciones Clave

1. Prueba de Referencia para Inducción de SCM Ejecutable: Introduce una prueba de referencia de acceso público evaluada mediante reproducción exacta en mundos de entrenamiento y retenidos, superando la puntuación de respuestas locales.
2. Escalera de Estructura Revelada Acoplada: Organiza la prueba para aislar el impacto de la revelación estructural (Ordenado vs. Orden Oculto vs. Raíces Ocultas) sobre los mismos SCMs latentes.
3. Control de Ambigüedad: Implementa un generador que filtra atajos triviales y rastrea la ambigüedad residual mediante filtros de soporte, auditorías acotadas y la escalera de auditoría de soporte de tres niveles (Original, Mundos Extra, CEx).
4. Evaluación Exhaustiva: Compara LLMs de vanguardia contra evaluadores compartidos y líneas base no-LLM, proporcionando una visión calibrada de la dificultad de la inducción de mecanismos ejecutables.

Resultados

La Inducción de Mecanismos Ejecutables Sigue Sin Resolver

Los LLMs de vanguardia (por ejemplo, GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro) rinden muy por debajo de la reproducción exacta perfecta.

• TrainExact vs. HeldoutExact: Aunque algunos modelos logran una alta validez y una inferencia parcial de la estructura de padres, HeldoutExact (reproducción estricta en todos los mundos retenidos) permanece baja, particularmente en configuraciones de Orden Oculto.
• La Brecha "TrainExact": Las respuestas que no se ajustan a los mundos de entrenamiento fallan casi invariablemente en los mundos retenidos. Sin embargo, incluso las respuestas que son TrainExact (se ajustan exactamente a todos los mundos de entrenamiento) a menudo fallan en los mundos retenidos, lo que indica que ajustar los datos observados no garantiza el mecanismo subyacente correcto.

Impacto de la Información Estructural

El rendimiento disminuye significativamente a medida que se oculta la información estructural:

• Ordenado vs. Orden Oculto: Hay una caída sustancial en el rendimiento cuando se oculta el orden topológico. Por ejemplo, en el conjunto de Orden Oculto, GPT-5.4 logra un TrainExact de 0.628 pero cae a 0.292 en HeldoutExact.
• Raíces Ocultas: El rendimiento colapsa cuando se oculta el conjunto de raíces, ya que el modelo debe predecir simultáneamente el conjunto de raíces e inducir mecanismos.

Estructura Semántica vs. Mecanismo Exacto

• Inferencia Parcial: Los modelos a menudo infieren relaciones informativas de padres funcionales (alto F1 de Padres) pero fallan en coincidir con el mapa exacto de padres o los mecanismos locales requeridos para la reproducción completa.
• SCM Alternativo: Cuando se suministra un SCM de referencia válido, el rendimiento en la búsqueda de alternativas semánticamente distintas es significativamente mayor que inferir el SCM desde cero. Esto sugiere que la edición local de un objeto causal es más fácil que la inferencia global a partir de datos de intervención.

Hallazgos de la Auditoría de Soporte

• Mundos Extra: Aumentar los datos de entrenamiento mejora la reproducción retenida y reduce la brecha entre entrenamiento y retenido, pero la brecha de rendimiento entre Ordenado/Orden Oculto persiste.
• Auditoría de Contraejemplo (CEx): Incluso después de añadir mundos para eliminar todas las alternativas descubiertas por LLMs y búsqueda simbólica, la configuración de Orden Oculto sigue siendo más difícil que la Ordenada. Esto indica que la dificultad no se debe únicamente a la ambigüedad de muestras finitas, sino que refleja un desafío fundamental en la inferencia de estructuras ocultas.

Significado y Afirmaciones

El artículo afirma que ReplaySCM complementa las pruebas de referencia existentes a nivel de respuestas y de descubrimiento de grafos al evaluar la generalización de objetos causales ejecutables.

• Separación de Capacidades: La prueba demuestra una clara separación entre "describir la estructura causal" (inferir dependencias) y "construir un objeto causal que pueda ejecutarse" (sintetizar mecanismos que generalicen). Los modelos pueden producir explicaciones plausibles o conjuntos de aristas, pero fallan cuando sus mecanismos propuestos son reproducidos bajo nuevas intervenciones.
• La Estructura Oculta es Difícil: El hallazgo empírico principal es que inferir una estructura oculta (orden o raíces) es significativamente más difícil que producir un objeto de respuesta válido o ajustar mecanismos locales aislados.
• Sin Afirmación de Unicidad: Los autores declaran explícitamente que ReplaySCM no afirma probar la identificación única del SCM latente. En su lugar, proporciona un entorno de prueba controlado para evaluar la generalización de reproducción ejecutable a partir de evidencia intervencionista finita, utilizando auditorías de ambigüedad acotadas para descartar atajos fáciles de muestras finitas.

El trabajo sugiere que, aunque los LLMs de vanguardia pueden inferir estructuras de dependencia parciales, luchan por ensamblar los mapas exactos de padres y los mecanismos booleanos necesarios para una simulación causal robusta, una brecha que persiste incluso con evidencia más fuerte y priores estructurales.