NoisyCausal: A Benchmark for Evaluating Causal Reasoning Under Structured Noise

Resumen Técnico: NoisyCausal

Enunciado del Problema
El razonamiento causal en lenguaje natural requiere identificar variables, comprender sus interacciones y razonar sobre efectos e intervenciones, a menudo bajo condiciones de ruido o ambigüedad. Aunque los Modelos de Lenguaje Grandes (LLM) demuestran capacidades sólidas de razonamiento general, frecuentemente luchan por desentrañar la correlación de la causalidad, particularmente cuando las observaciones son parcialmente incorrectas o contienen información irrelevante. Las evaluaciones existentes (por ejemplo, COPA, CausalQA, Cladder) dependen principalmente de escenarios limpios e idealizados con estructuras causales simples o implícitas. Estos conjuntos de datos a menudo fallan en reflejar las condiciones del mundo real donde los datos son ruidosos, incompletos o confusos debido a variables espurias. En consecuencia, los modelos actuales a menudo tienen éxito mediante la coincidencia de patrones o heurísticas superficiales en lugar de una comprensión causal genuina, lo que limita su robustez e interpretabilidad.

Metodología
El artículo introduce NoisyCausal, una evaluación sintética diseñada para evaluar el razonamiento causal bajo ruido estructurado, junto con un marco de razonamiento modular guiado por grafos.

1. Construcción de la Evaluación NoisyCausal:

   • Proceso: El conjunto de datos se genera mediante un proceso de cinco etapas: (1) muestreo de un Grafo Acíclico Dirigido (DAG) con diversos motivos topológicos (cadenas, horquillas, colisionadores); (2) anclaje semántico asignando etiquetas del mundo real (por ejemplo, medicina, infección) y metadatos; (3) muestreo de valores de variables desde un Modelo Causal Estructural (SCM) para asegurar consistencia causal; (4) inyección de ruido estructurado; y (5) ensamblaje de preguntas en lenguaje natural.
   • Tipos de Ruido: La evaluación introduce seis categorías de ruido controlables para simular imperfecciones del mundo real:
     • Perturbación de Valores (VP): Inversión de los valores de las variables.
     • Inyección de Variables Irrelevantes (IV): Adición de variables espurias no causales.
     • Enmascaramiento Parcial (PM): Ocultamiento de los valores observados de las variables.
     • Intercambio Causal (CS): Intercambio de valores de nodos vinculados para romper la lógica condicional.
     • Confounders Latentes (CI): Simulación de variables ocultas que influyen en múltiples nodos.
     • Perturbación de Preguntas (QP): Modificación de preguntas para contradecir el SCM subyacente.
   • Escala: El conjunto de datos contiene 10.617 pares de pregunta-respuesta que cubren diversas combinaciones de ruido y niveles de dificultad.

2. Marco de Razonamiento Guiado por Grafos:

   • En lugar de una inferencia de caja negra de extremo a extremo, el método propuesto descompone el razonamiento en tres pasos:
     1. Extracción de Variables: El LLM identifica entidades clave y factores latentes del contexto.
     2. Construcción de Grafo Causal: El LLM construye un DAG específico de la tarea, prediciendo la direccionalidad causal entre pares de variables.
     3. Inferencia Estructurada: El contexto de fondo, los valores observados y el grafo construido se formatean en un prompt estructurado. El LLM luego realiza una inferencia fundamentada en esta estructura simbólica explícita en lugar de depender únicamente de patrones estadísticos.

Contribuciones Clave

• Evaluación NoisyCausal: Una nueva suite de evaluación que presenta grafos causales explícitos, escenarios en lenguaje natural y ruido estructurado controlable, diseñada para probar la robustez frente a distractores, confusores y observabilidad parcial.
• Marco Modular: Una arquitectura de razonamiento que integra LLMs con abstracciones causales explícitas. Utiliza el grafo causal como un intermediario interpretable para guiar al LLM, separando la extracción de estructura de la inferencia.
• Validación Empírica: Demostración de que combinar la estructura causal con el razonamiento de LLM mejora significativamente el rendimiento y la robustez en comparación con las líneas base de prompting estándar y Cadena de Pensamiento (CoT).

Resultados Experimentales

• Rendimiento en NoisyCausal: El método guiado por grafos logró una precisión del 80,7% en datos limpios, superando a GPT-4 (62,8%) y a Causal CoT (73,4%). Bajo ruido estructurado, el método propuesto mantuvo una alta estabilidad (por ejemplo, 77,3% en Perturbación de Valores, 73,5% en Confusores Latentes), mientras que los LLM estándar y las líneas base CoT mostraron una degradación significativa (por ejemplo, GPT-3.5 bajó al 43,8% en Perturbación de Preguntas).
• Generalización: El modelo se generalizó a la evaluación externa Cladder sin ajuste específico de la tarea, logrando una precisión del 82,3%, superando a todas las líneas base.
• Estudios de Ablación:
  • Eliminar el grafo causal o utilizar un grafo reensamblado aleatoriamente causó caídas significativas en el rendimiento (aproximadamente 15–20%), confirmando la necesidad de una guía estructural correcta.
  • El rendimiento disminuyó gradualmente a medida que se combinaban tipos de ruido, bajando del 73,47% (1 tipo de ruido) al 57,98% (todos los 6 tipos de ruido).
  • Se encontró que el marco es más sensible a la direccionalidad causal incorrecta (Inversión de Dirección) que a la eliminación de aristas.
• Descubrimiento de Estructura: GPT-4 logró puntuaciones F1 altas (>85%) al extraer grafos causales de texto limpio, aunque el rendimiento se degradó con el ruido. Los prompts estructurados produjeron una mejor calidad de extracción que las instrucciones en lenguaje natural.
• Perturbación Inconsistente con la Creencia (BIP): Cuando se expusieron a prompts que contenían conceptos erróneos comunes que contradecían el grafo causal, los modelos estándar sufrieron caídas en la precisión (hasta un 6%), mientras que el modelo guiado por grafos permaneció robusto (bajando solo un 1,2%).
• Transferibilidad: El ajuste fino de LLaMA-7B en NoisyCausal mejoró su rendimiento en la evaluación CausalQA de autoría humana en 5,1 puntos porcentuales, sugiriendo que las habilidades aprendidas se transfieren a tareas del mundo real.

Significado y Afirmaciones
El artículo argumenta que los LLM actuales a menudo fallan en el razonamiento causal porque dependen de asociaciones estadísticas de los corpus de preentrenamiento en lugar de dependencias mecánicas. Los autores afirman que NoisyCausal sirve como una herramienta de diagnóstico crítica para aislar modos de fallo específicos (por ejemplo, sensibilidad a distractores, confusión) que son difíciles de desentrañar en corpus naturales.

El significado principal radica en demostrar que combinar abstracciones causales con razonamiento impulsado por lenguaje produce una inferencia más fiel y robusta. Al guiar a los LLM con estructuras simbólicas explícitas, el marco propuesto mitiga la tendencia a confundir correlación con causalidad, incluso bajo condiciones ruidosas. Los autores posicionan este enfoque como un paso hacia LLMs "conscientes de la causalidad", enfatizando que el anclaje estructural es esencial para lograr una IA robusta en entornos inciertos.

Limitaciones
Los autores reconocen que el marco depende de la extracción de variables y la construcción de grafos basados en LLM, lo cual puede introducir errores en cascada. El diseño actual carece de optimización de extremo a extremo, y aunque la evaluación es diversa, la generalización al mundo real hacia discurso multimodal o de dominio abierto permanece sin probar. Se sugiere trabajo futuro para incluir estimación de confianza, entrenamiento conjunto y evaluación en datos multimodales del mundo real.