Evaluating Bivariate Causal Statements Based on Mutual Compatibility

Resumen Técnico: Evaluación de Enunciados Causales Bivariados Basada en la Compatibilidad Mutua

Planteamiento del Problema
En muchos dominios del mundo real, como la medicina y la economía, establecer la verdad causal de base mediante la experimentación suele ser inviable o prohibitivamente costoso. En consecuencia, la inferencia causal depende en gran medida del conocimiento experto o, cada vez más, de los resultados de los Modelos de Lenguaje de Gran Escala (LLM). Estas fuentes suelen proporcionar enunciados causales bivariados (relaciones de causa-efecto por pares) en lugar de grafos causales multivariados completos. Si bien para los humanos y los LLM es más fácil evaluar relaciones por pares, agregar estos enunciados en un modelo global coherente es un desafío. Los métodos existentes para evaluar afirmaciones causales sin una verdad de base suelen basarse en la consistencia con los datos o en algoritmos de descubrimiento específicos. Este artículo aborda la pregunta fundamental de cómo evaluar la fiabilidad de colecciones de enunciados causales biviares cuando no existe una verdad de base, específicamente evaluando su compatibilidad mutua.

Metodología
Los autores proponen dos marcos distintos para evaluar enunciados causales bivariados, dependiendo de la naturaleza de la información proporcionada: cuantitativa (coeficientes lineales) o cualitativa (existencia/dirección gráfica).

1. Compatibilidad para Enunciados Causales Bivariados Lineales
Este enfoque se dirige a enunciados que cuantifican efectos causales totales por pares mediante coeficientes lineales ($\alpha_{ij}$).

• Fundamento Teórico: Los autores demuestran que para cualquier lista acíclica de enunciados bivariados lineales, existe un Modelo de Ecuaciones Estructurales (SEM) lineal multivariado único cuyos marginales por pares coinciden exactamente con los enunciados dados. Debido a que siempre existe un modelo único, las restricciones de compatibilidad "dura" tradicionales (más allá de la aciclicidad) no se aplican.
• El Postulado de Confusión: Para evaluar la plausibilidad, los autores introducen un postulado: un modelo causal multivariado genérico no debería exhibir más confusión que sus modelos marginales bivariados. La intuición es que la marginalización de un modelo multivariado reduce los caminos causales observados, aumentando así la confusión no observada en los marginales. Si el modelo multiversal inducido requiere menos confusión que los marginales para explicar los datos, esto implica una cancelación específica y poco probable de los caminos causales (violando el postulado).
• Mecanismo de Calificación:
  • Medida de Confusión: Definen una puntuación de confusión basada en el residuo al cuadrado de las covarianzas no explicadas por los caminos causales observados. Para un modelo bivariado, esto es $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$. Para el modelo multivariado, es el residuo al cuadrado tras contabilizar todos los caminos dirigidos y los caminos de puerta trasera totalmente observados.
  • Puntuación de Compatibilidad: La puntuación se define como la suma sobre todos los pares de la diferencia entre la confusión bivariada y la confusión multivariada:
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • Interpretación: Una puntuación negativa indica una violación del postulado de confusión, sirviendo como evidencia para falsificar los enunciados. Una puntuación positiva no garantiza la corrección, pero indica que los enunciados inducen un modelo plausible.
• Garantías Teóricas: El artículo demuestra que para modelos causales aleatorios que satisfacen la ausencia de sesgo e independencia de mecanismos, la puntuación de compatibilidad esperada es positiva. También proporciona límites de concentración de muestra finita que muestran que las estimaciones empíricas de la puntuación convergen a la puntuación real con una complejidad de muestra polinómica.

2. Incompatibilidad para Enunciados Causales Bivariados Gráficos
Este enfoque se dirige a enunciados cualitativos que indican la presencia/ausencia de efectos causales y confusión, modelados como Grafos Mixtos Dirigidos Acíclicos (ADMG).

• Compatibilidad Gráfica: Bajo el supuesto de fidelidad (faithfulness), una colección de ADMG bivariados es compatible si y solo si son las marginalizaciones de un único ADMG global. Esto requiere tres condiciones:
  1. La parte dirigida del grafo de unión es acíclica.
  2. La parte dirigida es transitivamente cerrada.
  3. Si existe un camino de confusión entre dos nodos, debe existir un arco bidireccido entre ellos.
• Puntuación de Incompatibilidad: Dado que encontrar el grafo compatible más cercano es un problema NP-duro (relacionado con el problema de Edición de Transitividad Acíclica), los autores proponen un algoritmo heurístico para aproximar el número mínimo de ediciones de arcos (adiciones/eliminaciones) requeridas para satisfacer las tres condiciones. La puntuación es la suma de las ediciones necesarias para:
  1. Romper ciclos (Conjunto de Arcos de Retroalimentación).
  2. Forzar el cierre transitivo.
  3. Forzar la propiedad de cierre del camino de confusión.
• Propiedades: La puntuación heurística es un límite superior de la incompatibilidad real. Si la puntuación es cero, los enunciados son perfectamente compatibles; si es grande, indica una inconsistencia significativa.

Resultados Clave

• Experimentos Sintéticos:
  • Caso Lineal: La puntuación de compatibilidad distingue con éxito los enunciados correctos de los incorrectos. A medida que se añade ruido (error) a los coeficientes de la verdad de base, la fracción de enunciados con puntuaciones positivas disminuye. La puntuación es robusta al ruido de variables ocultas y mejora con el número de variables observadas y la densidad del modelo.
  • Caso Gráfico: La puntuación de incompatibilidad aumenta de forma monótona con el número de errores inyectados en los grafos sintéticos. Para grafos dispersos, aproxima estrechamente el recuento real de errores; para grafos densos, sirve como un límite superior fiable.
• Evaluación de LLM:
  • Los autores aplicaron estos métodos a afirmaciones causales generadas por varios LLM (por ejemplo, Claude, GPT, Gemma, Qwen) respecto a indicadores socioeconómicos (densidad de población, alfabetización, ingresos, etc.).
  • Resultados Lineales: Las puntuaciones de compatibilidad variaron significativamente entre modelos, con los modelos de mayor capacidad logrando generalmente puntuaciones más altas (más plausibles). Muchos LLM recibieron puntuaciones negativas, lo que indica que sus enunciados generados eran internamente inconsistentes.
  • Resultados Gráficos: La mayoría de las salidas de los LLM resultaron en puntuaciones de incompatibilidad distintos de cero. Curiosamente, algunos modelos de baja puntuación produjeron grafos extremadamente densos (afirmando confusión en todas partes), lo que satisface trivialmente las condiciones de compatibilidad pero carece de informatividad. Al filtrar por grafos informativos (menor densidad de arcos), surgió una correlación entre puntuaciones de incompatibilidad más bajas y una mayor capacidad del modelo.

Significado y Reivindicaciones
El artículo afirma proporcionar un método fundacional para evaluar la fiabilidad de la información causal derivada de expertos humanos o IA en ausencia de una verdad de base.

• Falsificación vs. Verificación: Los autores enfatizan que sus métodos son principalmente herramientas para la falsificación. Una puntuación de compatibilidad negativa o una puntuación de incompatibilidad alta proporcionan evidencia de que un conjunto de enunciados es incorrecto o inconsistente. Una puntuación positiva no prueba la corrección, sino que indica que los enunciados pasan una "prueba de cordura" respecto a la plausibilidad mutua.
• Independencia de la Fidelidad (Caso Lineal): Una contribución clave es la capacidad del marco lineal para evaluar enunciados sin depender del supuesto de fidelidad (faithfulness), que a menudo se viola en la práctica.
• Aplicación Práctica: El trabajo demuestra que estas métricas pueden diferenciar la calidad del razonamiento causal en diferentes LLM, sugiriendo utilidad para el filtrado post-entrenamiento, tuberías de validación o la evaluación automatizada de afirmaciones causales generadas por IA.

Los autores mantienen la modestia, señalando que las puntuaciones altas no garantizan la verdad y que el trabajo futuro puede extender estos marcos a listas incompletas de enunciados o incorporar enunciados sobre subconjuntos pequeños de variables.