Resumen Técnico: Aprovechamiento de los Modelos de Lenguaje de Gran Escala para el Descubrimiento Causal

Planteamiento del Problema

El descubrimiento causal busca reconstruir grafos causales a partir de datos observacionales para permitir la predicción y el análisis de intervenciones. Aunque existen métodos estadísticos (basados en restricciones y basados en puntuación), estos dependen fuertemente de supuestos (p. ej., fidelidad, suficiencia causal) y del tamaño de la muestra, lo que a menudo produce clases de equivalencia en lugar de Grafos Acíclicos Dirigidos (DAG) únicos. La incorporación del conocimiento de expertos en el dominio puede refinar estos resultados, pero codificar manualmente las restricciones es una tarea laboriosa y a menudo trata la entrada del experto como "verdad fundamental" (ground truth), ofreciendo mecanismos limitados para resolver conflictos entre la intuición del experto y la evidencia estadística.

Los enfoques recientes utilizan Modelos de Lenguaje de Gran Escala (LLM) para extraer restricciones causales a partir de metadatos de variables. Sin embargo, los LLM son expertos imperfectos propensos a la alucinación y a la memorización de benchmarks públicos. Un desafío crítico es distinguir el razonamiento causal genuino de la recuperación literal de grafos memorizados, particularmente cuando los benchmarks estándar (p. ej., Asia, Sachs) están presentes en los corpora de preentrenamiento de los LLM.

Metodología

El artículo propone ABAPC-LLM, un marco híbrido que integra restricciones semánticas derivadas de LLM con evidencia estadística mediante la Argumentación Basada en Supuestos Causales (Causal ABA).

1. El Marco de Argumentación (Causal ABA)

En lugar de tratar las restricciones como reglas rígidas, el marco modela el descubrimiento causal como un problema de argumentación:

• Supuestos: Los candidatos a aristas causales y las declaraciones de independencia condicional (CI) se tratan como supuestos de carácter derrotable.
• Reglas: Reglas lógicas codifican la aciclicidad y los principios de d-separación.
• Ataques: Las restricciones incompatibles (p. ej., una declaración de CI que implica independencia frente a una restricción que implica una arista directa) se atacan entre sí.
• Resolución: El sistema computa "extensiones estables", reteniendo solo el subconjunto más grande de supuestos que son conjuntamente defendibles. Esto permite al marco exponer y resolver de manera transparente los conflictos entre los datos y el conocimiento del experto (o del LLM), en lugar de imponer ciegamente una fuente sobre otra.

2. Pipeline de Integración de LLM

El método trata a los LLM como expertos imperfectos para la elicitación de restricciones estructurales:

• Elicitación: Se le presenta a un LLM nombres de variables y descripciones para generar listas de Direcciones Requeridas (aristas que deben existir) y Direcciones Prohibidas (aristas que no pueden existir).
• Filtrado por Consenso: Para mitigar la estocasticidad y la alucinación, el LLM es consultado cinco veces. Solo las restricciones que aparecen en la intersección de las cinco ejecuciones (consenso unánime) se retienen. Este enfoque conservador prioriza la precisión sobre la exhaustividad (recall).
• Integración: Estas restricciones de consenso se codifican como hechos dentro del marco de Causal ABA. Crucialmente, se utilizan para orientar las aristas existentes identificadas por pruebas estadísticas, no para introducir nuevas aristas. Si una prueba estadística elimina una arista (reducción de esqueleto), el LLM no puede forzar su reintroducción.

3. Protocolo de Evaluación: Benchmarks Sintéticos CauseNet

Para abordar el riesgo de memorización de los LLM, los autores introducen un nuevo protocolo de evaluación utilizando CauseNet, un grafo de conocimiento a gran escala de relaciones de causa y efecto:

1. Andamiaje Estructural: Se generan DAGs aleatorios utilizando topologías de Erdős-Rényi, de escala libre (Scale-Free) o de triángulo inferior (Lower-Triangle).
2. Anclaje Semántico: La estructura del DAG aleatorio se mapea a un subgrafo dentro de CauseNet mediante isomorfismo de subgrafos inducidos.
3. Selección Heurística: Los mapeos candidatos se clasifican por compacidad semántica, especificidad de nodo y correlación estructural-semántica para asegurar que el grafo resultante sea semánticamente coherente pero estructuralmente novedoso.
4. Generación de Datos: Los datos observacionales se muestrean a partir de los DAGs anclados. Esto asegura que el LLM sea probado en combinaciones semánticas novedosas en lugar de grafos de benchmarks memorizados.

Principales Contribuciones

1. Marco ABAPC-LLM: Un enfoque principista y conservador para el descubrimiento causal híbrido que utiliza la argumentación para integrar las restricciones derivadas de LLM con la evidencia de CI basada en datos. Trata el output del LLM como algo derrotable, permitiendo que la evidencia estadística anule las restricciones semánticas cuando surgen conflictos.
2. Elicitación Basada en Consenso: Un pipeline que utiliza el filtrado de unanimidad de múltiples ejecuciones para extraer restricciones direccionales de alta precisión de los LLM, reduciendo el riesgo de incorporar vínculos causales espurios.
3. Mitigación del Sesgo de Memorización: La introducción del protocolo de benchmark sintético basado en CauseNet, que ancla DAGs aleatorios en conceptos del mundo real para evaluar la generalización de los LLM más allá de los conjuntos de datos públicos memorizados.
4. Validación Empírica: Evaluación exhaustiva que muestra un rendimiento competitivo en benchmarks estándar y un rendimiento superior en los nuevos benchmarks sintéticos, particularmente en métricas de recuperación estructural (SHD, F1-score).

Resultados Experimentales

• Benchmarks Sintéticos (CauseNet): ABAPC-LLM logró la Distancia de Hamming Estructural (SHD) más baja y la mayor exhaustividad (recall) en todos los conteos de nodos (5, 10, 15). Superó consistentemente a las líneas base estándar (MPC, FGS, NOTEARS) y a la variante de solo argumentación (ABAPC), demostrando que las restricciones semánticas mejoran la precisión estructural cuando los conflictos se resuelven mediante argumentación.
• Benchmarks Estándar (bnlearn): El método funcionó de manera competitiva en conjuntos de datos estándar (p. ej., sachs, child, asia). En algunos casos (p. ej., earthquake), los métodos estándar funcionaron bien, pero ABAPC-LLM mantuvo un fuerte desempeño, particularmente en grafos más grandes y complejos.
• Análisis de Calidad de Restricciones: El estudio reveló un efecto de "sinergia": cuando las restricciones del LLM eran de alta calidad, impulsaban significativamente la precisión del grafo final. Sin embargo, las restricciones de baja calidad del LLM podían degradar el desempeño si forzaban la relajación de una fuerte evidencia estadística, resaltando la importancia de la capa de argumentación para filtrar el ruido.
• Tiempo de Ejecución: El enfoque añade una sobrecarga para resolver el marco de argumentación, pero sigue siendo tratable para grafos de hasta ~20 variables, con tiempos de ejecución de segundos para conjuntos de datos pequeños.

Significación y Reivindicaciones

El artículo afirma que ABAPC-LLM ofrece un método conservador y auditable para aprovechar los LLM en el descubrimiento causal. Al tratar el conocimiento del LLM como supuestos derrotables en lugar de verdades fundamentales, el marco evita los problemas de alucinación y memorización, mientras capitaliza la señal semántica que proporcionan los LLM.

Los autores enfatizan que su enfoque no pretende que los LLM sean razonadores causales perfectos. En su lugar, posicionan a los LLM como una fuente de prioris semánticas estructuradas que pueden ser rigurosamente probadas contra los datos. La presentación del protocolo CauseNet es un paso necesario para evaluar la generalización, argumentando que un alto desempeño en los benchmarks estándar puede ser simplemente un refleño de la contaminación de datos. El trabajo aboga por un futuro donde los LLM sirvan como "fuentes auditables de direcciones causales", mediadas por verificaciones de consistencia formal, en lugar de ser decisores autónomos.