Resumen Técnico: CauTion – Saber cuándo confiar en los LLM para el descubrimiento causal de conjuntos (Ensemble)

1. Planteamiento del problema

El descubrimiento causal a partir de datos observacionales enfrenta limitaciones fundamentales cuando se depende únicamente de métodos estadísticos. Los enfoques basados en restricciones (p. ej., PC, FCI) son sensibles al tamaño de la muestra finita y solo pueden recuperar una Clase de Equivalencia de Markov (MEC), dejando muchas direcciones de aristas sin resolver. Los métodos basados en puntuación y optimización continua (p. ej., GES, NOTEARS) suelen sufrir de óptimos locales, sensibilidad a los hiperparámetros y supuestos distribucionales que pueden no cumplirse en la práctica.

Para abordar estas brechas, se han introducido los Modelos de Lenguaje de Gran Escala (LLM) para proporcionar conocimiento de dominio y prioridades semánticas. Sin embargo, los métodos existentes aumentados por LLM sufren tres fallos críticos:

1. Altos costos de tokens y exposición a errores: Los métodos globales consultan a los LLM sobre todos los pares de variables $O(n^2)$, lo que conduce a costos prohibitivos y expone todo el grafo a posibles alucinaciones del LLM.
2. Amplificación de errores: Los métodos de solo no dirigidos (p. ej., LLM-MEC) restringen las consultas a las aristas no resueltas, pero sufren de acumulación de errores; un solo error del LLM puede desencadenar una cascada de orientaciones incorrectas mediante las reglas de Meek.
3. Sesgo algorítmico y fiabilidad no verificada: La mayoría de los métodos dependen de un único algoritmo centrado en los datos, lo que hace que los resultados sean vulnerables a sesgos algorítmicos específicos. Además, a menudo incorporan el conocimiento del LLM sin verificar su fiabilidad frente al conjunto de datos específico, tratando al LLM como un oráculo infalible.

2. Metodología: El marco de trabajo CauTion

Los autores proponen CauTion, un marco que integra el conocimiento de dominio de los LLM en un conjunto (ensemble) de algoritmos de descubrimiento causal estadístico mediante filtrado de consenso y arbitraje calibrado por la confianza. El flujo de trabajo opera en tres etapas distintas:

Etapa 1: Conjunto de algoritmos y filtrado de consenso

El marco agrega las salidas de múltiples algoritmos de descubrimiento causal (específicamente PC, GES y CAMML en los experimentos). Para cada par de variables, se acumulan votos para clasificar las aristas en dos conjuntos:

• Conjunto de Consenso ($\mathcal{C}$): Pares donde todos los algoritmos están de acuerdo (por ejemplo, todos votan por $A \to B$ o todos votan por la ausencia de arista). Estas aristas se resuelven directamente sin intervención del LLM. En el conjunto de datos Win95pts ($n=76$), este paso resuelve aproximadamente el 96.6% de las aristas con una precisión del 99.6%, sirviendo como una pseudo-verdad de campo de alta confianza.
• Conjunto en Disputa ($\mathcal{D}$): Pares donde los algoritmos discrepan o presentan incertidumbre. Estos se pasan a la etapa de arbitraje.

Etapa 2: Arbitraje calibrado por la confianza

Esta etapa determina cuándo confiar en el LLM estimando la fiabilidad relativa del LLM y del conjunto de algoritmos sin anotaciones externas.

• Estimación de la fiabilidad:
  • Calibración del LLM: Se consulta al LLM sobre una muestra estratificada del Conjunto de Consenso (que actúa como etiquetas proxy) para estimar su precisión en tareas de existencia y dirección de aristas.
  • Calibración del Algoritmo: Se realiza una evaluación de "dejar uno fuera" (Leave-One-Out, LOO), donde la predicción de cada algoritmo se compara con el voto de la mayoría de los algoritmos restantes para estimar su precisión.
• Cálculo del peso de confianza: Basándose en las precisiones calibradas, se calculan los pesos de confianza ($\alpha_{exist}$ y $\alpha_{dir}$). Estos pesos cuantifican la fiabilidad relativa del LLM frente al conjunto de algoritmos. Si ambos tipos de fuentes operan cerca de los niveles del azar, el sistema opta por una ponderación equitativa.
• Votación calibrada: Para las aristas en el Conjunto en Disputa:
  • El sistema primero verifica si el margen de voto del conjunto de algoritmos excede un umbral derivado de los pesos de confianza. Si los algoritmos tienen confianza, el LLM es omitido.
  • Si el margen del algoritmo es bajo, se consulta al LLM. La decisión final es una agregación ponderada por la confianza entre el voto del algoritmo y la respuesta del LLM.
  • Las consultas de dirección emplean una técnica de doble encuadre (consultando $A \to B$ y $B \to A$) para mitigar el sesgo de posición, reteniendo solo las respuestas consistentes.

Etapa 3: Reparación de ciclos

El proceso de votación produce un grafo dirigido que puede contener ciclos. Un paso de reparación de ciclos asegura que la salida final sea un Grafo Acíclico Dirigido (DAG) válido.

• Se detectan los ciclos, y las aristas dentro de ellos se evalúan según sus márgenes de incertidumbre algorítmica.
• Las aristas inciertas se presentan al LLM junto con la ruta del ciclo y las interpretaciones de las variables. Se le pide al LLM que Invierta (Flip) la dirección de la arista o Elimine (Remove) la arista.
• Si el LLM no puede resolver el ciclo o no quedan acciones disponibles, las aristas con la menor probabilidad de existencia se eliminan iterativamente hasta que el grafo sea acíclico.

3. Contribuciones clave

El artículo describe tres contribuciones principales:

1. Conceptual: Replantea el descubrimiento causal aumentado por LLM como un problema de arbitraje calibrado por la confianza. Esta perspectiva trata a los LLM y a los algoritmos estadísticos como fuentes de evidencia complementarias pero imperfectas, enfatizando que el conocimiento del LLM solo debe integrarse después de que su fiabilidad sea calibrada frente a un conjunto de métodos estadísticos.
2. Metodológica: La propuesta de CauTion, un marco que combina el consenso entre algoritmos, el arbitraje de fiabilidad consciente de la confianza y la reparación de ciclos que preserva el DAG. Este restringe de manera única las consultas al LLM a las aristas en disputa y reduce el peso de la influencia del LLM cuando su precisión de dominio estimada es baja.
3. Empírica: Demostración de que CauTion supera consistentemente tanto a los baselines centrados en datos como a los aumentados por LLM en seis benchmarks. Las mejoras en el rendimiento escalan con el tamaño del grafo, y el método exhibe una fuerte robustez ante variaciones en la selección del motor de LLM.

4. Resultados experimentales

Los experimentos se realizaron en seis conjuntos de datos del repositorio bnlearn (Cancer, Insurance, Water, Alarm, Barley, Win95pts) con conteos de variables que van desde 5 hasta 76.

• Rendimiento: CauTion logró la menor Distancia de Hamming Estructural (SHD) y los puntajes F1 más altos en todos los conjuntos de datos. En el conjunto de datos más grande, Win95pts ($n=76$), CauTion logró un SHD de 27, superando significativamente al segundo mejor baseline aumentado por LLM (SCP), que tuvo un SHD de 63.
• Escalabilidad: La brecha de rendimiento entre CauTion y los baselines se amplió a medida que aumentaba la escala del grafo, validando el diseño del marco para manejar estructuras más grandes y complejas.
• Robustez: CauTion demostró una estabilidad superior a través de seis backends de LLM diferentes (desde modelos débiles como Llama-3.1-8B hasta modelos fuertes como Claude-Sonnet-4.6). En contraste, los métodos totalmente impulsados por LLM (p. ej., LLM-BFS, CORR-LLM) mostraron una degradación severa del rendimiento y una alta varianza cuando se utilizaban modelos más débiles.
• Eficiencia: Al filtrar más del 90% de las aristas mediante el consenso, CauTion redujo drásticamente el uso de tokens en comparación con los métodos globales de LLM. Para Win95pts, CauTion utilizó ~26k tokens, mientras que los métodos globales como SCP utilizaron más de 3 millones de tokens.

5. Significado y afirmaciones

El artículo afirma que CauTion aborda el compromiso fundamental entre el alto riesgo de error de los métodos globales de LLM y el sesgo de los métodos estadísticos de un solo algoritmo. Al introducir un mecanismo de calibración de confianza, el marco asegura que el conocimiento de dominio del LLM se aproveche solo cuando la evidencia estadística es insuficiente y cuando el LLM está empíricamente calibrado para ser fiable para la tarea específica.

Los autores afirman que este trabajo hace avanzar la metodología del descubrimiento causal, ofreciendo un camino hacia una recuperación de estructura más fiable en dominios como la medicina, la epidemiología y la economía. Reconocen las limitaciones, señalando que el conjunto actual utiliza un conjunto fijo de tres algoritmos y que los experimentos se realizaron en benchmarks de variables discretas, lo que deja la generalización a datos de tipo continuo o mixto para una validación futura.