Resumen Técnico: Promedio de Modelos Guiado Dinámicamente por Expertos para el Descubrimiento Causal

Enunciado del Problema

Los practicantes del descubrimiento causal se enfrentan a una "galería vertiginosa" de algoritmos sin un consenso claro sobre qué método funciona mejor para casos de uso específicos. Esta diversidad, combinada con las realidades de datos limitados y ruidosos, a menudo obliga a depender del conocimiento experto, ya que los algoritmos individuales frecuentemente violan supuestos teóricos (por ejemplo, suficiencia causal) o no logran superar consistentemente a otros en datos del mundo real. Aunque el ensamblaje (promedio de modelos) es una estrategia natural para mejorar la robustez, los métodos existentes para el ensamblaje en el descubrimiento causal son limitados. Algunos dependen de metadatos poco realistas sobre gráficos de verdad fundamental, mientras que otros se centran en priores estáticos en lugar de resolver dinámicamente las discrepancias. Además, la integración del conocimiento experto ha estado típicamente limitada a restricciones estáticas o algoritmos específicos, en lugar de servir como mediador para un conjunto diverso.

Metodología

Los autores proponen una estrategia de Promedio de Modelos Guiado Dinámicamente por Expertos que integra un conjunto diverso de algoritmos de descubrimiento causal con un experto imperfecto (humano o Modelo de Lenguaje Grande). La innovación central reside en desacoplar la determinación de la existencia de aristas de la orientación de aristas y utilizar al experto de manera selectiva para resolver desacuerdos.

Componentes Metodológicos Clave:

1. Separación de Existencia y Orientación:

   • Existencia de Aristas: El método depende principalmente de algoritmos basados en datos para detectar la presencia de aristas. Reconoce que, aunque los algoritmos pueden discrepar en la orientación, a menudo coinciden en la existencia de una conexión.
   • Orientación de Aristas: Una vez establecida una arista, el método determina su dirección. Reconoce que los algoritmos a menudo tienen dificultades con la orientación (produciendo CPDAGs con aristas no dirigidas) y que los expertos (particularmente los Modelos de Lenguaje Grande) pueden ser mejores para determinar el orden causal que para detectar la existencia de una relación.

2. Estrategia de Consulta Dinámica:

   • El método ejecuta un conjunto de $M$ algoritmos de descubrimiento causal para producir un conjunto de gráficos $\mathcal{G}$.
   • Adición de Aristas: Las aristas se consideran para su adición basándose en un umbral de frecuencia $\theta_1$. Si el porcentaje de modelos que contienen una arista directa supera $\theta_1$ pero cae por debajo de una votación mayoritaria (0.5), el sistema consulta al experto para validar la existencia de la arista.
   • Determinación de Orientación: Para las aristas aceptadas, si existen múltiples orientaciones válidas, el método verifica si una orientación específica supera un umbral $\theta_2$ entre los modelos que contienen la arista. Si no es así, o si la orientación es ambigua, se consulta al experto para determinar la dirección.
   • Presupuesto de Consulta ($B$): Para reflejar las restricciones realistas sobre el acceso a expertos (tiempo/costo), el método opera bajo un presupuesto de consulta fijo. Una vez agotado el presupuesto, las decisiones se basan en la votación mayoritaria.
   • Consultas Impulsadas por Desacuerdo: El sistema prioriza consultar al experto solo para las aristas donde el conjunto muestra un desacuerdo significativo, maximizando el valor de la entrada experta limitada.

3. Modelo de Experto:

   • El método trata al experto como "imperfecto", capaz de cometer errores. En los experimentos, un experto simulado proporciona respuestas correctas con probabilidades $p_{exist}^e$ y $p_{orient}^e$.
   • El enfoque asume que el experto responde basándose en un orden causal plausible (cadenas directas o indirectas) en lugar de aristas estrictamente directas, reflejando la dificultad de elicitar conocimiento estructural preciso en la práctica.

Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Estrategia de Ensamblaje Novel: Introduce el primer método para utilizar conocimiento experto solicitado dinámicamente específicamente para mediar discrepancias en el promedio de modelos de descubrimiento causal.
2. Consulta Desacoplada: Al tratar la existencia y la orientación de las aristas por separado, el método aprovecha las fortalezas complementarias de los algoritmos basados en datos (detección) y la entrada experta (dirección), consultando al experto selectivamente solo en casos de alta incertidumbre o desacuerdo.
3. Validación Empírica: El método se evalúa frente a líneas base sólidas (incluyendo métodos de ensamblaje existentes y algoritmos individuales) en gráficos del mundo real bien conocidos utilizando datos limpios y ruidosos, demostrando mejoras consistentes en el rendimiento.

Resultados Experimentales

Los autores evaluaron su método en seis redes de referencia (por ejemplo, Asia, Sports, Alarm, Pathfinder) con tamaños de muestra variables ($n \in \{100, 1000, 10000, 100000\}$) y niveles de ruido.

• Rendimiento: El método propuesto superó consistentemente a las líneas base sólidas, incluidos algoritmos individuales (PC-Stable, FCI, Tabu, GES, etc.) y enfoques de ensamblaje existentes (Bayesys Model Avg, Aslani & Mohebbi).
• Métricas: Se observaron mejoras en la Función de Puntuación Balanceada (BSF), puntuación F1, Distancia de Hamming Estructural (SHD) y Distancia de Intervención Estructural (SID). El método mostró mejoras amplias en la recuperación mientras mantenía una precisión comparable a otros métodos de ensamblaje.
• Comparación con Tabu-AL: El método superó significativamente a Tabu-AL (una línea base que utiliza conocimiento experto dinámico en un solo algoritmo) en al menos un 11% en promedio en la mayoría de las métricas, destacando el valor de ensamblar algoritmos diversos con mediación experta.
• Estudio de Caso con LLM: Los experimentos que utilizaron un LLM (gpt-5-nano) como experto mostraron un rendimiento consistente con los parámetros del experto simulado ($p_{exist}^e \approx 70\%$, $p_{orient}^e \approx 90\%$), validando la viabilidad de utilizar LLMs en este marco.
• Presupuesto de Consulta: Un presupuesto moderado de $2N$ (donde $N$ es el número de nodos) proporcionó el mejor equilibrio entre precisión y recuperación.

Significado y Afirmaciones

El artículo posiciona este trabajo como el primer método que aprovecha el conocimiento experto para el ensamblaje de algoritmos de descubrimiento causal. Su significado se enmarca en la necesidad práctica de manejar las restricciones de los datos del mundo real donde ningún algoritmo es universalmente superior.

• Afirmaciones Moderadas: Los autores declaran explícitamente que su método no proporciona garantías formales de recuperar el gráfico causal verdadero en configuraciones ideales. En su lugar, se basa en la validación empírica para combinar las fortalezas de algoritmos diversos con expertos imperfectos bajo condiciones realistas plausibles.
• Practicidad: El enfoque está diseñado para escenarios donde el acceso a expertos es limitado e imperfecto, ofreciendo una alternativa robusta a depender de un solo algoritmo o priores estáticos.
• Trabajo Futuro: Los autores señalan limitaciones, incluido el uso de datos categóricos sintéticos y la falta de garantías teóricas formales. Sugieren que el trabajo futuro podría explorar diferentes tipos de datos, distribuciones de ruido y ponderación adaptativa de modelos basada en el rendimiento predicho.

En resumen, el artículo presenta un marco pragmático y flexible que utiliza la intervención experta dirigida para resolver incertidumbres en conjuntos causales, demostrando que dicha estrategia produce una precisión estructural superior en comparación con los métodos existentes tanto en datos limpios como ruidosos.