📊 statistics

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

Este artículo presenta DAG-FM, un nuevo modelo fundacional que aprovecha una arquitectura Transformer autorregresiva de dos etapas con un mecanismo de Mezcla de Expertos de Hojas para lograr un rendimiento de descubrimiento causal de vanguardia en datos tabulares heterogéneos y de alta dimensionalidad.

Autores originales: Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio: quién está causando qué. Tienes una hoja de cálculo gigante llena de pistas (datos), pero las reglas del juego son complicadas. A veces, las pistas siguen leyes estrictas y predecibles; otras veces, las leyes cambian de una pista a la siguiente. Este es el mundo del descubrimiento causal, y durante mucho tiempo, las herramientas que los detectives usaban eran como intentar resolver un Cubo de Rubik con guantes de ojos vendados. O bien se quedaban trabados en rompecabezas simples, o se rompían cuando las reglas se volvían caóticas.

Entra en escena DAG-FM, un nuevo tipo de "superdetective" basado en modelos fundacionales. Piensa en él no como un manual de reglas único y rígido, sino como un maestro chef con una cocina enorme y mágica.

La vieja forma vs. El nuevo chef

Anteriormente, los detectives intentaban adivinar todo el mapa de conexiones (quién causa a quién) de una sola vez. Era como intentar dibujar el mapa de una ciudad entera de un solo golpe. Si la ciudad tenía reglas de tráfico extrañas y mezcladas (mecanismos heterogéneos), el mapa solía terminar siendo un desastre. Algunos métodos antiguos eran como especialistas que solo sabían conducir por autopistas rectas y planas (modelos No Gaussianos Lineales). Si el camino se convertía en una pista de tierra accidentada o un paso de montaña sinuoso, esos especialistas se perdían.

DAG-FM cambia las reglas del juego. En lugar de dibujar todo el mapa a la vez, juega a una "búsqueda del tesco inversa". Funciona en dos pasos:

Encontrar las hojas: Observa los datos y pregunta: "¿Quién está al final de la cadena? ¿Quién no está causando a nadie más?". Despega a la última persona de la fila.
Encontrar a los padres: Una vez que sabe quién es la "hoja", pregunta: "¿Quién movía sus hilos?". Encuentra a los padres de esa hoja.

Repite este proceso, pelando las capas de la cebolla hasta que toda la estructura queda revelada. Esto es mucho más inteligente que intentar adivinar toda la imagen de una vez.

El ingrediente mágico: La "Mezcla de Expertos"

Aquí es donde DAG-FM se vuelve realmente genial. En el mundo real, las reglas de causa y efecto no son las mismas en todas partes. A veces, una causa actúa como una ecuación matemática simple; otras veces, es una función compleja y sinuosa.

DAG-FM utiliza un equipo de especialistas dentro de su cerebro, llamado Mezcla de Expertos de Hojas (Mixture-of-Leaf-Experts o MoLE). Imagina una sala llena de diferentes detectives: uno es excelente resolviendo acertijos lineales, otro es bueno detectando patrones de ruido, otro en manejar curvas extrañas. Cuando DAG-FM observa un fragmento de datos, no solo adivina; pregunta: "¿Qué detective es el mejor para esta pista específica?". Dirige el problema al experto adecuado de forma dinámica. Esto le permite manejar una mezcla caótica de reglas que confundiría a los detectives antiguos de mentalidad única.

El campo de entrenamiento: Un patio de recreo sintético

Antes de que DAG-FM pudiera abordar misterios del mundo real, los autores tuvieron que enseñarle. No se limitaron a alimentarlo con datos reales; construyeron un enorme patio de recreo virtual. Generaron millones de escenarios falsos usando grafos aleatorios y ruido aleatorio, mezclando y combinando diferentes tipos de reglas causales (como Lineales, de Ruido Aditivo y Post-No Lineales).

Crucialmente, diseñaron este patio de recreo con una red de seguridad específica. Demostraron matemáticamente que, si el modelo se entrena en esta mezcla específica de reglas, será capaz de encontrar la única respuesta verdadera, incluso si los datos son desordenados. Es como entrenar a un piloto en un simulador que incluye cada tormenta y fallo de motor posibles, para que, cuando vuele un avión real, sepa exactamente qué hacer.

Los resultados: Velocidad e Inteligencia

Cuando los autores probaron DAG-FM, los resultados fueron impresionantes.

En datos falsos: En simulaciones con 100 tipos diferentes de reglas mezcladas, DAG-FM superó a casi todos los demás métodos. Obtuvo las conexiones con mayor frecuencia (mayor precisión y exhaustividad/recall) y cometió menos errores (menor tasa de error) que los algoritmos de la vieja escuela e incluso que otros nuevos modelos de IA.
En datos reales: Lo probaron con conjuntos de datos del mundo real, como una red de señalización de proteínas con 7,466 muestras y 11 variables, y un sistema físico con 10,000 muestras y 38 variables. Mientras muchos otros métodos colapsaban (se quedaban sin memoria) o se rendían, DAG-FM siguió adelante. Encontró los mejores mapas en estas pruebas, superando a las herramientas tradicionales que sufrían por el tamaño o la complejidad de los datos.
Eficiencia: También es increíblemente eficiente. Puede manejar conjuntos de datos de hasta 50,000 muestras o 500 variables en una computadora estándar con 24GB de memoria de video, sin necesidad de trucos complicados para ralentizarlo.

Lo que no hace (todavía)

Es importante saber qué es lo que este superdetective no puede hacer. El artículo establece explícitamente que DAG-FM asume que tiene todas las pistas (sin factores de confusión ocultos). Si hay variables secretas que influyen en los datos que el modelo no puede ver, el método podría confundirse. Los autores también señalan que, aunque el modelo funciona de maravilla con las reglas para las que fue entrenado, todavía está siendo probado ante tipos de caos completamente nuevos y no vistos.

La conclusión

DAG-FM no es una varita mágica que resuelve todos los misterios instantáneamente, pero es un salto gigantesco hacia adelante. Al descomponer el problema en pasos más pequeños y manejables, y al utilizar un equipo de expertos especializados para manejar diferentes tipos de reglas, logra encontrar el verdadero mapa de causa y efecto en situaciones donde las herramientas anteriores fallaron. Sugiere que, con el entrenamiento y la arquitectura adecuados, la IA finalmente puede navegar por la realidad desordenada y mezclada de cómo funciona realmente el mundo.

Resumen Técnico: DAG-FM

Planteamiento del Problema

El descubrimiento causal a partir de datos tabulares observacionales enfrenta dos desafíos fundamentales: la heterogeneidad de los mecanismos causales subyacentes y el espacio de búsqueda combinatorio de alta dimensión de los Grafos Acíclicos Dirigidos (DAG). Los métodos tradicionales, incluyendo los enfoques basados en restricciones, basados en puntuación y basados en optimización, suelen tener dificultades sin supuestos fuertes. Específicamente, los métodos basados en Modelos Causales Funcionales (FCM) suelen asumir mecanismos causales homogéneos (por ejemplo, todas las relaciones son lineales o todas son de ruido aditivo), lo que limita su generalizabilidad a escenarios del mundo real donde los mecanismos varían entre variables. Por el contraparte, los modelos amortizados (fundacionales) emergentes a menudo carecen de garantías teóricas para producir DAG estrictamente identificables y frecuentemente fallan al manejar mecanismos heterogéneos, ya que su rendimiento es altamente sensible al diseño del espacio de prior utilizado para el preentrenamiento.

Metodología

El artículo propone DAG-FM, una arquitectura de modelo fundacional diseñada para amortizar el descubrimiento causal garantizando intrínsecamente la salida de un DAG único e identificable a partir de datos observacionales.

1. Fundamento Teórico: Identificabilidad Heterogénea

Los autores establecen una condición de diseño para el espacio de prior que permite mecanismos causales heterogéneos. A diferencia de los enfoques FCM tradicionales que imponen un único tipo de mecanismo, el espacio de prior de DAG-FM permite que un Modelo Causal Estructural (SCM) sea una mezcla compuesta de cuatro familias de mecanismos distintas:

LiNGAM: Relaciones lineales con ruido no gaussiano.
ANM: Relaciones no lineales con ruido aditivo.
HNM: Modelos de ruido heterocedástico.
PNL: Modelos post-no lineales.

Los resultados teóricos (Teoremas 4.4 y 4.5) demuestran que bajo estas condiciones (asumiendo suficiencia causal y fidelidad/faithfulness), el verdadero DAG es casi seguramente identificable a partir de la distribución observacional. Esto asegura que el modelo amortizado converja a un DAG único y real a medida que aumenta el tamaño de la muestra.

2. Arquitectura: Predicción Descompuesta

Para abordar los problemas de escalabilidad de la predicción directa de matrices de adyacencia (que escalan cuadráticamente y carecen de restricciones de DAG), DAG-FM descompone el proceso de descubrimiento en dos etapas secuenciales, autorregresivas, utilizando submódulos especializados basados en Transformers:

Predictor de Nodos Hoja ( $Q_{\theta_1}$ ): Identifica el ordenamiento causal prediciendo recursivamente los nodos hoja (nodos sin hijos) en el subgrafo actual.
Predictor de Nodos Padre ( $Q_{\theta_2}$ ): Dado un nodo hoja confirmado, este módulo identifica sus padres, recortando efectivamente el grafo hacia una estructura triangular superior basada en el ordenamiento establecido.

3. Mezcla de Expertos en Hojas (MoLE)

Para manejar las diversas familias de mecanismos dentro del espacio de prior, la cabeza de predicción de hojas integra un marco de Mezcla de Expertos en Hojas (MoLE).

El modelo emplea $m+1$ cabezales bilineales, cada uno correspondiente a una familia de mecanismos específica (más un experto de mecanismo general y un experto ficticio/dummy).
Un enrutador top-k selecciona dinámicamente el experto apropiado basado en las características de los datos de entrada.
Este diseño permite al modelo adaptarse dinámicamente a las familias de mecanismos identificables, cerrando la brecha entre los supuestos de los FCM teóricos y la heterogeneidad de los datos prácticos.

4. Construcción del Espacio de Prior

El modelo se preentrena en un conjunto de datos sintéticos a gran escala generado a partir de un espacio de prior $\Phi$ que incluye:

Grafos Aleatorios: Modelos Erdős–Rényi, Barabási–Albert y Watts–Strogatz con diversas densidades.
Mecanismos Aleatorios: Una biblioteca diversa de funciones (MLPs, GPs, Random Forests, etc.) muestreadas de las cuatro familias definidas.
Ruido Aleatorio: Una biblioteca exhaustiva de distribuciones (Normal, Laplace, Student's t, etc.) con Relaciones Señal-Ruido (SNR) controladas.
Aumento de Datos: Deformación no lineal y discretización para simular las características de los datos del mundo real, mientras se impone una normalización de distribución estricta para prevenir artefactos estadísticos espurios.

5. Inferencia

La inferencia se realiza de forma iterativa (Algoritmo 1). El modelo identifica repetidamente un nodo hoja, determina sus padres, elimina el nodo del conjunto y actualiza el ordenamiento causal hasta que todas las variables han sido procesadas. Este proceso garantiza una estructura de DAG válida sin necesidad de corrección de ciclos post-hoc.

Contribuciones Clave

Garantía Teórica: El artículo proporciona una condición de diseño para el espacio de prior que soporta mecanismos causales heterogéneos mientras asegura teóricamente que el modelo amortizado converja a un DAG único e identificable.
Arquitectura DAG-FM: El desarrollo de un modelo fundacional que desacopla la identificación de DAG en tareas de predicción de nodos hoja y nodos padre, utilizando submódulos basados en Transformers y el marco MoLE para manejar la heterogeneidad de los mecanismos.
Desempeño Empírico: Experimentos extensos que demuestran que DAG-FM alcanza un desempeño de vanguardia (state-of-the-art) tanto en bancos de pruebas sintéticos con mecanismos heterogéneos como en conjuntos de datos complejos del mundo real, superando significativamente a los algoritmos tradicionales y a los modelos fundacionales recientes en precisión y escalabilidad.

Resultados Experimentales

Benchmarks Sintéticos: En conjuntos de datos con $n=1000$ muestras y $d=20$ variables con mecanismos heterogéneos, DAG-FM logró el F1-score más alto (0.64) y la menor Distancia de Hamming Estructural normalizada (nSHD) (0.19), superando a bases como Direct-LiNGAM, AVICI y TabCausal.
Subespacios Homogéneos: Incluso en entornos estrictamente homogéneos (por ejemplo, LiNGAM puro), DAG-FM se mantuvo competitivo, logrando una Tasa de Divergencia de Orden (ODR) de 0.12, comparable a los algoritmos especializados.
Benchmarks del Mundo Real:
- Dataset Sachs (Señalización de Proteínas): DAG-FM alcanzó un F1 de 0.53 y un nSHD de 0.25, superando significativamente a todos los demás métodos (ej., FoundCause: F1 0.33; GES: F1 0.31).
- Causal Chamber: DAG-FM alcanzó un F1 de 0.53 y un nSHD de 0.14, superando a todos los baselines.
Escalabilidad: DAG-FM demostró una escalabilidad robusta, manejando hasta 50,000 muestras o 500 variables dentro de una restricción de 24GB de VRAM, mientras que muchos baselines (ej., AVICI, CauScale) encontraron errores de falta de memoria (out-of-memory) en conjuntos de datos grandes.
Robustez: El modelo mostró resiliencia ante variaciones en la densidad de los grafos, deformación de datos y discretización, y mantuvo un fuerte desempeño en escenarios de Fuera de Distribución (OOD) que involucran estructuras de grafos, mecanismos y distribuciones de ruido no vistos previamente.

Significado

El artículo afirma que DAG-FM representa un avance significativo al integrar las garantías teóricas de la identificabilidad de los FCM con la escalabilidad de los modelos fundacionales amortizados. Al alejarse de la predicción directa de la matriz de adyacencia y, en su lugar, descomponer la tarea en subtareas secuenciales y teóricamente fundamentadas, DAG-FM supera las limitaciones tanto de los métodos tradicionales (falta de generalizabilidad a mecanismos heterogéneos) como de los enfoques amortizados existentes (falta de garantías estructurales y sensibilidad al diseño del prior). Este trabajo establece un nuevo paradigma para el descubrimiento causal que es tanto teóricamente riguroso como prácticamente aplicable a datos de alta dimensión del mundo real.