🤖 AI

CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts

CausalMoE es un modelo fundacional multimodal de escala de miles de millones que aprovecha una mezcla de expertos heterogéneos con enrutamiento por patrones y una atención de autoatención consciente de la causalidad para superar las limitaciones de los enfoques tradicionales de "talla única", logrando un descubrimiento de causalidad de Granger de vanguardia con una generalización e interpretabilidad mejoradas mediante la integración de prioris textuales y visuales.

Autores originales: Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

Publicado 2026-06-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando averiguar quién influye en quién en una habitación caótica y ruidosa llena de gente hablando a la vez. Tal vez un grito desde la cocina provoca una reacción en la sala de estar, o tal vez dos personas simplemente se están riendo de un mismo chiste sin hablar entre sí. Este es el desafío del Descubrimiento de Causalidad de Granger: intentar encontrar las verdaderas cadenas de "causa y efecto" en datos complejos a lo largo del tiempo.

Durante mucho tiempo, las computadoras intentaron resolver esto utilizando un enfoque de "talla única". Asumían que toda la habitación seguía las mismas reglas. Pero en el mundo real, las reglas cambian. A veces la cocina está silenciosa, otras veces es caótica. Cuando una computadora intenta aplicar una única regla a una habitación que cambia de humor constantemente, se confunde. Empieza a ver conexiones que no existen (como pensar que la tostadora causó que el perro ladrara solo porque ocurrieron al mismo tiempo).

Aquí entra CausalMoE, un nuevo modelo de IA de "escala de miles de millones" que actúa como un detective superinteligente con un equipo de expertos especializados. Así es como funciona, desglosado en partes sencillas:

1. La estrategia del "Camaleón": Expertos con rutas de patrones

En lugar de usar un solo cerebro gigante para analizar toda la habitación, CausalMoE divide los datos en pequeños fragmentos (como tomar instantáneas de la habitación cada pocos segundos). Luego utiliza un controlador de tráfico inteligente (llamado "Mezcla de Expertos Heterogéneos con Ruta de Patrones") para observar cada instantánea.

La analogía: Imagina la sala de emergencias de un hospital. Si un paciente llega con una pierna rota, no lo envías a un cardiólogo; lo envías a un ortopedista.
Cómo funciona: CausalMoE observa un fragmento de datos y pregunta: "¿Qué tipo de patrón es este? ¿Es un ritmo constante? ¿Es un pico caótico? ¿Es una tendencia estacional?". Luego, redirige instantáneamente ese fragmento específico al experto especialista más adecuado para manejarlo.
- Un experto es excelente detectando tendencias estacionales (como el cambio del clima).
- Otro es un experto en cambios rápidos y caóticos (como los desplomes del mercado de valores).
- Otro es un experto semántico que lee la "historia" detrás de los números.
- Otro es un experto visual que observa la "forma" de los datos.

Al dejar que el experto adecuado maneje cada situación, el modelo deja de mezclar diferentes tipos de causas, lo que evita que cree conexiones falsas.

2. El superpoder "Multimodal": Leer entre líneas

La mayoría de los modelos antiguos solo miraban los números brutos (la temperatura, el precio de las acciones, el ritmo cardíaco). CausalMoE es diferente porque es multimodal. No solo mira los números; los traduce a otros lenguajes para obtener una mejor comprensión.

El Traductor de Texto: Convierte un fragmento de números en un prompt de texto (como una historia corta o un titular de noticias) y le pide a un Modelo de Lenguaje Grande (LLM) que lo lea. Esto ayuda a la IA a entender el "contexto" o la "vibra" de los datos.
El Artista Visual: Convierte los números en una imagen (como un gráfico de líneas) y le pide a un Modelo de Lenguaje-Visión (VLM) que la observe. Esto ayuda a la IA a ver la "forma" de los datos, como un pico pronunciado o una curva suave, algo que podría ser difícil de ver en una hoja de cálculo.

¿Por qué ayuda esto? Imagina intentar adivinar por qué un coche se detuvo. Si solo miras el velocímetro (el número), podrías pensar que se quedó sin gasolina. Pero si miras una foto del coche (visual) y lees una nota que dice "neumático pinchado" (texto), obtienes la respuesta real. CausalMoE utiliza estas pistas adicionales para descubrir la verdadera causa, incluso cuando los números son desordenados o escasos.

3. El "Detector de la Verdad": Atención Consciente de la Causalidad

Una vez que los expertos han hecho su trabajo, el modelo necesita dibujar el mapa final de quién causó qué. Utiliza una herramienta especial llamada Autoatención Consciente de la Causalidad.

La analogía: Piensa en un grupo de amigos tratando de decidir quién empezó un rumor. En lugar de que todos hablen con todos a la vez, esta herramienta obliga a la IA a preguntar: "Si cambio la historia de esta persona, ¿cambia la historia de aquella persona?".
Obliga a la IA a ser muy estricta y solo trazar líneas entre variables que realmente se influyen entre sí, ignorando el ruido. Esto resulta en un mapa limpio y simple (un "grafo disperso") en lugar de un lío enredado de conexiones falsas.

¿Por qué es esto importante?

El artículo afirma que CausalMoE es un gran salto adelante por dos razones principales:

Funciona cuando los datos son escasos: Normalmente, la IA necesita miles de ejemplos para aprender. CausalMoE puede descubrir las reglas con muy pocos ejemplos (un entorno de "pocos disparos" o few-shot) porque utiliza el "conocimiento del mundo" de sus expertos de texto e imagen para llenar los huecos. Es como un detective que puede resolver un crimen con solo unas pocas pistas porque ya sabe cómo suele operar el criminal.
Maneja el caos: Los datos del mundo real son desordenados y cambian su comportamiento. Debido a que CausalMoE redirige diferentes fragmentos a diferentes expertos, no se confunde cuando las reglas cambian. Se adapta sobre la marcha.

En resumen: CausalMoE es una IA de miles de millones de parámetros que deja de intentar imponer una única regla a un mundo cambiante. En su lugar, actúa como un equipo de especialistas que traducen números en historias y dibujos, redirigen los datos al experto adecuado y luego dibujan un mapa claro y honesto de causa y efecto. El artículo demuestra que supera a todos los métodos anteriores en las pruebas estándar, especialmente cuando no hay muchos datos disponibles para trabajar.

Resumen Técnico: CausalMoE

Declaración del Problema

El Descubrimiento de Causalidad de Granger (GCD, por sus siglas en inglés) es un paradigma fundamental para analizar dependencias temporales en sistemas complejos. Sin embargo, los métodos existentes de GCD neuronal dependen predominantemente de una estrategia de Modelado de Distribución Uniforme (UDM) de tipo "talla única". Este enfoque asume un proceso generador de datos homogéneo, tratando todos los segmentos temporales como muestras de una única distribución subyacente. En series temporales del mundo real, este supuesto no tiene en cuenta los cambios de distribución y los cambios de régimen dinámicos que ocurren incluso a la granularidad de parches temporales cortos. En consecuencia, los métodos basados en UDM suelen confundir regímenes heterogéneos, lo que conduce a representaciones entrelazadas y grafos causales espurios donde la causalidad genuina se diluye.

Además, los métodos actuales de GCD son estrictamente unimodales, basándose exclusivamente en observaciones numéricas. En sistemas complejos, las correlaciones numéricas por sí solas suelen ser insuficientes para la identificación causal, ya que el contexto semántico (descripciones textuales, anotaciones de eventos) o los estados visuales suelen actuar como confundidores críticos o señales de desambiguación. Si bien los modelos fundacionales de series temporales (TSFMs) recientes abordan la escasez de datos mediante el preentrenamiento a gran escala, optimizan para la predicción en lugar de la fidelidad causal, absorbiendo a menudo las variaciones estructurales en representaciones latentes y erosionando las invarianzas requeridas para el descubrimiento causal.

Metodología: CausalMoE

Para abordar estas limitaciones, los autores proponen CausalMoE, un modelo fundacional de causalidad de Granger multimodal a escala de miles de millones. La arquitectura se aparta de los supuestos de modelado estático al modelar explícitamente la heterogeneidad temporal a nivel de parche e integrar prior muchimodales. El marco consta de tres módulos principales:

1. Codificación de Parches Multimodales

La serie temporal multivariante de entrada se divide en parches. Para aprovechar los conocimientos previos semánticos y visuales, cada parche se transforma en tres modalidades:

Temporal: Parches numéricos brutos.
Textual: Los parches se envuelven en prompts estructurados que contienen el contexto del conjunto de datos, datos históricos, características estadísticas (por ejemplo, tendencias, medianas) e instrucciones de la tarea. Estos son procesados por un Modelo de Lenguaje Grande (LLM) congelado.
Visual: Los parches se redimensionan y normalizan en imágenes mediante interpolación bilineal. Estos son procesados por un Modelo de Lenguaje-Visión (VLM) congelado.
Crucialmente, estas modalidades son vistas deterministas de los parches históricos observados, no variables exógenas adicionales, lo que garantiza que no introduzcan nuevos confundidores.

2. Mezcla de Expertos Heterogéneos Dirigida por Patrones (MoHE)

Para manejar los cambios de distribución, CausalMoE introduce un módulo de Enrutamiento de Patrones Específicos de Parche (PSPR). Este módulo utiliza el agrupamiento de subespacios para detectar patrones temporales latentes (por ejemplo, estacionalidad, tendencias, variaciones espectrales) y dirige dinámicamente cada parche al experto de dominio más adecuado.
La arquitectura MoHE consta de cuatro expertos especializados:

Experto Semántico: Codifica las regularidades semánticas a nivel de prompt (tendencias, patrones de ruido) utilizando el LLM congelado.
Experto Multimodal: Captura estructuras visuales a nivel de forma (agudeza de picos, morfología de la envolvente) utilizando el VLM congelado.
Experto de Frecuencia Temporal: Combina características en el dominio del tiempo con representaciones en el dominio de Fourier para capturar patrones espectrales estacionarios.
Experto Temporal Multiescala: Agrega representaciones submuestreadas para modelar tendencias no estacionarias y patrones estacionales jerárquicos.
Una red de compuerta selecciona los $k$ mejores expertos para cada parche, permitiendo el desacoplamiento de los mecanismos específicos de cada régimen de la dinámica compartida.

3. Atención Autoatenta Consciente de la Causalidad (CASA) y Recuperación de Grafos

Para garantizar una recuperación de grafos interpretable, CausalMoE emplea un mecanismo de Atención Autoatenta Consciente de la Causalidad (CASA). A diferencia de la autoatención estándar que opera a través de pasos de tiempo, CASA opera a través de variables. Reemplaza las matrices de proyección estándar con proyecciones a nivel de variable ( $\omega_q, \omega_k, \omega_v \in \mathbb{R}^{D \times D}$ ) para calcular pesos de atención que codifican explícitamente la influencia de variable a variable.
El grafo causal se infiere mediante optimización proximal. Se aplica un término de regularización a los pesos de la proyección de valor para promover la dispersión en la matriz de adyacencia causal. La optimización utiliza el descenso de gradiente proximal con umbralización suave de grupo para resolver el objetivo no convexo, produciendo grafos de causalidad de Granger dispersos e interpretables.

Principales Contribuciones

Arquitectura CausalMoE: La propuesta de un modelo fundacional multimodal a escala de miles de millones que modela explícitamente la heterogeneidad temporal a nivel de parche. Utiliza una Mezcla de Expertos Heterogéneos Dirigida por Patrones para enrutar dinámicamente los parches a expertos especializados, desacoplando la causalidad específica de cada régimen de la dinámica compartida.
Integración Multimodal: La primera integración de LLMs y VLMs en el ciclo de GCD. Al alinear las señales numéricas con los conocimientos previos textuales y visuales, el modelo regulariza la estimación causal en escenarios complejos donde los datos numéricos por sí solos son ambiguos.
Mecanismo Consciente de la Causalidad: El diseño del mecanismo CASA y la estrategia de optimización proximal para recuperar grafos de causalidad de Granger dispersos e interpretables directamente de las representaciones multimodales enrutadas.

Resultados Experimentales

Se realizaron experimentos extensos en cinco conjuntos de datos de referencia: sistemas VAR y Lorenz-96 sintéticos, datos de fMRI simulados y conjuntos de datos de expresión génica (DREAM-3 y DREAM-4).

Rendimiento Supervisado: CausalMoE establece un nuevo estado del arte (SOTA) en todos los benchmarks totalmente supervisados. Supera significativamente a los métodos tradicionales (por ejemplo, GC, PCMCI) y a los enfoques neuronales recientes (por ejemplo, NGC, CUTS, JRNGC), particularmente en conjuntos de datos complejos y no lineales como Lorenz-96 y DREAM-4.
Generalización de Pocos Ejemplos (Few-Shot): En entornos de pocos ejemplos (entrenamiento con el 1%–10% de los datos), CausalMoE demuestra una robustez excepcional. Igual el rendimiento de los modelos base entrenados con datos completos utilizando solo una fracción de las observaciones. Por ejemplo, en DREAM-4, logra un AUROC > 0.6 con solo el 5% de los datos de entrenamiento, mientras que los métodos neuronales convencionales se degradan drásticamente.
Estudios de Ablación: La eliminación del enrutador de patrones, la transformación multimodal o el mecanismo CASA degrada consistentemente el rendimiento, confirmando que cada componente es necesario para desentrañar los regímenes, regularizar las dependencias y extraer estructuras causales dispersas.
Eficiencia: Aunque los backbones fundacionales más grandes mejoran el rendimiento, la variante ligera de CausalMoE mantiene capacidades sólidas de descubrimiento causal con costos de entrenamiento sustancialmente reducidos, ya que los modelos fundacionales sirven como extractores de características congelados.

Significado y Reivindicaciones

El artículo afirma que CausalMoE representa un cambio de paradigma de un modelado causal estático de "talla única" hacia un modelado causal adaptativo y consciente de los regímenes. Al abordar la dicotomía entre los supuestos de modelado estático y la heterogeneidad dinámica del mundo real, CausalMoE permite la inferencia causal fiable en escenarios de escasez de datos y alta complejidad donde los métodos tradicionales fallan.

Los autores enfatizan que su enfoque no solo escala los modelos existentes, sino que repensa fundamentalmente el flujo de trabajo del descubrimiento causal al:

Modelar explícitamente la heterogeneidad temporal en lugar de suavizarla.
Aprovechar los conocimientos previos semánticos y visuales para desambiguar los vínculos causales que no son identificables únicamente con datos numéricos.
Proporcionar un marco práctico de "descubrimiento de causalidad como servicio" que es robusto ante los cambios de distribución y la disponibilidad limitada de datos.

El trabajo se posiciona como un paso fundacional hacia el descubrimiento causal multimodal, aunque los autores señalan limitaciones respecto a la dependencia en la causalidad predictiva (causalidad de Granger) en lugar de la causalidad intervencionista, y el potencial de sesgos heredados de los modelos fundacionales preentrenados.