🤖 AI

CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts

CausalMoE est un modèle de fondation multimodal à l'échelle du milliard qui exploite un mélange d'experts hétérogènes à routage par motifs et une auto-attention sensible à la causalité pour surmonter les limites des approches traditionnelles de type « taille unique », atteignant ainsi une découverte de causalité de Granger de pointe grâce à une généralisation et une interprétabilité améliorées par l'intégration de priors textuels et visuels.

Auteurs originaux : Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

Publié 2026-06-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Liu, Di Dai, Jingwei Liu, Jiarui Jin, Xiaocheng Fang, Guangkun Nie, Hongyan Li, Shenda Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre qui influence qui dans une pièce chaotique et bruyante remplie de gens qui parlent tous en même temps. Peut-être qu'un cri venant de la cuisine provoque une réaction dans le salon, ou peut-être que deux personnes rient simplement à la même blague sans se parler. C'est le défi de la Découverte Causale de Granger : tenter de trouver les véritables chaînes de « cause à effet » dans des données complexes au fil du temps.

Pendant longtemps, les ordinateurs ont tenté de résoudre cela en utilisant une approche « taille unique ». Ils supposaient que toute la pièce suivait les mêmes règles. Mais dans le monde réel, les règles changent. Parfois, la cuisine est calme, parfois elle est chaotique. Lorsqu'un ordinateur essaie d'appliquer une règle unique à une pièce dont l'humeur change constamment, il s'embrouille. Il commence à voir des connexions qui n'existent pas (comme penser que le grille-pain a causé l'aboiement du chien simplement parce qu'ils sont arrivés au même moment).

Voici entré CausalMoE, un nouveau modèle d'IA de « l'échelle du milliard » qui agit comme un détective super intelligent doté d'une équipe d'experts spécialisés. Voici comment il fonctionne, décomposé en parties simples :

1. La stratégie « Caméléon » : Des experts routés par motifs

Au lieu d'utiliser un seul cerveau géant pour analyser toute la pièce, CausalMoE divise les données en petits morceaux (comme prendre des instantanés de la pièce toutes les quelques secondes). Il utilise ensuite un contrôleur de trafic intelligent (appelé « Pattern-Routed Mixture of Heterogeneous Experts » ou Mélange d'Experts Hétérogènes Routés par Motifs) pour examiner chaque instantané.

L'analogie : Imaginez le service des urgences d'un hôpital. Si un patient arrive avec une jambe cassée, vous ne l'envoyez pas chez un cardiologue ; vous l'envoyez chez un orthopédiste.
Comment ça marche : CausalMoE examine un morceau de données et demande : « Quel genre de motif est-ce ? Est-ce un rythme régulier ? Est-ce un pic chaotique ? Est-ce une tendance saisonnière ? » Il route ensuite instantanément ce morceau spécifique vers l'expert spécialiste le mieux qualifié pour le gérer.
- Un expert est excellent pour repérer les tendances saisonnières (comme le changement de météo).
- Un autre est un expert des changements rapides et chaotiques (comme les krachs boursiers).
- Un autre est un expert sémantique qui lit l'« histoire » derrière les chiffres.
- Un autre est un expert visuel qui regarde la « forme » des données.

En laissant le bon expert gérer la bonne situation, le modèle arrête de mélanger différents types de causes, ce qui empêche de créer de fausses connexions.

2. Le super-pouvoir « Multimodal » : Lire entre les lignes

La plupart des anciens modèles ne regardaient que les chiffres bruts (la température, le prix de l'action, le rythme cardiaque). CausalMoE est différent car il est multimodal. Il ne se contente pas de regarder les chiffres ; il les traduit en d'autres langages pour mieux les comprendre.

Le traducteur de texte : Il transforme un morceau de chiffres en une invite textuelle (comme une courte histoire ou un titre de presse) et demande à un grand Modèle de Langage (LLM) de la lire. Cela aide l'IA à comprendre le « contexte » ou l'« ambiance » des données.
L'artiste visuel : Il transforme les chiffres en une image (comme un graphique linéaire) et demande à un Modèle de Langage-Vision (VLM) de l'observer. Cela aide l'IA à voir la « forme » des données, comme un pic abrupt ou une courbe lisse, ce qui pourrait être difficile à percevoir dans un tableur.

Pourquoi cela aide-t-il ? Imaginez essayer de deviner pourquoi une voiture s'est arrêtée. Si vous regardez seulement le compteur de vitesse (le chiffre), vous pourriez penser qu'elle est tombée en panne d'essence. Mais si vous regardez une photo de la voiture (visuel) et lisez une note disant « pneu crevé » (texte), vous obtenez la vraie réponse. CausalMoE utilise ces indices supplémentaires pour découvrir la véritable cause, même lorsque les chiffres sont désordonnés ou rares.

3. Le « Détecteur de Vérité » : L'attention sensible à la causalité

Une fois que les experts ont fait leur travail, le modèle doit dessiner la carte finale de qui a causé quoi. Il utilise un outil spécial appelé Causalité-Aware Self-Attention (Auto-attention sensible à la causalité).

L'analogie : Pensez à un groupe d'amis essayant de décider qui a lancé une rumeur. Au lieu que tout le monde parle à tout le monde en même temps, cet outil force l'IA à se demander : « Si je change l'histoire de cette personne, est-ce que l'histoire de cette autre personne change ? »
Il force l'IA à être très stricte et à ne tracer des lignes qu'entre les variables qui s'influencent réellement, ignorant le bruit. Cela produit une carte propre et simple (un « graphe parcimonieux ») plutôt qu'un enchevêtrement de fausses connexions.

Pourquoi est-ce une avancée majeure ?

L'article affirme que CausalMoE est un bond en avant massif pour deux raisons principales :

Il fonctionne quand les données sont rares : Habituellement, l'IA a besoin de milliers d'exemples pour apprendre. CausalMoe peut découvrir les règles avec très peu d'exemples (dans un contexte de « few-shot » ou apprentissage par peu d'exemples) car il utilise la « connaissance du monde » de ses experts textuels et visuels pour combler les lacunes. C'est comme un détective qui peut résoudre un crime avec seulement quelques indices parce qu'il sait déjà comment le criminel opère habituellement.
Il gère le chaos : Les données du monde réel sont désordonnées et changent de comportement. Parce que CausalMoE route les différents morceaux vers différents experts, il ne s'embrouille pas lorsque les règles changent. Il s'adapte à la volée.

En résumé : CausalMoE est une IA de plusieurs milliards de paramètres qui cesse de vouloir imposer une règle unique à un monde changeant. Au lieu de cela, il agit comme une équipe de spécialistes qui traduisent les chiffres en histoires et en images, route les données vers le bon expert, puis dessine une carte claire et honnête de la cause à effet. L'article montre qu'il surpasse toutes les méthodes précédentes lors de tests standards, particفulièrement lorsqu'il y a peu de données disponibles pour travailler.

Résumé Technique : CausalMoE

Énoncé du Problème

La découverte de causalité de Granger (GCD - Granger Causal Discovery) est un paradigme fondamental pour l'analyse des dépendances temporelles dans les systèmes complexes. Cependant, les méthodes existantes de GCD neuronales reposent principalement sur une stratégie de Modélisation de Distribution Uniforme (UDM - Uniform Distribution Modeling) de type « taille unique ». Cette approche suppose un processus générateur de données homogène, traitant tous les segments temporels comme des échantillons provenant d'une distribution sous-jacente unique. Dans les séries temporelles réelles, cette hypothèse ne tient pas compte des décalages de distribution et des changements de régime dynamiques qui surviennent même à la granularité de courts patchs temporels. Par conséquent, les méthodes basées sur l'UDM confondent souvent des régimes hétérogènes, entraînant des représentations entrelacées et des graphes causaux spécieux où la causalité réelle est diluée.

De plus, les méthodes de GCD actuelles sont strictement unimodales, s'appuyant exclusivement sur des observations numériques. Dans les systèmes complexes, les corrélations numériques seules sont souvent insuffisantes pour l'identification causale, car le contexte sémantique (descriptions textuelles, annotations d'événements) ou les états visuels agissent souvent comme des facteurs de confusion critiques ou des signaux de désambiguïsation. Bien que les récents modèles de fondation pour séries temporelles (TSFM) traitent la rareté des données par un pré-entraînement à grande échelle, ils optimisent la prédiction plutôt que la fidélité causale, absorbant souvent les variations structurelles dans les représentations latentes et érodant les invariances requises pour la découverte de causalité.

Méthodologie : CausalMoE

Pour répondre à ces limitations, les auteurs proposent CausalMoE, un modèle de fondation multimodal de causalité de Granger à l'échelle du milliard. L'architecture s'écarte des hypothèses de modélisation statique en modélisant explicitement l'hétérogénéité temporelle au niveau des patchs et en intégrant des priors multimodaux. Le cadre se compose de trois modules principaux :

1. Encodage de Patch Multimodal

La série temporelle multivariée en entrée est divisée en patchs. Pour exploiter les priors sémantiques et visuels, chaque patch est transformé en trois modalités :

Temporelle : Patchs numériques bruts.
Textuelle : Les patchs sont encapsulés dans des prompts structurés contenant le contexte du jeu de données, les données historiques, les caractéristiques statistiques (ex: tendances, médianes) et les instructions de tâche. Ceux-ci sont traités par un Grand Modèle de Langage (LLM) gelé.
Visuelle : Les patchs sont redimensionnés et normalisés en images par interpolation bilinéaire. Ceux-ci sont traités par un Modèle de Langage-Vision (VLM) gelé.
Crucialement, ces modalités sont des vues déterministes des patchs historiques observés, et non des variables exogènes supplémentaires, garantissant qu'elles n'introduisent pas de nouveaux facteurs de confusion.

2. Mélange d'Experts Hétérogènes par Routage de Patterns (MoHE)

Pour gérer les décalages de distribution, CausalMoE introduit un module de Routage de Patterns Spécifique aux Patchs (PSPR - Patch-Specific Pattern Routing). Ce module utilise le clustering par sous-espaces pour détecter les patterns temporels latents (ex: saisonnalité, tendances, variations spectrales) et route dynamiquement chaque patch vers l'expert de domaine le plus approprié.
L'architecture MoHE comprend quatre experts spécialisés :

Expert Sémantique : Encode les régularités sémantiques au niveau du prompt (tendances, motifs de bruit) en utilisant le LLM gelé.
Expert Multimodal : Capture les structures visuelles au niveau de la forme (netteté des pics, morphologie de l'enveloppe) en utilisant le VLM gelé.
Expert de Fréquence Temporelle : Combine les caractéristiques du domaine temporel avec des représentations du domaine de Fourier pour capter les motifs spectraux stationnaires.
Expert Temporel Multi-échelle : Agrège les représentations sous-échantillonnées pour modéliser les tendances non stationnaires et les motifs saisonniers hiérarchiques.
Un réseau de porte (gating network) sélectionne les $k$ meilleurs experts pour chaque patch, permettant le découplage des mécanismes spécifiques à un régime des dynamiques partagées.

3. Auto-Attention Sensible à la Causalité (CASA) et Récupération de Graphe

Pour garantir une récupération de graphe interprétable, CausalMoE emploie un mécanisme d'Auto-Attention Sensible à la Causalité (CASA - Causality-Aware Self-Attention). Contra-irement à l'auto-attention standard qui opère sur les pas de temps, CASA opère sur les variables. Il remplace les matrices de projection standard par des projections au niveau des variables ( $\omega_q, \omega_k, \omega_v \in \mathbb{R}^{D \times D}$ ) pour calculer des poids d'attention qui encodent explicitement l'influence de variable à variable.
Le graphe causal est inféré via une optimisation proximale. Un terme de régularisation est appliqué aux poids de projection de valeur pour promouvoir la parcimonie dans la matrice d'adjacence causale. L'optimisation utilise la descente de gradient proximale avec seuillage doux de groupe pour résoudre l'objectif non convexe, produisant des graphes de causalité de Granger creux et interprétables.

Contributions Clés

Architecture CausalMoE : La proposition d'un modèle de fondation multimodal à l'échelle du milliard qui modélise explicitement l'hétérogénéité temporelle par patch. Il utilise un mélange d'experts hétérogènes routés par pattern pour router dynamiquement les patchs vers des experts spécialisés, découplant ainsi la causalité spécifique à un régime des dynamiques partagées.
Intégration Multimodale : La première intégration des LLM et des VLM dans la boucle de GCD. En alignant les signaux numériques avec les priors textuels et visuels, le modèle régularise l'estimation causale dans des scénarios complexes où les données numériques seules sont ambiguës.
Mécanisme Sensible à la Causalité : La conception du mécanisme CASA et de la stratégie d'optimisation proximale pour récupérer des graphes de causalité de Granger creux et interprétables directement à partir des représentations multimodales routées.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur cinq jeux de données de référence : les systèmes synthétiques VAR et Lorenz-96, des données fMRI simulées, et des jeux de données d'expression génique (DREAM-3 et DREAM-4).

Performance Supervisée : CausalMoE établit un nouvel état de l'art (SOTA) sur tous les benchmarks entièrement supervisés. Il surpasse de manière significative les méthodes traditionnelles (ex: GC, PCMCI) et les approches neuronales récentes (ex: NGC, CUTS, JRNGC), particulièrement sur les jeux de données complexes et non linéaires comme Lorenz-96 et DREAM-4.
Généralisation Few-Shot : Dans des contextes de peu d'apprentissage (entraînement sur 1 % à 10 % des données), CausalMoE démontre une robustesse exceptionnelle. Il égale les performances des modèles de base entraînés sur des données complètes tout en n'utilant qu'une fraction des observations. Par exemple, sur DREAM-4, il atteint un AUROC > 0,6 avec seulement 5 % des données d'entraînement, là où les méthodes neuronales conventionnelles se dégradent fortement.
Études d'Ablation : Le retrait du routeur de pattern, de la transformation multimodale ou du mécanisme CASA dégrade systématiquement les performances, confirmant que chaque composant est nécessaire pour démêler les régimes, régulariser les dépendances et extraire des structures causales creuses.
Efficacité : Bien que des backbones de fondation plus larges améliorent les performances, la variante légère de CausalMoE maintient de fortes capacités de découverte de causalité avec des coûts d'entraînement nettement réduits, car les modèles de fondation servent d'extracteurs de caractéristiques gelés.

Signification et Revendications

L'article affirme que CausalMoE représente un changement de paradigme, passant d'une modélisation causale statique et uniforme à une modélisation causale adaptative et sensible aux régimes. En abordant la dichotomie entre les hypothèses de modélisation statiques et l'hétérogénéité dynamique du monde réel, CausalMoE permet une inférence causale fiable dans des scénarios de données rares et complexes où les méthodes traditionnelles échouent.

Les auteurs soulignent que leur approche ne se contente pas de passer à l'échelle des modèles existants, mais repense fondamentalement le pipeline de découverte de causalité en :

Modélisant explicitement l'hétérogénéité temporelle plutôt que de l'adoucir.
Tirant parti des priors sémantiques et visuels pour lever l'ambiguïté des liens causaux impossibles à identifier par les seules données numériques.
Fournissant un cadre pratique de « découverte de causalité en tant que service » qui est robuste aux décalages de distribution et à la disponibilité limitée des données.

Le travail est positionné comme une étape fondamentale vers la découverte de causalité multimodale, bien que les auteurs notent des limitations concernant la dépendance aux dépendances prédictives (causalité de Granger) plutôt qu'à la causalité interventionnelle, ainsi que le potentiel de biais hérités des modèles de fondation pré-entraînés.