🤖 machine learning

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

Falcon-X est un nouveau modèle fondamental pour les séries temporelles qui répond aux limites des approches univariées et d'espace brut existantes en découplant les variables dans un espace de prototypes latents unifié, en utilisant un mécanisme d'attention Diff pour aligner des grandeurs hétérogènes et capturer des interactions complexes, et en employant un routeur de réassemblage de variables pour atteindre des performances de prévision multivariée de l'état de l'art.

Auteurs originaux : Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire l'avenir d'un système complexe, comme la météo, un marché boursier ou la circulation routière. Ces systèmes comportent de nombreuses pièces mobiles différentes (variables) qui interagissent entre elles. Parfois, lorsque l'une augmente, l'autre augmente également (synergie). D'autres fois, lorsque l'une augmente, l'autre diminue (antagonisme).

Pendant longtemps, les modèles informatiques tentant de prédire ces futurs ont rencontré deux grands problèmes :

La « barrière linguistique » : Ils tentaient de mélanger directement différents types de données (comme la température et la vitesse du trafic), ce qui équivaut à essayer de mixer des pommes et des oranges dans un blender en s'attendant à obtenir un jus lisse. L'ordinateur se perd car les unités et les significations sont totalement différentes.
Le « angle mort du modèle universel » : La plupart des modèles ne regardaient qu'une variable à la fois ou supposaient que tout était harmonieux. Ils ont manqué le fait que certaines variables s'affrontent (corrélation négative) tandis que d'autres travaillent ensemble.

Voici Falcon-X, un nouveau « modèle fondation pour séries temporelles ». Considérez-le comme un traducteur et un chef d'orchestre ultra-intelligents pour ces systèmes chaotiques. Voici comment il fonctionne, décomposé en étapes simples :

1. Le « traducteur universel » (Espace de prototypes latents)

Au lieu de forcer l'ordinateur à comparer des données brutes (comme « 100 degrés » contre « 50 voitures »), Falcon-X traduit d'abord tout dans un langage secret et universel appelé Espace de prototypes latents.

L'analogie : Imaginez une pièce remplie de personnes parlant différentes langues (anglais, mandarin, espagnol, etc.). Au lieu d'essayer de les faire parler directement entre elles, vous avez un groupe d'interprètes experts (les Prototypes). Chacun s'adresse aux interprètes, qui comprennent le sens derrière les mots, et pas seulement la langue spécifique.
Pourquoi cela aide : Cela résout la « barrière linguistique ». Peu importe que vos données concernent l'électricité ou le trafic ; Falcon-X les traduit dans le même « sens » afin qu'elles puissent réellement se comprendre.

2. La « lentille à double vue » (Diff-Attention)

La plupart des modèles d'IA sont comme un appareil photo qui ne voit que les aspects positifs. Si deux choses bougent ensemble, l'appareil dit « Bien ! ». Si elles s'éloignent l'une de l'autre, l'appareil se perd ou l'ignore.

Falcon-X dispose d'un mécanisme spécial Diff-Attention. Il utilise deux lentilles :

La lentille de synergie : Repère les éléments qui s'entraident (par exemple, la pluie et les parapluies).
La lentille d'antagonisme : Repère les éléments qui s'affrontent (par exemple, le prix et la demande).
L'analogie : Imaginez un juge dans une salle d'audience. Au lieu d'écouter uniquement le côté « pour », ce juge possède une capacité spéciale à entendre simultanément les arguments « pour » et « contre » et à les peser les uns contre les autres. Cela permet au modèle de comprendre des relations complexes où une variable pousse l'autre dans la direction opposée.

3. Le « distributeur intelligent » (Routeur de réassemblage des variables)

Après que les interprètes ont fait leur travail et que le juge a pesé les arguments, le modèle doit transformer le sens universel en prédictions spécifiques pour vos données d'origine (par exemple, « Quelle sera la température ? »).

L'analogie : Pensez à une cuisine de restaurant très animée. Le chef (le modèle) prépare un gigantesque et parfait ragoût (la compréhension universelle). Mais vous avez commandé une soupe spécifique, et votre ami a commandé une salade. Le Routeur est le serveur qui sait exactement quels ingrédients du grand ragoût appartiennent à votre soupe et lesquels appartiennent à la salade de votre ami. Il ne verse pas simplement tout le pot sur votre assiette ; il sélectionne et assemble soigneusement les bonnes parties pour chaque plat spécifique.
Pourquoi cela aide : Cela garantit que, même si le modèle a appris à partir d'un mélange de nombreux systèmes différents, il peut toujours vous fournir une réponse précise pour votre système spécifique sans mélanger les détails.

Les résultats

Les auteurs ont testé Falcon-X sur d'immenses collections de données réelles (comme la météo, les réseaux électriques et les ventes).

Le score : Il a surpassé tous les modèles précédents les plus performants (comme Chronos-2 et Moirai) en termes de précision.
Le super-pouvoir « Zero-Shot » : Parce qu'il a appris ce « langage universel », il peut prédire des choses qu'il n'a jamais vues auparavant. Si vous lui montrez un nouvel ensemble de données sur lequel il n'a pas été entraîné, il peut toujours faire de bonnes suppositions car il comprend les modèles sous-jacents, et pas seulement les chiffres spécifiques.

En résumé

Falcon-X, c'est comme prendre une pièce chaotique remplie de personnes parlant différentes langues, se battant et coopérant. Il les envoie à un groupe d'interprètes qui traduisent tout dans une langue commune, laisse un juge peser à la fois les relations amicales et hostiles, puis envoie un serveur intelligent pour servir à chacun exactement ce dont il a besoin. Le résultat est une image beaucoup plus claire et plus précise de ce qui va se passer ensuite.

Résumé Technique : Falcon-X

Énoncé du Problème

Les Modèles Fondamentaux de Séries Temporelles (TSFM) transforment la prévision en exploitant un pré-entraînement à grande échelle inter-domaines. Cependant, les TSFM existants rencontrent deux limitations fondamentales lors du traitement de données multivariées hétérogènes :

Désalignement Sémantique : La plupart des modèles opèrent directement dans l'espace des variates bruts. Lors du mélange de grandeurs physiques hétérogènes (par exemple, température vs volume de trafic) provenant de différents jeux de données, les mécanismes d'attention de groupe standards échouent à aligner leurs sémantiques distinctes. Cela conduit à un « effondrement sémantique », où le modèle apprend des corrélations spurious, spécifiques au jeu de données, plutôt que des structures temporelles transférables.
Expressivité Relationnelle Limitée : Les systèmes réels présentent des interactions complexes, incluant à la fois des dépendances synergiques (positives) et antagonistes (négatives). Les mécanismes d'attention standards, reposant sur des scores softmax non négatifs, capturent principalement des effets d'agrégation et peinent à modéliser explicitement des dynamiques opposées ou des relations antagonistes.

Les approches actuelles aplatissent souvent les séries multivariées ou utilisent une attention de groupe dans l'espace brut, ce qui soit s'adapte mal à la dimensionalité, soit échoue à dissocier les sémantiques hétérogènes, limitant ainsi les capacités de transfert zero-shot.

Méthodologie : Falcon-X

Falcon-X est un modèle fondamental de type uniquement encodeur (591 millions de paramètres) conçu pour découpler les variates physiques de l'espace d'interaction. Il introduit un paradigme d'Espace de Prototypes Latents Unifiés, composé de quatre étapes principales :

1. Prétraitement et Tokenisation

Normalisation : Les entrées subissent une transformation arcsinus utilisant la moyenne et l'écart-type calculés au niveau de l'instance, à partir uniquement des valeurs observées, afin de préserver les entrées manquantes.
Tokenisation : La séquence est augmentée de timestamps relatifs et d'un masque binaire d'observation. Elle est ensuite partitionnée en patches non chevauchants et projetée dans une dimension cachée via un mécanisme d'embedding de patch résiduel.

2. Attention Temporelle

Falcon-X emploie une architecture Transformer uniquement encodeur pour capturer d'abord les motifs temporels intrinsèques. $n$ couches d'Attention Temporelle sont appliquées indépendamment à chaque variate le long de la dimension temporelle. Cela garantit que des dynamiques temporelles robustes sont distillées avant toute interaction inter-variate, empêchant un enchevêtrement sémantique prématuré.

3. Attention Variate (Innovation Centrale)

Cette étape comble le fossé entre les entrées hétérogènes et une représentation unifiée :

Diff-Attention de Prototypes Unifiés (UPDA) : Au lieu de mélanger les variates bruts, Falcon-X les projette dans un espace de prototypes latents de dimension fixe ( $C$ $C$ ). Il utilise un mécanisme d'Attention Différentielle avec deux matrices de clés apprenables : $K_{pos}$ $K_{p os}$ (synergique) et $K_{neg}$ $K_{n e g}$ (antagoniste).
- Le modèle calcule des scores d'attention par rapport aux deux clés : $A_{pos} = \text{softmax}(QK_{pos}^T)$ et $A_{neg} = \text{softmax}(QK_{neg}^T)$ .
- La représentation unifiée est dérivée en agrégeant les valeurs basées sur le score différentiel : $H_C = (A_{pos} - \lambda A_{neg})^T V$ .
- Une perte d'orthogonalité contraint $K_{pos}$ et $K_{neg}$ pour assurer une distinction sémantique. Cela permet au modèle de capturer explicitement à la fois les affinités positives et négatives.
Attention d'Entités Latentes (LEA) : Une fois alignées dans l'espace de prototypes partagé, les interactions globales inter-variate sont effectuées via une Attention Multi-Têtes standard. Parce que toutes les entités résident dans le même espace sémantique agnostique à la dimension, cela facilite un transfert zero-shot transparent entre des jeux de données avec des nombres de variates et des significations physiques différents.
Routeur de Réassemblage Variate (VRR) : Pour reconstruire des trajectoires spécifiques, un mécanisme de demande et de distribution est utilisé. Une demande de routage ( $R_{req}$ $R_{r e q}$ ) issue de l'embedding temporel original est appariée à un index de prototype ( $P_{idx}$ $P_{i d x}$ ) pour récupérer les charges utiles sémantiques pertinentes du contexte source ( $S_{ctx}$ $S_{c t x}$ ).
- La sortie finale fusionne les embeddings temporels originaux avec les représentations inter-variate réassemblées via une connexion résiduelle à porte : $\hat{H} = H_T + G(H_T) \odot H_V$ . Cette porte régule dynamiquement la fusion, empêchant les interférences sémantiques dans les systèmes faiblement corrélés tout en exploitant les dépendances dans les systèmes fortement corrélés.

4. Tête de Prévision

Le modèle adopte un paradigme de prévision probabiliste, prédisant les distributions futures sur un ensemble de quantiles en utilisant une Perte de Quantile.

Contributions Clés

Un Paradigme de Modélisation Hétérogène Novel : Falcon-X passe du mélange dans l'espace brut à un espace de prototypes latents unifié. Cela crée un système de coordonnées universel qui résout les écarts sémantiques entre les jeux de données, permettant un transfert de connaissances zero-shot principiel.
Innovation Architecturale :
- Attention de Prototypes Différentielle : Modélise explicitement à la fois les dynamiques synergiques et antagonistes, surmontant les limites de l'attention non négative.
- Routeur de Réassemblage Variate : Un mécanisme à porte qui fusionne de manière adaptative le contexte global avec les signaux temporels locaux, assurant une robustesse face à des forces de dépendance diverses.
Excellence Empirique : Le modèle démontre des performances de pointe sur des benchmarks complets, validant son adaptabilité structurelle.

Résultats Expérimentaux

Falcon-X a été évalué sur GIFT-Eval et fev-bench, deux benchmarks à grande échelle couvrant des domaines divers (nature, énergie, finance, santé, etc.).

GIFT-Eval : Falcon-X a obtenu les meilleures performances globales avec 0,666 MASE et 0,453 CRPS. Il a surpassé de solides modèles de base, notamment STRIDE (+1,2 % MASE), Toto-2.0-FT (+1,9 % MASE) et Timer-S1 (+3,9 % MASE). Notamment, son avantage a augmenté avec des horizons de prévision plus longs, obtenant les meilleurs résultats à moyen terme (0,68 MASE) et à long terme (0,70 MASE).
fev-bench : Falcon-X s'est classé juste derrière Chronos-2 (0,652 contre 0,645 MASE) tout en s'appuyant strictement sur des séries cibles endogènes, surpassant d'autres modèles récents comme TiRex et Moirai 2.0.
Études d'Ablation : La suppression de la clé de prototype négative ( $K_{neg}$ ) a provoqué la baisse de performance la plus sévère, confirmant la nécessité de modéliser les relations antagonistes. L'entraînement conjoint (univarié + multivarié) s'est avéré supérieur à l'apprentissage par curriculum en deux étapes.
Mise à l'échelle : Le modèle adhère aux lois de mise à l'échelle neuronale, montrant des améliorations de performance cohérentes à mesure que les paramètres passent de 59M à 591M.

Signification et Revendications

L'article revendique que Falcon-X offre un paradigme principiel et évolutif pour les environnements multivariés complexes. En découplant les variates physiques de l'espace d'interaction et en modélisant explicitement des dépendances duales (synergiques et antagonistes), il adresse les goulots d'étranglement de l'alignement sémantique et de l'expressivité relationnelle des TSFM actuels. Les auteurs postulent que cette approche permet un transfert structurel zero-shot robuste, permettant au modèle d'apprendre des motifs inter-domaines réutilisables sans être couplé aux dimensions brutes des variates. Ce travail est présenté comme une étape vers des modèles fondamentaux plus unifiés et expressifs pour les séries temporelles, le code étant publié publiquement pour soutenir la recherche future.