TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

La prévision de séries temporelles est la science consistant à observer une séquence de nombres enregistrés au fil du temps pour deviner ce qui va se passer ensuite. Elle est le moteur qui permet de prédire tout, du prix de l'essence à la propagation d'une épidémie de grippe. Pendant des décennies, les méthodes les plus fructueuses ont reposé presque entièrement sur les chiffres eux-mêmes, cherchant des modèles dans le passé pour les projeter dans le futur. Cependant, le monde réel est rarement un simple flux de nombres. C'est un système complexe influencé par les gros titres de l'actualité, les politiques gouvernementales et les événements imprévus qui apparaissent souvent sous forme de texte plutôt que de points de données. Alors que les humains lisent naturellement un rapport de presse sur une perturbation de la chaîne d'approvisionnement et ajustent leurs attentes pour les prix futurs, les modèles informatiques traditionnels ont eu du mal à faire de même. Ils traitent souvent le texte comme une couche distincte et déroutante, difficile à aligner avec le flux fluide des données numériques, ce qui conduit à des prévisions qui passent à côté de la plaque lorsque le monde change.

Une équipe de chercheurs de l'Université Tsinghua a proposé une nouvelle façon de combler ce fossé, en introduisant un système appelé TiMi. Au lieu d'essayer de forcer le texte et les nombres dans le même format rigide, leur approche traite les deux comme des guides distincts mais coopératifs. L'idée centrale est d'utiliser un grand modèle de langage, un type d'intelligence artificielle entraîné sur de vastes quantités d'écrits humains, pour lire le texte et raisonner sur ce qu'il signifie pour l'avenir. Le modèle ne se contente pas de mémoriser les mots ; il les analyse pour en déduire des facteurs causaux, comme savoir si une nouvelle politique fera augmenter ou baisser les ventes. Ce raisonnement est ensuite transmis à un moteur de prévision spécialisé qui utilise cette intuition pour affiner ses prédictions numériques. Les chercheurs ont constaté qu'en laissant le modèle de langage agir comme un guide pour les chiffres, plutôt qu'en essayant de les fusionner en un mélange unique et désordonné, le système pouvait réaliser des prévisions nettement plus précises.

Les chercheurs ont testé cette méthode sur seize ensembles de données réels différents, couvrant des domaines divers tels que l'agriculture, le climat, l'énergie et la santé publique. Dans ces tests, le nouveau système a systématiquement surpassé les modèles avancés existants, y compris ceux qui avaient précédemment tenté de combiner texte et nombres. Les résultats ont été particulièrement frappants dans les scénarios où le texte fournissait une raison claire d'un changement dans les chiffres, comme un rapport sur le rappel d'un smartphone provoquant une chute brutale des ventes. Dans ces cas, le nouveau système a réussi à utiliser le texte pour anticiper la baisse, alors que d'autres modèles échouaient souvent à capturer ce changement soudain. L'étude suggère que la clé d'une meilleure prévision ne réside pas dans le fait de forcer différents types de données à se ressembler, mais en permettant à chacun de faire ce qu'il fait de mieux : le texte fournit l'histoire et la cause, tandis que les nombres fournissent l'enregistrement et la tendance.

Pour faire fonctionner cela, l'équipe a conçu un système modulaire qui agit comme un ensemble de conseillers spécialisés. Une partie du système se concentre entièrement sur les chiffres historiques, apprenant les rythmes et les modèles à long terme des données. Une autre partie se concentre sur le texte, utilisant le modèle de langage pour extraire des informations structurées sur les tendances futures, comme savoir si les perspectives sont à la hausse, à la baisse ou stables. Ces deux flux d'informations sont ensuite réunis d'une manière qui permet au système de choisir le conseil le plus pertinent pour le moment spécifique. Si le texte suggère qu'un événement majeur arrive, le système s'appuie fortement sur cette intuition. Si le texte est vague ou non pertinent, le système s'appuie davantage sur les modèles historiques. Cette flexibilité permet au modèle de gérer des données réelles désordonnées, où le texte et les nombres peuvent n'arriver pas en même temps ou pas sous le même format.

Les chercheurs ont également exploré l'efficacité de ce système lorsque les données sont irrégulières, ce qui est courant dans le monde réel. Dans de nombreuses situations, les rapports d'actualité peuvent paraître à des moments imprévisibles, ou des données peuvent manquer pour certains jours. Les modèles traditionnels peinent souvent face à ces lacunes, mais le nouveau système les gère avec aisance. Parce qu'il traite le texte et les nombres séparément avant de combiner leurs intuitions, il ne nécessite pas un synchronisme parfait entre les deux. Dans les tests sur des ensembles de données irréguliers, le système a réduit les erreurs de prédiction de près de trente pour cent par rapport aux méthodes standards. Cette robustesse suggère que l'approche n'est pas seulement une amélioration théorique, mais un outil pratique capable de travailler avec les données imparfaites et asynchrones rencontrées dans les applications réelles.

Une partie cruciale de l'étude a consisté à comprendre comment le système prend ses décisions. Les chercheurs ont découvert que le système regroupait naturellement les types de tendances de données similaires. Par exemple, lorsqu'on demandait au système de prédire l'avenir d'un ensemble de données montrant une forte tendance à la hausse, il s'appuyait systématiquement sur une partie spécifique de sa logique interne. Lorsqu'il s'agissait d'une tendance à la baisse, il passait à une autre partie. Ce comportement indique que le système ne se contente pas de deviner ; il apprend à se spécialiser, en assignant différents « experts » au sein de son cerveau pour gérer différents scénarios futurs. De plus, l'étude a montré que la qualité du texte importe. Lorsque les chercheurs ont injecté dans le système un texte bruyant ou non pertinent, les performances du système n'ont légèrement baissé, prouvant qu'il peut filtrer le bruit et se concentrer sur le signal.

Ces conclusions remettent en question l'idée prédominante selon laquelle la meilleure façon de combiner texte et nombres est de les fusionner en une représentation unique et unifiée. Les tentatives précédentes essayaient souvent de traduire le texte en un code numérique qui pourrait être mélangé directement aux données de séries temporelles, un processus qui diluait souvent la signification du texte. La nouvelle approche rejette cette fusion au profit d'une interaction guidée. En gardant le texte comme une source de raisonnement causal et les nombres comme l'objet de la prédiction, le système préserve les forces uniques de chacun. Les chercheurs ont démontré que cette méthode fonctionne à travers une grande variété de domaines, de l' suivi des cas de grippe à la prédiction du volume de trafic, suggérant que la capacité à lire et à raisonner sur le texte est un atout universel pour la prévision.

En fin de compte, ce travail offre une voie plus claire pour l'intelligence artificielle dans l'analyse des séries temporelles. Il montre que l'avenir de la prévision ne réside peut-être pas dans la construction de modèles plus vastes et plus complexes qui tentent de tout faire à la fois, mais dans la conception de systèmes qui savent écouter différents types d'informations. En laissant un modèle de langage lire l'actualité et un modèle de prévision surveiller les chiffres, puis en les laissant travailler ensemble, le système atteint un niveau de précision et d'adaptabilité qu'aucun des deux ne pourrait atteindre seul. Les résultats suggèrent que pour quiconque tente de prédire l'avenir de systèmes complexes, l'histoire derrière les chiffres est tout aussi importante que les chiffres eux-mêmes.