🤖 machine learning

Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding

Chronicle est un transformateur décodeur unique compact de 324 millions de paramètres, entraîné à partir de zéro sur le langage naturel et les séries temporelles au sein d'une architecture unifiée, atteignant des performances compétitives dans les deux domaines et des capacités de prévision multimodales supérieures sans recourir à une adaptation postérieure de modèles de langage préentraînés.

Auteurs originaux : Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez deux types d'experts très différents dans une pièce.

Le premier expert est un analyste de séries temporelles. C'est un magicien pour examiner des chiffres qui évoluent dans le temps — comme les cours boursiers, les modèles météorologiques ou les moniteurs de fréquence cardiaque. Il peut prédire ce qui va se passer ensuite simplement en observant la forme des courbes. Cependant, il est muet ; il ne peut pas lire les notes, les rapports de presse ou les descriptions qui accompagnent souvent ces chiffres.

Le deuxième expert est un savant du langage. Il est brillant pour lire des livres, comprendre des histoires et répondre à des questions. Mais si vous lui tendez un tableur rempli de chiffres bruts, il est complètement perdu. Il ne parle pas le langage des « données ».

Pendant longtemps, les scientifiques ont tenté de faire travailler ces deux experts ensemble en prenant le savant du langage, en lui donnant un cours intensif sur les chiffres, et en espérant qu'il pourrait comprendre les deux. L'article soutient que c'est comme essayer d'enseigner à un poisson à grimper à un arbre en le forçant à porter des bottes. Le cerveau du savant du langage était construit pour les mots, pas pour le rythme du temps, si bien que les résultats étaient maladroits et inefficaces.

Voici « Chronicle ».

Les auteurs de cet article ont construit un tout nouveau type d'expert à partir de zéro. Au lieu de prendre un expert linguistique existant et d'essayer de lui enseigner les mathématiques, ils ont construit un cerveau unique et compact (un modèle de 324 millions de paramètres) qui a appris les deux langages simultanément dès le premier jour.

Voici comment ils ont procédé, en utilisant quelques analogies simples :

1. L'approche de la « classe partagée »

La plupart des modèles précédents tentaient de fixer un module de séries temporelles sur un modèle de langage. C'est comme construire une maison puis essayer d'ajouter une piscine en la collant sur le toit.

Chronicle est différent. C'est comme construire une seule et unique classe partagée où les élèves (les données) lisent soit un livre (texte), soit observent le tic-tac d'une horloge (série temporelle).

Le programme : Pendant la majeure partie de l'entraînement, les élèves étudient en groupes séparés. 92 % du temps, ils lisent des livres. 8 % du temps, ils étudient l'horloge.
La magie : Même s'ils étudient séparément, ils sont assis aux mêmes bureaux et utilisent les mêmes cahiers (les « paramètres partagés »). Au moment de leur diplôme, la partie « Langage » du cerveau a appris le rythme du temps, et la partie « Temps » a appris la nuance du langage, le tout sans jamais avoir besoin d'être collées ensemble.

2. La « patchwork »

Pour enseigner au modèle le temps, les auteurs ne lui ont pas fourni des chiffres bruts un par un. Au lieu de cela, ils ont découpé la série temporelle en petits carrés, comme des morceaux d'une courtepointe.

Imaginez une longue bande de tissu représentant une année de données de température.
Ils la découpent en morceaux de 32 jours (patchs).
Chaque patch est transformé en un seul « token » (une unité semblable à un mot) que le modèle peut comprendre.
Cela permet au modèle de voir la « forme » des données (est-ce que ça monte ? est-ce qu'il y a un pic ?) aussi facilement qu'il voit une phrase.

3. L'entraînement en « deux étapes »

L'entraînement s'est déroulé en deux phases :

Étape 1 (Les bases) : Le modèle a appris à lire des livres et à prédire le prochain patch de la courtepointe séparément. Il est devenu très bon dans les deux tâches individuellement.
Étape 2 (La conversation) : Ils ont introduit une petite quantité de données « mixtes ». Imaginez montrer au modèle une image d'un nuage d'orage (le patch de la courtepointe) et la phrase « Il pleut » (le texte) en même temps. Cela a enseigné au modèle comment les deux modalités sont liées, lui permettant de comprendre qu'un motif spécifique dans les chiffres signifie « pluie ».

Qu'ont-ils prouvé ?

L'article affirme que ce nouveau modèle « Chronicle » est une puissance pour trois raisons :

C'est un maître bilingue : Il comprend le texte aussi bien que d'autres petits modèles de langage spécialisés (comme Gemma-3 ou LLaMA) de la même taille. Il n'a pas perdu sa capacité à lire simplement parce qu'il a appris les mathématiques.
C'est un pro de la prédiction temporelle : Il prédit les chiffres futurs mieux que presque tous les autres modèles qui ne regardent que des chiffres, même s'il passe la majeure partie de son temps d'entraînement à lire du texte.
C'est le meilleur pour les mélanger : Lorsque vous lui donnez à la fois du texte et des chiffres ensemble (comme un rapport de presse sur un krach boursier plus le graphique boursier), il prédit le futur mieux que tout modèle précédent qui a tenté de combiner les deux.

La conclusion

L'article conclut que vous n'avez pas besoin de forcer un modèle de langage à apprendre les séries temporelles, ni un modèle de séries temporelles à apprendre le langage. Au lieu de cela, vous pouvez construire une fondation unifiée qui apprend les deux dès la base.

Pensez-y comme à un traducteur universel qui n'a pas simplement appris une deuxième langue en traduisant mot pour mot, mais en grandissant en parlant les deux langues en même temps. Il comprend le sentiment et le contexte des deux, ce qui le rend beaucoup plus précis que quelqu'un qui n'a appris les règles de grammaire d'une deuxième langue plus tard dans la vie.

Note : L'article se concentre strictement sur la capacité du modèle à comprendre, classifier et prévoir des données. Il ne prétend pas que le modèle est actuellement utilisé dans des hôpitaux, des salles de négociation financières ou des stations météorologiques, ni ne prédit d'applications cliniques futures. C'est une étape de recherche fondamentale prouvant que cette manière spécifique de construire l'IA fonctionne mieux que l'ancienne méthode.

Résumé Technique : Chronicle

Énoncé du Problème

Les données de séries temporelles réelles sont intrinsèquement multimodales, accompagnées de métadonnées textuelles, de descriptions, d'actualités et de rapports. Cependant, les modèles de base existants pour les séries temporelles (TSFM) traitent les séquences numériques de manière isolée, sans mécanismes pour intégrer ce contexte textuel. À l'inverse, les modèles multimodaux tentant de faire le pont entre le langage et les séries temporelles souffrent de trois limitations systématiques :

Adaptation Post-hoc : Ils partent tous d'un modèle de langage préentraîné (LLM) qu'ils adaptent aux séries temporelles. Par conséquent, leurs représentations internes sont façonnées uniquement par le texte, forçant la modalité des séries temporelles à s'adapter à un espace de représentation non conçu pour les données temporelles.
Lacunes dans l'Évaluation : Ces modèles sont rarement évalués par rapport aux modèles de base unimodaux les plus performants dans l'un ou l'autre domaine (TSFM dédiés ou LLM dédiés), laissant la nécessité d'un préentraînement conjoint non prouvée.
Gonflement Architectural : Beaucoup visent un raisonnement conversationnel et nécessitent des architectures massives (8 à 14 milliards de paramètres), confondant l'objectif d'apprentissage de représentations temporelles à usage général avec la construction d'agents de raisonnement.

La question centrale abordée est de savoir si un modèle compact peut apprendre des représentations de haute qualité pour le texte et les séries temporelles à partir de zéro sans interférence catastrophique, et si un préentraînement conjoint est nécessaire par rapport à l'adaptation de LLM préentraînés.

Méthodologie

Les auteurs présentent Chronicle, un transformeur décodeur-only de 324 millions de paramètres entraîné à partir de zéro sur le langage naturel et les séries temporelles au sein d'une architecture unifiée unique.

Architecture

Backbone Partagé : Les deux modalités partagent les mêmes blocs de transformeur de 16 couches, le mécanisme d'attention et le flux résiduel. Les composants spécifiques à la modalité sont limités aux interfaces d'entrée et de sortie.
Représentation d'Entrée :
- Texte : Tokenisé via un vocabulaire BPE de 131k entrées avec des embeddings liés à la tête de sortie.
- Séries Temporelles : Suivant PatchTST-FM et Chronos-2, les séries sont standardisées (en utilisant uniquement les valeurs visibles) et transformées via une racine carrée hyperbolique inverse pour supprimer les valeurs aberrantes. Elles sont segmentées en patches non chevauchants ( $P=32$ ). Chaque patch est représenté par un vecteur de caractéristiques de dimension 4P concaténant une rampe temporelle, des valeurs normalisées, un masque de validité et une rampe de canal (pour les entrées multivariées). Ceux-ci sont projetés vers la dimension d'embedding partagée ( $d=1024$ ).
Têtes de Sortie :
- Texte : Une tête de modèle de langage liée avec un plafonnement doux des logits, optimisée via l'entropie croisée ( $L_{CE}$ ).
- Séries Temporelles : Une tête de quantile prédisant 21 niveaux de quantile ( $\tau \in [0.05, 0.95]$ ), optimisée via une perte de quantile masquée ( $L_{QL}$ ).
Objectif d'Entraînement : La perte totale est une somme pondérée $L = w_{text}L_{CE} + w_{TS}L_{QL}$ , avec des poids $w_{text}=1.0$ et $w_{TS}=2.5$ pour équilibrer les contributions des gradients compte tenu de la différence d'échelle entre les pertes.

Stratégie d'Entraînement

Chronicle emploie un processus de préentraînement en deux étapes :

Étape 1 (Préentraînement Unimodal) : Le modèle est entraîné sur un mélange 92/8 de lots uniquement texte et uniquement séries temporelles. Cela garantit que le backbone apprend des représentations robustes pour chaque modalité indépendamment. Les données textuelles proviennent de FineWeb-Edu et Dolmino-mix ; les données de séries temporelles proviennent de GiftEvalPretrain augmenté avec KernelSynth.
Étape 2 (Alignement Intermodal) : La longueur de contexte est étendue à 4096. Une petite fraction (5%) des tokens de séries temporelles est remplacée par des séquences entrelacées de texte et de séries temporelles (provenant de ChatTS et de Merrill et al.) pour établir des correspondances intermodales explicites. La majeure partie de l'entraînement reste unimodale pour préserver les capacités spécifiques à chaque modalité.

Contributions Clés

Préentraînement Conjoint à partir de Zéro : Chronicle est le premier modèle à apprendre le texte et les séries temporelles de bout en bout à partir d'une initialisation aléatoire au sein d'un seul backbone de transformeur partagé, plutôt que d'adapter un LLM préentraîné.
Évaluation Rigoureuse Interdomaine : Le modèle est mis en comparaison avec des modèles de base dédiés dans les deux domaines (LLM appariés en taille pour la compréhension du langage naturel et TSFM dédiés pour la prévision/classification), comblant une lacune de longue date dans la littérature sur les séries temporelles multimodales.
Performances Solides avec Backbone Gelé : Chronicle obtient des résultats à la pointe de l'état de l'art sur les tâches multimodales sans réentraînement par jeu de données du backbone, démontrant qu'un modèle compact peut servir de moteur de représentation à usage général.

Résultats

Compréhension du Langage (NLU)

Évalué sur 19 tâches NLU (suite DCLM), Chronicle (Étape 2) atteint une précision moyenne de 0,406, égalant Gemma-3-270M-PT (0,406) et surpassant GPT-2 (0,324). Notamment, il y parvient malgré l'exposition à seulement environ 138 milliards de tokens de texte, soit environ 43 à 87 fois moins que ses concurrents textuels uniquement appariés en taille. Cela valide que consacrer environ 8% de la puissance de calcul aux séries temporelles ne provoque pas d'interférence catastrophique.

Prévision Probabilistique Zero-Shot (GIFT-Eval)

Sur le benchmark GIFT-Eval (97 tâches), l'Étape 1 (entraînement unimodal pur) atteint un MASE de 0,978 et un CRPS de 0,690, surpassant plusieurs baselines supervisées (par exemple, N-BEATS, DLinear) et méthodes statistiques, bien qu'elle reste derrière des TSFM dédiés comme PatchTST-FM-r1. L'Étape 2 montre une légère baisse de performance (MASE 1,053) due à l'étape d'alignement, mettant en évidence un compromis entre la performance pure de prévision et la capacité de transfert multimodal.

Tâches Multimodales en Aval

Classification Multimodale (TimeCAP) : Chronicle surpasse toutes les baselines MM-TSFlib et FM Fusion. L'Étape 2 avec LoRA ( $r=64$ ) atteint le meilleur macro-F1 (0,613) et AUC (0,757).
Prévision Multimodale (Time-MMD) : Chronicle Étape 2 (Sonde Linéaire) atteint le meilleur NMAE global (0,514) et le meilleur rang moyen (2,56), surpassant les baselines les plus fortes (par exemple, BERT+TNet à 0,621).
Classification de Séries Temporelles (UCR/UEA) : Sur 24 jeux de données, Chronicle Étape 1 établit une nouvelle référence pour la classification avec embeddings gelés avec une précision de 0,736 et un F1 de 0,712, surpassant des TSFM dédiés comme Moirai-2 (0,714) et TimesFM (0,611).

Nuances Techniques

Répétition de Tokens : Pour les tâches de séries temporelles courtes (TimeCAP), répéter le bloc de tokens de séries temporelles ( $r=64$ ) améliore considérablement les performances en rééquilibrant le ratio tokens-texte/TS dans la séquence partagée.
Conscience des Canaux : L'encodage explicite de l'identité du canal dans les entrées multivariées améliore les performances de classification en moyenne par rapport au pooling moyen des canaux.

Signification et Revendications

L'article affirme que Chronicle démontre que le texte et les séries temporelles peuvent partager un backbone de transformeur sans interférence catastrophique, remettant en cause l'hypothèse prévalente selon laquelle les modèles de séries temporelles multimodaux doivent adapter un LLM préentraîné.

Les auteurs soutiennent que le préentraînement conjoint à partir de zéro est une voie plus directe vers des représentations temporelles à usage général. Bien qu'un écart subsiste entre Chronicle et les TSFM dédiés en matière de prévision pure (attribué à l'allocation de calcul et à l'objectif causal de prochain patch), le modèle unifie avec succès la compréhension du langage et la représentation temporelle dans une architecture compacte de 324 millions de paramètres. Les résultats suggèrent que les avantages de la multimodalité ne sont pas simplement une fonction de l'ajout de texte à un LLM gelé, mais peuvent émerger d'un paradigme d'entraînement unifié où les deux modalités façonnent les représentations dès le début.