Thoth: Mid-Training Bridges LLMs to Time Series Understanding

Ce papier présente Thoth, une nouvelle famille de grands modèles de langage pré-entraînés de manière intermédiaire grâce au corpus Book-of-Thoth, qui leur confère une compréhension fondamentale des séries temporelles et améliore significativement leurs performances en raisonnement temporel et en réponse à des questions, comme le démontrent les résultats sur le nouveau benchmark KnoTS.

L'essentiel

🌙 Thoth : Le Grand Traducteur entre les Chiffres et les Mots

Imaginez que les Grands Modèles de Langage (LLM) comme ChatGPT sont des génies littéraires. Ils peuvent écrire des poèmes, résoudre des énigmes complexes et converser sur n'importe quel sujet. Cependant, ils ont un gros problème : ils sont aveugles aux données temporelles.

Si vous leur montrez un graphique de la température sur 10 ans ou les actions d'une entreprise, ils sont souvent perdus. Ils ne comprennent pas le "rythme", les "cycles" ou les "tendances" cachés dans ces chiffres. C'est comme donner un roman à quelqu'un qui ne connaît que les mathématiques : il voit les mots, mais ne comprend pas l'histoire.

C'est là qu'intervient Thoth, le nouveau projet de chercheurs de Tsinghua.

1. Le Problème : Le Décalage Culturel

Les modèles actuels sont entraînés sur des livres et des articles (du texte). Mais le monde réel fonctionne souvent avec des séries temporelles (des données qui changent dans le temps : la bourse, la météo, le rythme cardiaque).

• L'approche actuelle : On essaie d'apprendre à ces modèles à lire des graphiques en leur donnant des exercices précis (comme un élève qui apprend par cœur des réponses types). Ça marche un peu, mais c'est fragile. Si on change le contexte, ils oublient tout.
• La solution Thoth : Au lieu de juste apprendre des réponses, on va leur donner une éducation intermédiaire.

2. La Solution : L'École de "Mid-Training" (L'Entraînement Intermédiaire)

Imaginez l'apprentissage d'un modèle en trois étapes :

1. Pré-entraînement : L'enfant grandit, lit des encyclopédies et apprend à parler (le modèle de base).
2. Post-entraînement : L'enfant suit un stage très spécifique pour devenir comptable ou médecin (l'ajustement final pour une tâche précise).
3. Mid-Training (Le pont) : C'est l'étape que Thoth introduit. C'est comme envoyer l'enfant dans une école spécialisée avant qu'il ne choisisse sa carrière.

Dans cette école intermédiaire, le modèle n'apprend pas encore à faire des prévisions précises. Il apprend à comprendre la langue des chiffres. Il apprend à dire : "Ah, cette courbe qui monte doucement puis chute brutalement, c'est comme une vague qui se brise" ou "Ce rythme régulier, c'est comme un battement de cœur".

3. Le Secret : Le "Livre de Thoth" (Book-of-Thoth)

Pour cette école, les chercheurs ont créé un manuel spécial appelé Book-of-Thoth. C'est une bibliothèque géante qui fait le lien entre les chiffres et les mots.

• Comment ça marche ? Ils ont utilisé une IA pour créer des millions de paires "Donnée ↔ Description".
  • Exemple : Ils génèrent un graphique de température, et l'IA écrit : "Ce graphique montre une chaleur qui augmente lentement le matin, culmine à midi, puis redescend."
  • L'inverse : Ils donnent la phrase "Une vague qui monte et descend deux fois", et l'IA dessine le graphique correspondant.
• Le résultat : Le modèle Thoth ne voit plus les chiffres comme des nombres froids, mais comme des histoires. Il comprend la "saison", la "tendance" et l'"anomalie" comme s'il lisait un roman.

4. Le Test : KnoTS (Le QCM de la Sagesse)

Pour vérifier si Thoth est vraiment devenu un expert, les chercheurs ont créé un examen difficile appelé KnoTS.

• Ce n'est pas juste un test de calcul. C'est un test de bon sens.
• Exemple : On montre un graphique de la pollution de l'air et on demande : "Pourquoi la pollution a-t-elle baissé soudainement ?"
• Un modèle normal dira : "Elle a baissé."
• Thoth, grâce à son entraînement, dira : "Elle a baissé parce qu'il a plu (l'eau a lavé l'air) et que le vent a changé de direction, comme le prévoit la physique."
  Il combine les chiffres avec la connaissance du monde réel.

5. Les Résultats : Pourquoi c'est impressionnant ?

Les expériences montrent que Thoth est bien meilleur que ses prédécesseurs :

• Il comprend mieux : Il devine les tendances et les anomalies avec une précision bien supérieure.
• Il apprend vite : Même avec très peu d'exemples supplémentaires (quelques pages de manuel au lieu de toute une bibliothèque), il s'adapte parfaitement à de nouvelles tâches.
• Il ne perd pas la tête : Contrairement aux modèles qui apprennent par cœur et oublient tout le reste, Thoth garde ses capacités générales (il sait toujours écrire et raisonner) tout en maîtrisant les chiffres.

🏁 En Résumé

Thoth est comme un traducteur universel. Il prend le langage silencieux et complexe des données temporelles (les graphiques, les courbes) et le traduit dans la langue riche et nuancée des humains.

Grâce à cette "école intermédiaire" et à son "Livre de Thoth", les intelligences artificielles peuvent enfin comprendre que le monde ne s'écrit pas seulement en mots, mais aussi en courbes, en rythmes et en temps. C'est une étape cruciale pour que l'IA puisse nous aider à prendre de meilleures décisions dans des domaines vitaux comme la santé, la finance ou le climat.

Résumé technique

Titre : Thoth : L'entraînement intermédiaire (Mid-Training) comble le fossé entre les LLM et la compréhension des séries temporelles

1. Problématique

Bien que les Grands Modèles de Langage (LLM) aient démontré des capacités exceptionnelles en raisonnement général, ils éprouvent des difficultés majeures à comprendre et à raisonner sur les données de séries temporelles. Cette limitation est critique car les données temporelles sous-tendent de nombreuses applications réelles (finance, santé, transport).
Les approches actuelles reposent principalement sur un fine-tuning supervisé (SFT) spécifique à une tâche. Cependant, ces méthodes présentent plusieurs défauts :

• Elles nécessitent de grandes quantités de données étiquetées spécifiques.
• Elles souffrent d'une faible généralisation face à des motifs temporels, des tâches ou des domaines variés.
• Elles risquent d'entraîner un "oubli catastrophique" des capacités générales du modèle lors de l'adaptation à des tâches étroites.

Il existe un besoin urgent d'une phase intermédiaire permettant d'aligner les LLM sur les séries temporelles de manière agnostique (indépendante de la tâche et du domaine) avant le fine-tuning final.

2. Méthodologie

Les auteurs proposent Thoth, la première famille de LLMs entraînés via une phase d'entraînement intermédiaire (Mid-Training) dédiée à la compréhension des séries temporelles.

A. Le Corpus : Book-of-Thoth
Pour alimenter cette phase d'entraînement, les auteurs ont construit Book-of-Thoth, un corpus massif et centré sur les séries temporelles. Ce corpus est conçu pour aligner les données temporelles avec le langage naturel de manière bidirectionnelle. Il se compose de :

1. Série temporelle vers texte (TS-to-Text) : Génération de descriptions textuelles (structurées et non structurées) à partir de séries temporelles synthétiques riches en motifs (tendance, saisonnalité, bruit, pics). Ces données sont générées via KernelSynth et annotées par des modèles de langage avancés (GPT-5.2).
2. Texte vers série temporelle (Text-to-TS) : Reconstruction de séries temporelles à partir de descriptions textuelles structurées, renforçant la capacité du modèle à visualiser les motifs temporels à partir du langage.
3. Connaissances textuelles sur les séries temporelles : Intégration de manuels académiques et de principes de prévision pour ancrer le modèle dans la théorie.
4. Préservation des capacités générales : Pour éviter l'oubli des compétences linguistiques générales, un mélange de données pré-entraînement généralistes (C4, No Robots) est inclus dans le corpus.

B. L'Architecture : Thoth
Thoth est basé sur l'architecture Qwen3. Les auteurs ont effectué un entraînement complet (full-parameter fine-tuning) sur deux variantes (8B et 30B-A3B) en utilisant le corpus Book-of-Thoth. L'objectif n'est pas de spécialiser le modèle sur une tâche unique, mais de lui donner une "compréhension fondamentale" des dynamiques temporelles.

C. Le Benchmark : KnoTS
Pour évaluer les capacités de raisonnement avancé, les auteurs introduisent KnoTS (Knowledge-intensive Time Series QA). Contrairement aux benchmarks existants qui se concentrent sur des tâches simples (prévision, détection d'anomalies), KnoTS exige un raisonnement conjoint entre les motifs temporels et des connaissances de domaine spécifiques (ex: finance, écologie, santé). Il contient 300 paires question-réponse complexes nécessitant une inférence causale.

3. Contributions Clés

• Paradigme Mid-Training : Proposition de l'entraînement intermédiaire comme étape critique pour doter les LLMs de compétences en séries temporelles, comblant le fossé entre le pré-entraînement général et le fine-tuning spécifique.
• Book-of-Thoth : Construction d'un corpus à grande échelle (26,6 millions de tokens) facilitant l'alignement bidirectionnel texte-série temporelle.
• Thoth : Création d'une famille de modèles capables de généraliser sur une large gamme de tâches de question-réponse sur les séries temporelles.
• KnoTS : Introduction d'un nouveau benchmark évaluant le raisonnement complexe et la prise de décision basée sur des preuves temporelles et des connaissances de domaine.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (ChatTime, Time-MQA) et le nouveau KnoTS.

• Performance sur les Benchmarks Standards : Thoth surpasse significativement son modèle de base (Qwen3) et rivalise avec, voire dépasse, des modèles propriétaires massifs (comme GPT-4o-mini ou Grok-4.1) et d'autres LLMs open-source de taille similaire.
  • Sur ChatTime, Thoth-8B atteint des scores comparables à des modèles de 30B de paramètres.
  • Sur Time-MQA, Thoth démontre une robustesse supérieure dans des tâches variées (prévision, imputation, classification).
• Performance sur KnoTS : Thoth-30B-A3B obtient les meilleurs scores de raisonnement et de prise de décision, surpassant les modèles VLM (Vision-Language Models) et les LLMs spécialisés existants. Cela prouve que le mid-training permet une meilleure intégration des connaissances de domaine.
• Efficacité du Fine-tuning (Few-Shot) : Lorsqu'entraînés sur seulement 5% des données de tâches spécifiques, les modèles Thoth surpassent largement les modèles de base fine-tunés avec les mêmes données. Cela démontre que le mid-training agit comme un "échauffement" (warm-up) efficace, permettant une adaptation rapide avec peu de données.
• Analyse d'ablation : La composante "Série vers Texte" (TS-to-Text) s'avère la plus critique pour l'amélioration des performances, bien que la composante "Texte vers Série" apporte également des gains significatifs.

5. Signification et Impact

Ce travail marque un tournant dans l'intégration des LLMs avec les données temporelles.

• Changement de paradigme : Il démontre que le simple fine-tuning sur des tâches spécifiques est insuffisant pour une compréhension profonde. L'entraînement intermédiaire est nécessaire pour construire une représentation fondamentale des dynamiques temporelles.
• Généralisation : Thoth prouve qu'un modèle peut acquérir une compréhension transférable des séries temporelles sans être sur-spécialisé, ce qui est crucial pour des applications réelles où les données sont rares ou les domaines variés.
• Fondation pour l'avenir : La méthodologie proposée (Mid-Training + Corpus agnostique) offre une voie prometteuse pour étendre les capacités des LLMs à d'autres types de données structurées complexes au-delà du texte.

En résumé, Thoth établit un nouvel état de l'art en démontrant que l'ajout d'une phase d'entraînement intermédiaire sur un corpus riche et diversifié permet aux LLMs de maîtriser la complexité des séries temporelles, ouvrant la voie à des systèmes d'aide à la décision plus fiables et intelligents.