Thoth: Mid-Training Bridges LLMs to Time Series Understanding

Dit paper introduceert Thoth, een familie van LLM's die via een middentraining met het 'Book-of-Thoth'-corpus en de 'KnoTS'-benchmark aanzienlijk betere prestaties laat zien in het begrijpen en redeneren over tijdreeksdata.

De kern

De Grote Droom: Een Slimme Assistent die Alles Snapt

Stel je voor dat je een superintelligente robot hebt (een LLM, of "Groot Taalmodel"). Deze robot heeft miljoenen boeken gelezen, kent alle feiten over geschiedenis, kan gedichten schrijven en is een meester in wiskunde. Hij is als een universiteit in een doos.

Maar er is één groot probleem: deze robot is niet goed in het lezen van tijdsreeksen.
Wat is een tijdsreeks? Denk aan een grafiek van de beurskoersen, de hartslag van een patiënt op een monitor, of het weerverloop van de afgelopen week. Het zijn rijen getallen die veranderen in de tijd. Voor de robot is dit als een vreemde taal die hij niet spreekt. Hij ziet alleen getallen, maar begrijpt niet het verhaal erachter: "Ah, de koers daalt omdat het weekend is," of "De hartslag gaat omhoog omdat de patiënt begint te rennen."

Het Probleem: De "Directe" Methode werkt niet goed

Tot nu toe probeerden onderzoekers dit op te lossen door de robot direct te trainen op specifieke taken, zoals "voorspel de beurs" of "herken een ziekte".

• De analogie: Dit is alsof je iemand direct op een racecircuit zet om Formule 1 te rijden, zonder dat ze ooit hebben geleerd hoe een auto werkt of hoe het asfalt voelt. Ze kunnen misschien één bocht nemen, maar als het weer verandert of het circuit anders is, crasht de auto. De robot wordt dan te specifiek en vergeet zijn algemene slimheid.

De Oplossing: Thoth en de "Tussenfase"

De auteurs van dit paper introduceren Thoth. Thoth is de Egyptische god van wijsheid en tijd (met de kop van een ibis). In dit paper is Thoth een nieuw type robot die een tussenstap heeft doorlopen.

Stel je voor dat je een student wilt maken van een expert in meteorologie.

1. Pre-training (De basis): De student leest eerst alle boeken in de bibliotheek (algemene kennis).
2. Post-training (De specialisatie): De student gaat direct werken bij een weerbureau.
3. Mid-training (De nieuwe stap van Thoth): De student gaat eerst een jaar lang op een "tijdsreis-school". Hier leert hij niet alleen over het weer, maar ook over hoe tijd werkt, hoe patronen zich herhalen, en hoe je een verhaal vertelt over een grafiek.

Deze tussenstap heet Mid-training. Het is de brug tussen "algemeen slim" en "specifiek slim".

De Schoolboeken: "Het Boek van Thoth"

Om deze robot te trainen, hebben de onderzoekers een nieuw soort schoolboek gemaakt: Book-of-Thoth.

• Hoe werkt het? Ze hebben een enorme hoeveelheid getallenreeksen gegenereerd (zoals kunstmatige hartslagen of beursgrafieken) en hebben een slimme AI (GPT-5.2) gevraagd om voor elk plaatje een verhaal te schrijven.
• De twee kanten:
  1. Getallen naar Woorden: De robot kijkt naar een grafiek en leert: "Oh, dit is een lijn die omhoog gaat, dan plat ligt, en dan weer zakt."
  2. Woorden naar Getallen: De robot leest een zin: "Een lijn die omhoog gaat en dan zakt" en leert om de juiste grafiek te tekenen.

Dit is als een tolk die niet alleen vertaalt, maar ook de cultuur van de taal begrijpt. De robot leert nu dat getallen een betekenis hebben en een verhaal vertellen.

De Proef: KnoTS (De Slimme Quiz)

Om te testen of de robot het echt snapt, hebben ze een nieuwe quiz gemaakt: KnoTS.

• Oude quizzen: Vragen als "Wat is het getal op punt X?" (Dit kan de robot vaak raden door patronen te zien).
• De KnoTS-quiz: Vragen als "De beurs daalt, maar de olieprijs stijgt. Wat betekent dit voor de economie, gezien wat we weten over energiewetten?"
• Het resultaat: De robot Thoth slaagt hier uitstekend in. Hij combineert de grafiek met zijn algemene kennis. Hij is niet alleen een rekenmachine, maar een denker.

Waarom is dit geweldig?

1. Minder data nodig: Omdat de robot al "tijd" heeft geleerd in de tussenfase, heeft hij veel minder voorbeelden nodig om een nieuwe taak te leren. Het is alsof hij al weet hoe een fiets werkt, dus het leren van een motorfiets gaat heel snel.
2. Beter in het algemeen: De robot vergeet niet hoe hij moet praten of redeneren. Hij blijft slim, maar wordt nu ook slim in grafieken.
3. Toekomst: Dit opent de deur voor robots die echt kunnen helpen in de zorg (hartslag analyseren), financiën (beursvoorspellingen) en klimaatonderzoek, zonder dat ze fouten maken door de context te missen.

Samenvattend in één zin:

Thoth is een slimme robot die eerst een speciale "tijd-school" heeft gevolgd (met het Book-of-Thoth), zodat hij nu niet alleen getallen kan lezen, maar ook het verhaal erachter begrijpt en slimme beslissingen kan nemen, net als een menselijke expert.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd in algemeen redeneren en tekstuele taken, maar ze worstelen nog steeds met het begrijpen en redeneren over tijdsreeksdata (time series data). Real-world data in sectoren zoals financiën, gezondheidszorg en vervoer wordt vaak als tijdsreeks vastgelegd, maar LLMs zijn fundamenteel gebouwd op taalkundige modellering en niet ontworpen om fijne tijdsafhankelijke afhankelijkheden of complexe dynamieken in numerieke data te vangen.

Bestaande oplossingen vertrouwen voornamelijk op Supervised Fine-Tuning (SFT) met taakspecifieke datasets. Deze aanpak heeft echter beperkingen:

• Ze vereisen grote hoeveelheden gelabelde data.
• Ze vertonen beperkte generalisatie over verschillende tijdspatronen, taken en domeinen.
• Ze leiden vaak tot "catastrophic forgetting" van algemene vaardigheden.

Er is een behoefte aan een tussenstap die LLMs voorbereidt op tijdsreeksdata zonder hun algemene redeneervermogen te verliezen.

Methodologie

De auteurs introduceren Thoth, een familie van LLMs die gebruikmaken van mid-training als cruciale tussenfase tussen grote-schaal pre-training en taakspecifieke post-training.

1. Book-of-Thoth: Het Mid-Training Corpus

Om de kloof tussen tijdsreeksdata en natuurlijke taal te overbruggen, hebben de auteurs Book-of-Thoth geconstrueerd, een groot corpus dat specifiek is ontworpen voor mid-training. Dit corpus bevat twee kerncomponenten:

• Time Series-to-Text: Synthetische tijdsreeksen (gegenereerd met KernelSynth) worden vertaald naar natuurlijke taalbeschrijvingen. Deze beschrijvingen worden gegenereerd door GPT-5.2 en omvatten zowel gestructureerde analyses (trend, seizoenspatroon, pieken) als ongestructureerde samenvattingen.
• Text-to-Time Series: Het omgekeerde proces, waarbij tekstuele beschrijvingen worden gekoppeld aan de corresponderende tijdsreeksen.
• Kennisintegratie: Het corpus bevat ook tekstuele kennis uit autoritatieve bronnen over tijdsreeksanalyse (bijv. Forecasting: Principles and Practice) om de theoretische basis te versterken.
• Behoud van Algemene Vaardigheden: Om te voorkomen dat het model zijn algemene taalvaardigheden verliest, wordt een klein percentage van het oorspronkelijke pre-training corpus (C4, No Robots) gemengd met de tijdsreeksdata.

2. Thoth Model Architectuur

Thoth is gebaseerd op de Qwen3-architectuur (specifiek de varianten Qwen3-30B-A3B-Instruct en Qwen3-8B).

• Het model ondergaat full-parameter fine-tuning op het Book-of-Thoth corpus.
• De training gebruikt een standaard recipe met AdamW optimizer, een cosine learning rate schedule en DeepSpeed ZeRO-3 voor efficiëntie.
• Het doel is om het model een fundamenteel begrip van temporale patronen te geven terwijl het algemene redeneervermogen behouden blijft.

3. KnoTS: Een Nieuwe Benchmark

Om geavanceerd redeneren te evalueren, stellen de auteurs KnoTS (Knowledge-intensive Time Series QA) voor.

• In tegenstelling tot bestaande benchmarks die vaak gebaseerd zijn op sjablonen of synthetische data zonder context, vereist KnoTS gezamenlijk redeneren over tijdsreeksvariaties én domeinspecifieke kennis.
• Het bevat scenario's uit domeinen zoals financiën, gezondheidszorg en milieu, waarbij het model de data moet interpreteren in de context van specifieke regels (bijv. de "barometrische pomp" in bodemgassen).

Belangrijkste Bijdragen

1. Mid-Training Paradigma: Het is het eerste werk dat mid-training succesvol toepast om LLMs te laten overgaan naar tijdsreeksbegrip, in plaats van alleen te vertrouwen op post-training fine-tuning.
2. Book-of-Thoth: Een automatisch gegenereerd, groot corpus dat bidirectionele mapping tussen tijdsreeksen en tekst faciliteert (TS-to-Text en Text-to-TS).
3. Thoth Model: Een familie van modellen die aanzienlijk beter presteert dan hun basismodellen en andere state-of-the-art LLMs op tijdsreeksvragen.
4. KnoTS Benchmark: Een nieuwe, kennisintensieve benchmark die de beperkingen van bestaande evaluaties (die vaak oppervlakkige patronen testen) adresseert.

Resultaten

Uitgebreide experimenten tonen aan dat Thoth superieure prestaties levert:

• Benchmark Prestaties: Thoth-30B-A3B presteert vergelijkbaar met of beter dan veel grotere modellen (zoals Qwen3-235B) en verslaat gespecialiseerde tijdsreeksmodellen (zoals ChatTS) en Vision Language Models op benchmarks zoals ChatTime en Time-MQA.
• Few-Shot en Fine-tuning: Thoth toont sterke few-shot capaciteiten. Cruciaal is dat wanneer Thoth wordt gefine-tuned op slechts 5% van de downstream data, het aanzienlijk beter presteert dan het basismodel dat op dezelfde data wordt gefine-tuned. Dit bewijst dat mid-training een effectieve "warm-up" biedt.
• KnoTS Resultaten: Op de KnoTS-benchmark, die complex redeneren vereist, behaalt Thoth-30B-A3B de hoogste scores, zelfs hoger dan gespecialiseerde VLM's en andere grote LLM's, wat aantoont dat het model domeinkennis en tijdsdata succesvol kan integreren.
• Schaalbaarheid: Er is een duidelijke positieve correlatie gevonden tussen de grootte van het trainingsdataset (data scaling) en de prestaties van het model.

Significantie

Deze paper markeert een belangrijke stap in de evolutie van LLMs voor wetenschappelijke en industriële toepassingen:

• Brug tussen Domeinen: Het toont aan dat mid-training een effectieve strategie is om LLMs te specialiseren in complexe dataformaten (zoals tijdsreeksen) zonder hun algemene intelligentie te offeren.
• Efficiëntie: Het verminderen van de afhankelijkheid van grote hoeveelheden gelabelde data voor downstream taken door een robuuste mid-training fase.
• Toekomstperspectief: Het stelt een nieuwe standaard voor voor het evalueren van tijdsreeksbegrip (via KnoTS) en opent de deur voor verdere onderzoeken naar versterkt leren (RL) en post-training optimalisatie voor tijdsgebaseerde besluitvorming.

Kortom, Thoth bewijst dat het systematisch integreren van tijdsreeksdata in de training van LLMs via mid-training leidt tot modellen die niet alleen data kunnen "lezen", maar ook echt kunnen "redeneren" over temporale dynamieken in real-world scenario's.