Thoth: Mid-Training Bridges LLMs to Time Series Understanding

Die Arbeit stellt Thoth vor, eine Familie von LLMs, die durch ein neuartiges Mid-Training mit dem Korpus Book-of-Thoth und dem Benchmark KnoTS erstmals über umfassende Fähigkeiten zur allgemeinen Zeitreihenverständnis und zum zeitbasierten Schlussfolgern verfügen.

Das Wesentliche

Thoth: Wie wir KI beibringen, die „Zeit" zu verstehen

Stell dir vor, du hast einen extrem intelligenten Bibliothekar (eine große Sprach-KI wie ChatGPT), der alles über Bücher, Filme und Gespräche weiß. Er kann dir komplexe Geschichten erzählen und Rätsel lösen. Aber wenn du ihm einen Zettel mit einer Kurve zeigst – sagen wir, den Aktienkurs der letzten Woche oder den Herzschlag eines Patienten – und fragst: „Was passiert hier?", starrt er nur verwirrt zurück.

Warum? Weil dieser Bibliothekar nur Sprache gelernt hat, nicht aber Zeitreihen. Zeitreihen sind Daten, die sich über die Zeit entwickeln (wie Wetter, Börsenkurse oder Herzfrequenz). Für die KI sind das nur Zahlenreihen ohne Kontext.

Das Paper „Thoth" stellt eine Lösung vor, die wie ein genialer Brückenbau funktioniert. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der Bibliothekar kennt keine Uhren

Der Bibliothekar (die KI) ist super in Texten, aber schlecht im Verstehen von Mustern in Zahlen über die Zeit. Er weiß nicht, was ein „Trend" ist, wenn er ihn nicht als Wort liest, sondern als Linie auf einem Graphen sieht. Bisherige Versuche, ihm das beizubringen, waren wie: „Hier ist ein Beispiel für einen Aktienkurs, hier ist die Antwort. Jetzt lerne es auswendig." Das funktioniert nur für genau diese eine Aufgabe, aber nicht für neue, unbekannte Situationen.

2. Die Lösung: Die „Buch-der-Thoth"-Bibliothek

Die Forscher haben eine neue Art von Training eingeführt, das sie „Mid-Training" (Mittel-Training) nennen. Stell dir das Training einer KI wie das Leben eines Menschen vor:

• Pre-Training (Vorschule): Das Kind lernt die Welt kennen (alle Bücher der Welt lesen).
• Mid-Training (Schule/Universität): Das Kind lernt ein spezifisches Fach, behält aber sein Allgemeinwissen.
• Post-Training (Beruf): Das Kind macht einen Job (z. B. Arzt oder Anwalt).

Bisher sprangen KIs von der „Vorschule" direkt in den „Beruf" für Zeitreihen. Das Paper schlägt vor, eine Schule für Zeit und Zahlen dazwischenzuschalten.

Um das zu tun, haben sie Book-of-Thoth (das Buch des Thoth) gebaut.

• Wer ist Thoth? In der ägyptischen Mythologie ist Thoth der Gott der Weisheit, der Schrift und der Zeit. Er hat den Kalender erfunden. Ein perfekter Name!
• Was ist das Buch? Es ist eine riesige Sammlung von Daten, die Zeitreihen mit Sprache verbindet.
  • Teil 1 (Zeichen zu Text): Die KI sieht eine Kurve und lernt, sie zu beschreiben: „Hier steigt die Temperatur langsam an, dann gibt es einen plötzlichen Sprung."
  • Teil 2 (Text zu Zeichen): Die KI liest: „Eine Kurve, die erst steigt und dann fällt" und lernt, wie so eine Kurve aussieht.

Das ist wie ein Übersetzer, der nicht nur Wörter, sondern auch Musiknoten lernt. Die KI versteht plötzlich, dass eine „steile Kurve" im Text das Gleiche bedeutet wie ein „schneller Anstieg" in den Zahlen.

3. Der neue Test: KnoTS (Das Wissen-Quiz)

Um zu prüfen, ob die KI wirklich klug geworden ist, haben die Forscher einen neuen Test namens KnoTS erfunden.

• Der alte Test: War wie ein Mathe-Test mit Standardaufgaben. „Hier ist eine Kurve, was ist der Durchschnitt?"
• Der neue Test (KnoTS): Ist wie ein Detektiv-Fall.
  • Beispiel: „Hier ist ein Graph des CO2-Gehalts im Boden. Wir wissen aus der Biologie, dass Regen die Luft im Boden blockiert. Was ist passiert?"
  • Die KI muss nicht nur die Zahlen lesen, sondern ihr Weltwissen (Regen blockiert Luft) mit den Zahlen verbinden, um die Geschichte zu verstehen.

4. Das Ergebnis: Der Super-Bibliothekar

Das Ergebnis ist beeindruckend:

• Die KI, die dieses „Mid-Training" absolviert hat (genannt Thoth), versteht Zeitreihen viel besser als ihre Vorgänger.
• Sie braucht viel weniger Beispiele, um neue Aufgaben zu lernen (wie ein Schüler, der das Prinzip verstanden hat, statt nur Formeln auswendig zu lernen).
• Sie kann sogar mit riesigen, teuren Modellen mithalten, obwohl sie selbst kleiner ist.

Zusammenfassung mit einer Metapher

Stell dir vor, du willst jemanden lehren, Kochen zu verstehen.

• Die alte Methode: Du gibst ihm ein Rezept für Pizza und sagst: „Mach das nach." Wenn er dann Pasta machen soll, weiß er nicht weiter.
• Die Thoth-Methode: Du gibst ihm zuerst ein Buch über Lebensmittel, Hitze und Chemie (das Book-of-Thoth). Du zeigst ihm Bilder von Zutaten und beschreibst, wie sie sich verändern.
• Das Ergebnis: Wenn du ihm dann sagst: „Mach eine Pizza" oder „Mach eine Suppe", versteht er die Prinzipien des Kochens. Er kann improvisieren, Fehler erkennen und neue Gerichte erfinden.

Thoth ist also der Gott der Weisheit, der der KI beigebracht hat, nicht nur Worte zu lesen, sondern die Geschichte der Zeit in den Zahlen zu verstehen.

Technische Zusammenfassung

Titel: Thoth: Mid-Training überbrückt LLMs zum Verständnis von Zeitreihen

1. Problemstellung

Große Sprachmodelle (LLMs) haben zwar beeindruckende Fähigkeiten im allgemeinen logischen Schlussfolgern und der Textverarbeitung gezeigt, scheitern jedoch oft beim Verständnis und der Analyse von Zeitreihendaten. Zeitreihen sind in vielen kritischen Anwendungsbereichen wie Finanzen, Gesundheitswesen und Verkehrswesen allgegenwärtig.
Das Hauptproblem besteht darin, dass LLMs primär auf Sprachmodellierung trainiert sind und nicht explizit darauf ausgelegt sind, feinkörnige zeitliche Abhängigkeiten und komplexe Dynamiken in Zeitreihen zu erfassen.
Bisherige Ansätze basierten meist auf Supervised Fine-Tuning (SFT) mit aufgabenspezifischen, gelabelten Datensätzen. Diese Methoden haben jedoch erhebliche Nachteile:

• Sie erfordern große Mengen an gelabelten Daten.
• Sie zeigen eine begrenzte Generalisierungsfähigkeit über verschiedene zeitliche Muster, Aufgaben und Domänen hinweg.
• Sie führen oft zu einem „Catastrophic Forgetting", bei dem das Modell allgemeine Fähigkeiten verliert, wenn es auf spezifische Aufgaben spezialisiert wird.

2. Methodik

Die Autoren schlagen Thoth vor, die erste Familie von LLMs, die durch einen Mid-Training-Ansatz (mittleres Training) für das allgemeine Verständnis von Zeitreihen befähigt wird. Mid-Training fungiert als Brücke zwischen dem großen-scale Pre-Training und dem aufgabenspezifischen Post-Training.

A. Book-of-Thoth (Der Mid-Training-Korpus)
Um eine aufgaben- und domänenagnostische Ausrichtung zwischen Zeitreihen und natürlicher Sprache zu erreichen, wurde ein neuer, hochwertiger Korpus namens Book-of-Thoth konstruiert. Dieser besteht aus zwei komplementären Komponenten:

1. Time-Series-to-Text (TS-to-Text): Zeitreihen werden synthetisch generiert (mittels KernelSynth) und mit natürlichen Sprachbeschreibungen versehen. Diese Beschreibungen werden durch GPT-5.2 in zwei Formen erstellt:
   • Strukturiert: Detaillierte technische Analysen (Trend, Saisonalität, Volatilität, Ausreißer).
   • Unstrukturiert: Kompakte Zusammenfassungen oder Captions, die die wichtigsten Merkmale hervorheben.
2. Text-to-Time-Series (Text-to-TS): Die umgekehrte Aufgabe, bei der textuelle Beschreibungen in die entsprechenden Zeitreihen übersetzt werden. Dies stellt eine bidirektionale Lernschleife sicher.
3. Wissensintegration: Der Korpus enthält zudem reines Zeitreihenwissen aus Fachliteratur (z. B. Forecasting: Principles and Practice), um theoretisches Fundament zu bieten.
4. Vermeidung von Vergessen: Um das „Catastrophic Forgetting" zu verhindern, wird ein kleiner Anteil an allgemeinen Pre-Trainings-Daten (C4, No Robots) in den Mid-Training-Prozess gemischt.

B. Thoth (Das Modell)
Thoth basiert auf der Qwen3-Architektur (Varianten: 8B und 30B-A3B Parameter). Das Modell wird durch Full-Parameter-Fine-Tuning auf dem Book-of-Thoth-Korpus trainiert, wobei die Backbone-Architektur unverändert bleibt. Das Ziel ist es, transferierbare zeitliche Repräsentationen zu erlernen, ohne die allgemeinen Schlussfolgerungsfähigkeiten des Basis-LLMs zu verlieren.

C. KnoTS (Benchmark)
Zur Evaluierung wurde KnoTS (Knowledge-intensive Time Series QA) eingeführt. Im Gegensatz zu bestehenden Benchmarks, die oft auf synthetischen Templates basieren, erfordert KnoTS das gemeinsame Schlussfolgern über zeitliche Muster und domänenspezifisches Hintergrundwissen (z. B. in Finanzen, Ökologie oder Medizin). Es testet sowohl reasoning- als auch decision-making-Fähigkeiten.

3. Wichtige Beiträge

• Paradigmenwechsel: Einführung von Mid-Training als kritische Phase, um LLMs Zeitreihenverständnis zu verleihen, anstatt sich nur auf SFT zu verlassen.
• Book-of-Thoth: Erstellung eines großen, skalierbaren Korpus mit bidirektionalen Aufgaben (Text ↔ Zeitreihe), der als erste ihrer Art für diesen Zweck dient.
• Thoth-Modellfamilie: Präsentation der ersten Mid-Trainierten LLMs mit allgemeinem Zeitreihenverständnis, die starke Generalisierung über verschiedene Aufgaben hinweg zeigen.
• KnoTS-Benchmark: Ein neuer, wissensintensiver Benchmark, der die Grenzen bestehender Datensätze überwindet und tiefere reasoning-Fähigkeiten erfordert.

4. Ergebnisse

Die Experimente zeigen, dass Thoth signifikante Verbesserungen gegenüber dem Basis-Modell und anderen State-of-the-Art-Modellen erzielt:

• Benchmark-Leistung: Thoth-30B-A3B erreicht auf dem ChatTime- und Time-MQA-Benchmark Leistungen, die mit dem 235B-Parameter-Qwen3-Modell vergleichbar sind, und übertrifft diese in einigen Fällen. Thoth-8B schneidet besser ab als viele Open-Source-LLMs mit ca. 30B Parametern.
• Few-Shot & Generalisierung: Thoth zeigt starke Few-Shot-Fähigkeiten und generalisiert besser über diverse zeitliche Muster hinweg als Modelle, die nur auf SFT basieren.
• Downstream Fine-Tuning: Wenn Thoth mit nur 5% der Trainingsdaten für spezifische Aufgaben nachtrainiert wird, übertrifft es das Basis-Modell (Qwen3-8B) deutlich und zeigt stabilere Verbesserungen ohne den Verlust anderer Fähigkeiten.
• Skalierbarkeit: Eine Daten-Skalierungsstudie zeigt, dass die Leistung von Thoth mit zunehmender Größe des Mid-Training-Datensatzes stetig steigt.
• Ablationsstudie: Beide Komponenten (TS-to-Text und Text-to-TS) sind wichtig, wobei TS-to-Text den größten direkten Einfluss auf das Verständnis hat, Text-to-TS jedoch für die generative Fähigkeit essenziell ist.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass Mid-Training ein effektiver Weg ist, um LLMs für die komplexe Welt der Zeitreihen zu öffnen, ohne ihre allgemeinen Fähigkeiten zu beeinträchtigen.

• Praktische Relevanz: Thoth ermöglicht zuverlässigere Entscheidungsfindung in Echtzeit-Szenarien (z. B. Finanzprognosen, medizinische Überwachung), die auf temporalen Daten basieren.
• Zukunft: Die Autoren sehen Potenzial in der weiteren Optimierung von Post-Training-Methoden (z. B. Reinforcement Learning) und der Verbesserung der Text-zu-Zeitreihen-Aufgabe für noch größere Modelle.

Zusammenfassend stellt Thoth einen kritischen Schritt dar, um die Lücke zwischen allgemeinen Sprachmodellen und spezialisierten Zeitreihenanalysesystemen zu schließen, indem es eine robuste, datengetriebene Brücke (Mid-Training) etabliert.