🤖 machine learning

Byte Pair Encoding for Efficient Time Series Forecasting

Dieses Paper führt ein neuartiges musterzentriertes Tokenisierungsschema ein, das von Byte Pair Encoding inspiriert ist und Zeitreihenproben adaptiv zu motivbasierten Token zusammenführt, um den Rechenaufwand signifikant zu reduzieren und die Prognosegenauigkeit zu verbessern, was zusätzlich durch eine leichtgewichtige bedingte Dekodierungsoptimierung verstärkt wird.

Ursprüngliche Autoren: Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, die Zukunft basierend auf einer langen, unordentlichen Zahlenreihe (wie Aktienkursen, Wetterdaten oder Energieverbrauch) vorherzusagen. Diese Linie wird als Zeitreihe bezeichnet.

Derzeit betrachten die meisten Computer diese Linie einen einzelnen Zahlenwert nach dem anderen. Das ist so, als würde man versuchen, einen Roman zu lesen, indem man sich jeden einzelnen Buchstaben einzeln ansieht, einen nach dem anderen. Wenn die Geschichte einen langen Satz wie „Der Himmel ist blau“ enthält, muss der Computer „D“, „e“, „r“, „ „ (Leerzeichen), „H“, „i“, „m“, „m“, „e“, „l“... einzeln verarbeiten. Das ist langsam, ineffizient und verschwendet viel Rechenleistung.

Dieses Paper stellt eine intelligentere Methode vor, um diese Zahlen zu lesen, inspiriert davon, wie wir Texte auf unseren Telefonen komprimieren. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Der „Buchstabe-für-Buchstaben“-Engpass

Bestehende Methoden behandeln jeden einzelnen Datenpunkt als ein separates „Token“ (eine Informationseinheit).

Die Analogie: Stellen Sie sich vor, Sie senden eine Nachricht, die „AAAAA“ (fünf A's) lautet. Die alte Methode sendet fünf separate Buchstaben: A, A, A, A, A.
Das Problem: Wenn Ihre Zeitreihe lange Abschnitte mit sich wiederholenden Mustern hat (wie eine flache Linie oder einen stetigen Rhythmus), ist der Computer damit beschäftigt, tausende winzige, repetitive Tokens zu verarbeiten. Es ist, als würde man einen schweren Rucksack voller einzelner Ziegelsteine tragen, anstatt einiger weniger, bereits vorgefertigter Wände.

2. Die Lösung: „Motif“-Komprimierung (Byte Pair Encoding)

Die Autoren schlagen eine neue Methode namens Motif-basierte Tokenisierung vor. Sie leihen sich eine Idee aus der Sprachverarbeitung namens „Byte Pair Encoding“.

Die Analogie: Anstatt „A, A, A, A, A“ zu senden, lernt der Computer, dass „AAAAA“ ein häufiges Muster ist. Er erstellt einen speziellen Abkürchungscode dafür, wie etwa einen einzelnen Aufkleber, auf dem steht: „5 A's“.
Wie es funktioniert:
1. Quantisierung: Zuerst verwandeln sie die glatten, kontinuierlichen Zahlen in einfache „Bins“ (wie das Sortieren von Farben in Eimer: Hellblau, Mittelblau, Dunkelblau).
2. Zusammenführung (Merging): Dann scannen sie die Sequenz. Wenn sie ein Muster sehen, das sich oft wiederholt (wie „Hellblau, Mittelblau, Hellblau“), kleben sie diese zu einem einzigen „Motif“-Token zusammen.
3. Das Ergebnis: Eine lange, komplexe Zeitreihe wird zu einer viel kürzeren Liste dieser „Motif-Aufkleber“ zusammengedrückt.

Der Vorteil: Der Computer muss nicht jeden einzelnen Ziegelstein lesen; er liest einfach die vorgefertigten Wände. Dies macht den Prozess laut dem Paper 2.300 % schneller und hilft dem Computer sogar dabei, die Zukunft besser vorherzusagen, weil er das große Ganze sieht.

3. Das Geheimrezept: „Conditional Decoding“

Es gibt einen Haken. Wenn Sie Ziegelsteine zusammenkleben, um eine Wand zu bauen, verlieren Sie ein winziges Stück der Detailgenauigkeit der ursprünglichen Ziegelsteine. Dies wird als „Diskretisierungsfehler“ bezeichnet.

Die Analogie: Stellen Sie sich vor, Sie fassen einen Film mit den Worten „Der Held rettet den Tag“ zusammen. Sie haben die spezifischen Dialoge und Gesichtsausdrücke verloren.
Die Lösung: Die Autoren führen Conditional Decoding ein. Dies ist ein leichtgewichtiger „Nachbearbeitungsschritt“.
- Er betrachtet den „Motif-Aufkleber“ und fragt: „Angenommen, der vorherige Aufkleber war ‚X‘, was ist dann die wahrscheinlichste exakte Zahl für diesen hier?“
- Es ist wie ein intelligenter Editor, der Ihre Zusammenfassung liest und die fehlenden Details basierend auf dem Kontext ergänzt, ohne den ganzen Film neu schauen zu müssen (keine schwere Rechenleistung erforderlich).
- Dieser Schritt beseitigt den Detailverlust und verbessert die Genauigkeit um bis zu 48 %, ohne die Geschwindigkeit zu beeinträchtigen.

4. Was sie herausgefunden haben (Die Ergebnisse)

Das Team hat diese Methode an einem massiven Datensatz von Zeitreihen (wie Stromverbrauch, Verkehr und Wetter) getestet und sie mit den besten bestehenden Modellen verglichen.

Geschwindigkeit: Ihre Methode war drastisch schneller, da sie weniger Tokens zu verarbeiten hatte.
Genauigkeit: Sie sagte die Zukunft genauer voraus als die alten „Buchstabe-für-Buchstaben“-Methoden.
Anpassungsfähigkeit: Die Methode ist flexibel. Wenn ein Muster einfach ist (wie eine flache Linie), komprimiert sie es stark. Wenn ein Muster komplex und chaotisch ist, behält sie mehr Details bei. Sie erzwingt keinen „Einheitsansatz“.
Zero-Shot: Sie zeigten, dass ein Modell, das mit dieser Methode trainiert wurde, neue Arten von Daten vorhersagen kann, die es noch nie zuvor gesehen hat, ohne zusätzliches Training zu benötigen.

Zusammenfassung

Betrachten Sie dieses Paper als die Erfindung eines intelligenten Komprimierungswerkzeugs für Zeitreisen.
Anstatt den Computer zu zwingen, jede einzelne Sekunde der Geschichte auswendig zu lernen, lehrt es den Computer, Muster zu erkennen (wie „ein stetiger Anstieg“, „ein plötzlicher Abfall“ oder „ein sich wiederholender Zyklus“). Es speichert diese Muster als einzelne, effiziente Einheiten. Dann nutzt es einen cleveren Trick, um die winzigen Details aufzufüllen, die es vielleicht übersehen hat. Das Ergebnis ist ein System, das sowohl superschnell als auch superintelligent darin ist, vorherzusagen, was als Nächstes passiert.

Technisches Resümee: Byte Pair Encoding für effiziente Zeitreihenprognose

Problemstellung

Aktuelle Tokenisierungsmethoden für die Zeitreihenprognose, insbesondere solche, die Transformer-Architekturen nutzen, leiden unter erheblichen Ineffizienzen und mangelnder Flexibilität. Bestehende Ansätze lassen sich primär in zwei Kategorien unterteilen:

Stichprobenbasierte Tokens (Sample-based tokens): Hierbei wird jeder einzelne Zeitschritt als Token behandelt. Dies führt zu extrem langen Sequenzen, in denen jeder Token nur minimale zeitliche Informationen enthält, was eine beträchtliche Rechenlast für Transformer-Modelle verursacht, insbesondere bei langen Sequenzen.
Patch-basierte Tokens: Hierbei werden Zeitreihen in Teilsequenzen fester Länge (Patches) aufgeteilt. Während dies das Problem der Sequenzlänge mildert, können starre Patches sich nicht an vielfältige zeitliche Muster unterschiedlicher Länge und Komplexität anpassen. Diese mangelnde Adaptivität behindert die Generalisierungsfähigkeit von Foundation-Modellen in Zero-Shot-Szenarien.

Diese Einschränkungen führen zu suboptimaler Prognoseleistung und hohem Rechenaufwand, was die effiziente Verarbeitung langer Zeitreihen verhindert.

Methodik

Die Autoren schlagen Byte Pair Encoding (BPE) für Zeitreihen vor, das erste musterzentrierte Tokenisierungsschema für diesen Bereich. Die Methode operiert in zwei Primärstadien, gefolgt von einer Post-hoc-Optimierungstechnik:

1. Adaptive Motiv-basierte Tokenisierung

Inspiriert durch BPE in der natürlichen Sprachverarbeitung (NLP), komprimiert diese Methode Zeitreihen, indem sie wiederkehrende Muster zu einzelnen Tokens zusammenfasst.

Diskretisierung: Eine kontinuierliche Zeitreihe $z$ wird zunächst mittels eines Vokabulars $\Omega$ aus äquiprobalen Bins in eine Sequenz diskreter Symbole quantisiert. Dies transformiert die Regressionsaufgabe in eine Klassifikationsaufgabe über ein diskretes Vokabular.
Motiv-Extraktion: Unter Verwendung eines iterativen Algorithmus identifiziert die Methode die am häufigsten vorkommenden benachbarten Token-Paare in der diskretisierten Sequenz und führt diese zu einem neuen Token-ID zusammen. Dieser Prozess wiederholt sich hierarchisch, um ein Vokabular $\Psi$ aus häufigen Zeitreihen-Motiven (Mustern variabler Länge) aufzubauen.
Kompression: Die quantisierte Sequenz wird komprimiert, indem wiederkehrende Muster durch die entsprechenden Motiv-Tokens ersetzt werden. Dies resultiert in einer variablen Token-Sequenz, in der komplexe Muster durch einzelne Tokens repräsentiert werden, was eine adaptive Kompression ermöglicht. Der Algorithmus weist eine lineare Komplexität von $O(|\Psi| \cdot n)$ relativ zur Sequenzlänge auf.

2. Bedingte Dekodierung (Conditional Decoding)

Um den Diskretisierungsfehler zu adressieren, der durch die Quantisierung kontinuierlicher Werte entsteht, führen die Autoren die bedingte Dekodierung als leichtgewichtige, Post-hoc-Optimierungsmethode ein.

Mechanismus: Anstatt einen quantisierten Token einfach auf das Zentrum eines festen Bins abzubilden, hängt der Dekodierungswert vom vorherigen Sample ab. Speziell hängt die Rekonstruktion eines Samples $z_i$ vom quantisierten Wert des vorherigen Samples $z'_{i-1}$ ab.
Optimierung: Die Parameter für diese bedingte Abbildung ( $\hat{\omega}_{j,k}$ ) werden analytisch als Mittelwert der zugrunde liegenden kontinuierlichen Samples für spezifische Token-Transitionen berechnet. Dies erfordert keine Gradientenberechnung oder zusätzliches Training des Hauptmodells.
Effizienz: Es verursacht einen vernachlässigbaren Rechenaufwand während der Inferenz (gleichbedeutend mit einem Dictionary-Lookup) und basiert auf einer First-Order-Markov-Annahme mit nur $M^2$ Parametern.

3. Modellarchitektur

Die tokenisierten Sequenzen werden von Standard-Transformer-Architekturen (speziell T5-Varianten) verarbeitet. Das Modell sagt die nächste Token-ID aus dem endlichen Vokabular $V = \Omega \cup \Psi \cup \{MASK, EOS\}$ unter Verwendung einer kategorialen Verteilung voraus, wodurch die Zeitreihenprognose effektiv in eine Next-Token-Prediction-Aufgabe transformiert wird.

Zentrale Beiträge

Adaptive Tokenisierung: Eine neuartige Strategie, die Samples mit zugrunde liegenden Mustern basierend auf einem diskreten Vokabular häufiger Motive zu einzelnen Tokens zusammenfasst. Dies ermöglicht eine adaptive Kompression bei gleichzeitig kontrolliertem Diskretisierungsfehler.
Bedingte Dekodierung: Eine leichtgewichtige, gradientenfreie Post-hoc-Optimierungsmethode, welche die kontinuierlichen Eigenschaften von Zeitreihen nutzt, um den Diskretisierungsfehler zu reduzieren und die Prognosequalität signifikant zu verbessern, ohne das Foundation-Modell neu trainieren zu müssen.
Empirische Validierung: Umfangliche Analysen, die die Anpassungsfähigkeit der Methode an diverse zeitliche Muster, ihre Generalisierung auf ungesehene Daten sowie die Bedeutung der gelernten Token-Repräsentationen (Erfassung von statistischen Momenten, Trends und Motivlängen) belegen.

Experimentelle Ergebnisse

Die Methode wurde auf dem Chronos Foundation-Modell (trainiert auf 11 Mio. Zeitreihen) evaluiert und mit Sample-basierten sowie Patch-basierten Baselines über 7 diverse Datensätze (ETTh1, ETTm1, Weather, Electricity, Traffic, Solar, Fev-bench) in einem Zero-Shot-Setting verglichen.

Leistungssteigerungen: Auf dem Chronos Foundation-Modell verbesserte die Motiv-basierte Tokenisierung die Prognoseleistung (MSE) im Vergleich zur Sample-basierten Tokenisierung um durchschnittlich 40 %. Mit bedingter Dekodierung erreichten die MSE-Reduktionen bis zu 48 %.
Effizienz: Der Ansatz steigerte die Effizienz um durchschnittlich 2314 % (ca. 23-fache Beschleunigung), indem die Anzahl der Tokens und der autoregressiven Schritte reduziert wurde. In spezifischen Fällen (z. B. Traffic-Datensatz) erreichte die Beschleunigung 56,66x.
Vergleich mit SOTA: Die vorgeschlagene Methode übertraf oder entsprach State-of-the-Art Foundation-Modellen (MOMENT, Moirai, Time-MoE, LightGTS) in Zero-Shot-Settings und erzielte in 19 von 25 Fällen die besten Prognosen ohne Fine-Tuning.
Adaptivität: Der Tokenizer zeigte variable Kompressionsraten (z. B. von 3,30 bei Traffic bis zu 23,15 bei Weather) und passte sich der Komplexität der Muster innerhalb und über Datensätze hinweg an. Längere, komplexere Motive korrelierten mit einer besseren Prognosequalität.
Robustheit: Die Methode zeigte eine überlegene Robustheit gegenüber Rauschen und Ausreißern im Vergleich zu Sample-basierten Baselines, wobei sie im Falle unbekannter transienter Muster oft auf eine Sample-basierte Tokenisierung zurückfiel, ohne katastrophal zu versagen.

Bedeutung und Behauptungen

Das Paper behauptet, die erste musterzentrierte Tokenisierungsmethode für Zeitreihen eingeführt zu haben, die die Lücke zwischen der Effizienz der NLP-Tokenisierung und der kontinuierlichen Natur von Zeitreihendaten schließt. Die Autoren halten fest, dass ihre Methode:

Rechenkosten senkt: Durch die Kompression von Zeitreihen in weniger informative Tokens wird die Inferenzzeit und der Ressourcenverbrauch großer Foundation-Modelle signifikant gesenkt.
Generalisierung verbessert: Die adaptive Natur der Tokenisierung ermöglicht es Modellen, im Vergleich zu starren Patches besser auf ungesehene Daten und diverse zeitliche Muster zu generalisieren.
Bedeutungsvolle Repräsentationen liefert: Die gelernten Token-Embeddings erfassen nachweislich distinkte Eigenschaften von Zeitreihen, einschließlich statistischer Momente (Mittelwert, Standardabweichung) und Trends, was den semantischen Wert der Motive validiert.
Eine praktische Optimierung bietet: Die bedingte Dekodierung wird als universell anwendbare, kostengünstige Methode präsentiert, um jedes vortrainierte Modell mit einem diskreten Output-Vokabular zu verbessern.

Die Autoren schließen, dass dieser Ansatz zu nachhaltigeren und effizienteren Zeitreihenmodellen beiträgt, was potenziell die Umweltauswirkungen beim Training und Einsatz großer Foundation-Modelle reduziert. Sie räumen Einschränkungen ein, wie etwa den Verzicht auf eine Hyperparameter-Suche für den T5-Backbone aufgrund der Rechenkosten, und legen nahe, dass zukünftige Arbeiten aktuellere Transformer-Architekturen untersuchen könnten.