💬 NLP

Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting

Das Papier stellt TempoWave vor, eine neuartige Multi-Wavelet-Digit-Embedding-Schnittstelle, die skalare Zeitreihenbeobachtungen in Transformer-kompatible Repräsentationen abbildet, um die numerische Fehlausrichtung in Large Language Models zu überwinden und dadurch eine State-of-the-Art-Leistung bei der kontextsensitiven Zeitreihenprognose zu erzielen.

Ursprüngliche Autoren: Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, belesenen Bibliothekar (das Large Language Model, oder LLM), der fantastisch darin ist, Geschichten, Nachrichten und menschliche Konversationen zu verstehen. Sie möchten diesen Bibliothekar bitten, das zukünftige Wetter oder Aktienkurse basierend auf einer langen Liste von Zahlen vorherzusagen.

Das Problem? Der Bibliothekar spricht nur „Wörter“. Er versteht Zahlen wie 24,5 oder -0,3849 nicht von Natur aus. Wenn Sie versuchen, ihm Zahlen zu füttern, zerlegt er sie oft in winzige, verwirrende Einzelteile (als würde er „2026“ als die separaten Wörter „20“ und „26“ behandeln). Dies führt dazu, dass der Bibliothekar den Überblick über den tatsächlichen Wert verliert, was seine Vorhersagen unzuverlässig macht.

Die Lösung: TempoWave
Die Autoren dieser Arbeit haben einen speziellen Übersetzer namens TempoWave entwickelt. Denken Sie an TempoWave als einen „Universaladapter“, der direkt in das Gehirn des Bibliothekars eingesteckt wird und es ihm ermöglicht, Zahlen zu verstehen, ohne sie in umständliche Wörter zu verwandeln.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Ziffer-für-Ziffer“-Übersetzer

Anstatt dem Bibliothekar eine ganze Zahl wie 3,14 zu übergeben, zerlegt TempoWave sie in ihre einzelnen Ziffern: 3, ., 1, 4.

Der alte Weg: Der Bibliothekar sieht „3“ und „1“ und „4“ als zufällige Symbole ohne Verbindung zueinander.
Der TempoWave-Weg: Er gibt jeder Ziffer einen speziellen „Ausweis“, der ihre Form und Größe mithilfe eines mathematischen Werkzeugs namens Wavelets beschreibt.

2. Die „Wavelet“-Analogie: Das Lauschen einer Symphonie

Stellen Sie sich vor, Sie hören eine Symphonie.

Standardzahlen: Wenn Sie nur die Notenblätter betrachten, sehen Sie bloße Noten.
Wavelets: TempoWave ist wie ein Super-Zuhörer, der die Musik in verschiedene Ebenen zerlegt: den tiefen Bass (globale Trends), die mittlere Melodie (mittlere Veränderungen) und die hohen Becken (winzige, schnelle Schwankungen).

Wenn TempoWave eine Ziffer sieht, sieht es nicht nur ein Symbol; es erstellt einen „Klangabdruck“ dieser Ziffer mithilfe dieser verschiedenen Ebenen. Dies stellt sicher, dass der Bibliothekar nicht nur versteht, was die Zahl ist, sondern auch, wie sie sich zu den Zahlen in ihrer Umgebung verhält. Eine 3 ist klar von einer 4 unterscheidbar, und eine 3,1 liegt nah bei einer 3,2.

3. Warum das wichtig ist: Die „Ordnung“ intakt halten

Bei der alten Methode könnte der Bibliothekar denken, dass 19 und 20 sehr unterschiedlich sind, weil sie wie völlig verschiedene Wörter aussehen. In Wirklichkeit sind sie jedoch Nachbarn.

Das Problem: Standardmethoden zerstören die „Nachbarschaft“ von Zahlen.
Die Lösung: TempoWave hält die Nachbarschaft intakt. Es stellt sicher, dass sich die interne Darstellung des Bibliothekars nur geringfügig ändert, wenn man eine Zahl leicht verändert (wie von 10,0 auf 10,1), genau wie in der realen Welt. Dies ist entscheidend für genaue Vorhersagen.

4. Das Ergebnis: Ein klügerer Bibliothekar

Die Forscher testeten diesen neuen Adapter in fünf verschiedenen realen Szenarien (wie Stromverbrauch, Verkehrsfluss und Bitcoin-Preise), bei denen der Bibliothekar auch Zugriff auf zusätzlichen Kontext (wie Schlagzeilen oder Wetterberichte) hatte.

Das Ergebnis: Der mit TempoWave ausgestattete Bibliothekar wurde signifikant besser darin, die Zukunft vorherzusagen als:
- Bibliothekar, die die alten, umständlichen Zahlenmethoden verwendeten.
- Spezialisierte „nur-für-Mathe“-Roboter, die nur für Zahlen entwickelt wurden.
Die Kernaussage: Indem man dem Bibliothekar einen Weg gab, die Struktur von Zahlen zu „hören“ (mithilfe dieser Wavelet-Ebenen), anstatt sie nur wie ein Buch zu „lesen“, wurden die Vorhersagen viel genauer und zuverlässiger.

Kurz gesagt: Die Arbeit zeigt, dass man, wenn man möchte, dass eine KI gut in der Vorhersage von Zahlen ist, sie nicht einfach nur dazu zwingen sollte, diese wie ein Buch zu lesen. Stattdessen sollte man ihr eine spezielle Schnittstelle (TempoWave) geben, die Zahlen in eine reiche, vielschichtige Sprache übersetzt, die die KI wirklich verstehen kann und dabei die feinen Beziehungen zwischen den Werten bewahrt.

Technisches Resümee: TempoWave – Multi-Wavelet-Zahlen-Embeddings für die Zeitreihenprognose

1. Problemstellung

Die Integration von Large Language Models (LLMs) in die Zeitreihenprognose steht vor einem grundlegenden architektonischen Mismatch. LLMs sind für die Vorhersage diskreter Token optimiert, während die Zeitreihenprognose die präzise Modellierung kontinuierlicher numerischer Werte erfordert. Standardmäßige, sprachorientierte Tokenisierungsmethoden (z. B. das Aufteilen von „2026“ in „20“ und „26“) fragmentieren Zahlen in Sub-Token, die nicht an ihre Größenordnung gebunden sind. Diese Fragmentierung bricht ordinale Beziehungen auf, verschleiert die der zeitlichen Prozesse innewohnende Kontinuität und führt zu künstlichen Ähnlichkeiten zwischen numerisch weit entfernten Werten. Folglich wird die Übersetzungsschicht zwischen reellen Sequenzen und diskreten Token zu einem primären Engpass, was oft zu unzuverlässigem numerischem Verhalten führt, selbst wenn das Modell hochgradig komplexe zeitliche Muster erfasst.

Bestehende Versuche, diese Lücke zu schließen – etwa durch spezialisierte Foundation Models, agentische Systeme, die LLMs mit Werkzeugen koppeln, oder Input-Adaptionen wie Patching und Quantisierung – erkaufen dies oft durch den Verlust an numerischer Treue, eine Verwässerung feiner Variationen oder durch die Abhängigkeit von externen Komponenten, die die End-to-End-Differenzierbarkeit verringern. Es besteht weiterhin eine beständige Lücke in der prinzipiengetreuen, informationserhaltenden Darstellung kontinuierlicher numerischer Werte innerhalb des standardmäßigen Transformer-Input-Raums.

2. Methodik: TempoWave

Die Autoren schlagen TempoWave (Multi-Wavelet Number Embedding) vor, ein Plug-and-Play-Zeitwellen-Digit-Interface, das darauf ausgelegt ist, skalare Beobachtungen in dichte Vektor-Embeddings abzubilden, die aus Multi-Wavelet- und Multi-Skalen-Koeffizienten konstruiert werden.

Kernmechanismus

Digit-basierte Tokenisierung: Anstatt ganze Zahlen zu tokenisieren, werden die Eingangs-Zeitreihenwerte in Strings mit fester Präzision (z. B. $V.FFFF$) umgewandelt. Jede Ziffer ( $d \in \{0, \dots, 9\}$ ) wird als individuelles Token behandelt.
Wavelet-basierte Embedding-Konstruktion:
- Signalrepräsentation: Jede Ziffer $d$ wird auf $\tilde{d} \in [0, 1]$ normalisiert und als diskreter Impuls (Kronecker-Delta) auf einem festen Gitter dargestellt.
- Multi-Wavelet-Koeffizienten: Das Digitalsignal wird auf eine vordefinierte Familie von Wavelets $\Psi$ (z. B. Haar, db4, Morlet) über mehrere Skalen $S$ projiziert. Der Wavelet-Koeffizient für eine Ziffer $d$ bei einem Wavelet $\psi_i$ und einer Skala $s_j$ wird als das Skalarprodukt des Digitalsignals und des abgetasteten Wavelets berechnet: $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$ .
- Embedding-Generierung: Diese Koeffizienten werden zu einem Merkmalsvektor $\phi(d)$ konkateniert und über eine feste Alignment-Funktion $g(\cdot)$ auf die Embedding-Dimension $D$ des LLM abgebildet. Dies erzeugt ein Digit-Embedding $E(d) \in \mathbb{R}^D$ .
Integration: Die Standard-Token-Embeddings für die Digit-Positionen in der Eingangssequenz werden durch diese berechneten $E(d)$ -Vektoren überschrieben, während Text- und Kontext-Token die Standard-Embeddings beibehalten. Das LLM-Backbone bleibt unverändert und wird mittels Supervised Fine-Tuning (SFT) trainiert, um zukünftige numerische Token vorherzusagen.

Designprinzipien

Strukturelle Treue: Durch die Kodierung von Ziffern durch strukturierte Multi-Skalen-Muster anstelle von rohen skalaren Magnituden stellt TempoWave sicher, dass die numerische Identität durch relative Muster bestimmt wird. Dies macht die Embeddings robust gegenüber Normalisierungsschichten (z. B. LayerNorm, RMSNorm), die üblicherweise in Transformern verwendet werden und die Embeddings typischerweise reskalieren und zentrieren.
Monotone Nachbarschaftskonsistenz: Die Multi-Wavelet-Konstruktion induziert ein endliches Digit-Codebuch mit verbesserter Separabilität. Theoretische Analysen legen nahe, dass die Konkatenierung von Koeffizienten über Wavelet-Skalen-Paare die paarweisen Distanzen zwischen Digit-Embeddings erhöht, was eine robuste Nearest-Neighbor-Rekuperierbarkeit gewährleistet und die numerische Ordnung bewahrt.

3. Zentrale Beiträge

Ein Wavelet-basiertes numerisches Interface: TempoWave ermöglicht die direkte Nutzung standardmäßiger LLM-Backbones für die numerische Prognose, ohne sich auf die sprachliche Tokenisierung von Zahlen verlassen zu müssen, wodurch die Modalitätslücke effektiv geschlossen wird.
Treue und stabile Repräsentationen: Die Methode etabliert Eigenschaften in Bezug auf numerische Treue und Stabilität, einschließlich verbesserter Separabilität über Werte hinweg und Robustheit gegenüber gängigen Normalisierungsoperationen.
Umfassende Evaluierung mit Diagnostik: Die Autoren führen umfangreiche Experimente über verschiedene Benchmarks durch und führen diagnostische Analysen ein (z. B. das Probing der monotonen Nachbarschaftskonsistenz), um zu erklären, wie das Embedding-Interface die numerischen Nachbarschaften innerhalb des Modells umgestaltet.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TempoWave auf fünf kontextangereicherten Prognose-Benchmarks:

Datensätze: AUL (Australien Elektrizität), BIT (Bitcoin), MSPG (Melbourne Solarkraft), PTF (Paris Verkehrsfluss) und LEU (London Elektrizitätsverbrauch). Diese Datensätze kombinieren historische Zeitreihen mit textuellen oder ereignisbasierten Kontexten (z. B. Nachrichten, Wetter, Daten).
Baselines: Vergleiche mit Standard-LLM-Tokenisierung, alternativen Embedding-Interfaces (z. B. Fourier-basiertes FoNE), spezialisierten Zeitreihenmodellen (DLinear, Autoformer, TimesNet) und Zeitreihen-Foundation-Modellen (Chronos, Moirai).
Performance:
- TempoWave erreichte einen neuen Stand der Technik (SOTA) in 7 von 10 berichteten Metriken (RMSE und MAE) über die fünf Datensätze hinweg.
- Es belegte in allen Metriken einen Platz in den Top 2.
- Im Vergleich zur bisher besten Methode lieferte TempoWave eine durchschnittliche relative Verbesserung des MAE um 7,0 %, mit signifikanten Gewinnen bei LEU (14,4 %) und AUL (11,2 %).
- Es demonstrierte eine überlegene Robustheit bei nicht-stationären, ereignisgesteuerten Datensätzen (z. B. Bitcoin) im Vergleich zu Fourier-basierten Interfaces.
Ablationsstudien:
- Kontext: Die Einbeziehung reichhaltiger kontextueller Informationen (Catch22-Features, situativer Kontext) verbesserte die Performance konsistent, wobei das Full-Context-Setting die besten Ergebnisse lieferte.
- Embedding-Alignment: Eine Analyse der Verteilungen der Differenzen der Token-IDs zeigt, dass TempoWave eine glatte, unimodale Verteilung um den Nullpunkt erzeugt, was auf eine starke lokale Nähe und eine Ausrichtung an den zugrunde liegenden Zeitreihendynamiken hindeutet. Im Gegensatz dazu wiesen Baselines flachere Verteilungen oder anomale Spitzen auf, was auf eine schwächere Ausrichtung oder Overfitting hindeutet.

5. Bedeutung und Ansprüche

Das Paper postuliert, dass das numerische Interface ein entscheidender Engpass in der LLM-basierten Zeitreihenprognose ist. Durch die Einführung von TempoWave zeigen die Autoren, dass prinzipielle Multi-Resolution-Embeddings die kontextuelle Denkfähigkeit eines LLMs besser mit präziser Zeitreihenprognose koppeln können.

Die Bedeutung dieser Arbeit liegt in:

Bewahrung der numerischen Struktur: Sie bietet eine Methode zur Darstellung kontinuierlicher Werte, welche die ordinalen Relationen und Multi-Skalen-Zeitstrukturen (lokale Fluktuationen und globale Trends) innerhalb der diskreten Transformer-Architektur respektiert.
Robustheit: Sie adressiert die Fragilität des numerischen Denkens in LLMs unter Normalisierung und Verteilungsverschiebungen.
Generalisierbarkeit: Sie zeigt, dass standardmäßige LLM-Backbones, wenn sie mit einem numerisch fundierten Interface ausgestattet sind, spezialisierte Zeitreihenmodelle – insbesondere in Szenarien, die eine Integration heterogener textueller Signale erfordern (kontextsensitive Prognose) – übertreffen können.

Die Autoren kommen zu dem Schluss, dass trotz bestehender Herausforderungen TempoWave einen Weg zu einer treffenderen und zuverlässigeren LLM-basierten Prognose ebnet, wobei sie darauf hinweisen, dass zukünftige Arbeiten die Anwendbarkeit auf nicht-kontextuelle Pipelines untersuchen könnten, die auf Diskretisierung beruhen.