Technische Samenvatting: TempoWave – Multi-Wavelet Getalembeddings voor Tijdreeksvoorspelling

1. Probleemstelling

De integratie van Large Language Models (LLMs) in tijdreeksvoorspelling kampt met een fundamentele architecturale mismatch. LLM's zijn geoptimaliseerd voor discrete tokenvoorspelling, terwijl tijdreeksvoorspelling de precieze modellering van continue numerieke waarden vereist. Standaard taalgeoriënteerde tokenisatiemethoden (bijv. het opdelen van "2026" in "20" en "26") fragmenteren getallen in sub-tokens die niet gekoppeld zijn aan hun grootte. Deze fragmentatie verbreekt de ordinale relaties, vertroebelt de continuïteit die inherent is aan temporele processen en introduceert spierse gelijkenissen tussen numeriek verre waarden. Bijgevolg wordt de translatielaag tussen reële sequenties en discrete tokens een belangrijke bottleneck, wat vaak leidt tot onbetrouwbaar numeriek gedrag, zelfs wanneer het model hoogwaardige temporele patronen wel oppikt.

Bestaande pogingen om deze kloof te overbruggen—zoals gespecialiseerde foundation models, agentische systemen die LLM's koppelen aan tools, of inputadaptaties zoals patching en kwantisatie—ruilen vaak numerieke getrouwheid in, vervagen fijne variaties, of vertrouwen op externe componenten die de end-to-end differentieerbaarheid verminderen. Er blijft een hardnekkige kloof bestaan in het representeren van continue numerieke waarden binnen de standaard transformer-inputruimte op een principiële, informatiebehoudende wijze.

2. Methodologie: TempoWave

De auteurs stellen TempoWave voor (Multi-Wavelet Number Embedding), een plug-and-play temporele wavelet-cijferinterface die ontworpen is om scalaire observaties in te mappen naar dichte vector-embeddings die geconstrueerd zijn uit multi-wavelet, multi-schaal coëfficiënten.

Kernmechanisme

• Cijferniveau-tokenisatie: In plaats van volledige getallen te tokeniseren, worden de input-tijdreekswaarden gerenderd naar fixed-precision strings (bijv. $V.FFFF$). Elk cijfer ($d \in \{0, \dots, 9\}$) wordt behandeld als een individueel token.
• Wavelet-gebaseerde Embedding Constructie:
  • Signaalrepresentatie: Elk cijfer $d$ wordt genormaliseerd naar $\tilde{d} \in [0, 1]$ en gerepresenteerd als een discrete impuls (Kronecker delta) op een vast rooster.
  • Multi-Wavelet Coëfficiënten: Het cijfersignaal wordt geprojecteerd op een vooraf gedefinieerde familie van wavelets $\Psi$ (bijv. Haar, db4, Morlet) over meerdere schalen $S$. De wavelet-coëfficiënt voor een cijfer $d$ bij wavelet $\psi_i$ en schaal $s_j$ wordt berekend als het inproduct van het cijfersignaal en de gesamplede wavelet: $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$.
  • Embedding Generatie: Deze coëfficiënten worden geconcateneerd tot een feature vector $\phi(d)$ en gemapt naar de LLM-embeddingdimensie $D$ via een vaste alignmentfunctie $g(\cdot)$. Dit produceert een cijfer-embedding $E(d) \in \mathbb{R}^D$.
• Integratie: De standaard token-embeddings voor de cijferposities in de inputsequentie worden overschreven door deze berekende $E(d)$-vectoren, terwijl tekst- en contextuele tokens de standaard embeddings behouden. De LLM-backbone blijft ongewijzigd en wordt getraind via Supervised Fine-Tuning (SFT) om toekomstige numerieke tokens te voorspellen.

Ontwerpprincipes

• Structurele Getrouwheid: Door cijfers te coderen via gestructureerde multi-schaalpatronen in plaats van ruwe scalaire magnituden, zorgt TempoWave ervoor dat de numerieke identiteit wordt bepaald door relatieve patronen. Dit maakt de embeddings robuust tegen normalisatielagen (bijv. LayerNorm, RMSNorm) die veelgebruikt worden in transformers, welke de embeddings doorgaans herschalen en hercentreren.
• Monotone Nabijheidsconsistentie: De multi-wavelet constructie induceert een eindig cijfer-codeboek met verbeterde scheidbaarheid. Theoretische analyse suggereert dat het concateneren van coëfficiënten over wavelet-schaalparen de paarsgewijze afstanden tussen cijfer-embeddings vergroot, wat zorgt voor robuuste nabijheidsherstelbaarheid en het behoud van de numerieke ordening.

3. Belangrijkste Bijdragen

1. Een Wavelet-gebaseerde Numerieke Interface: TempoWave maakt direct gebruik van standaard LLM-backbones voor numerieke voorspelling zonder afhankelijk te zijn van taal-tokenisatie van getallen, waardoor de modality gap effectief wordt overbrugd.
2. Getrouwe en Stabiele Representaties: De methode vestigt eigenschappen gerelateerd aan numerieke getrouwheid en stabiliteit, inclus\n bij de verbeterde scheidbaarheid over waarden en robuustheid tegen veelvoorkomende normalisatie-operaties.
3. Uitgebreide Evaluatie met Diagnostiek: De auteurs leveren uitgebreide experimenten over diverse benchmarks en introduceren diagnostische analyses (bijv. het proberen van monotone nabijheidsconsistentie) om uit te leggen hoe de embedding-interface de numerieke buurten binnen het model hervormt.

4. Experimentele Resultaten

De auteurs evalueerden TempoWave op vijf context-verrijkte forecasting benchmarks:

• Datasets: AUL (Australië elektriciteit), BIT (Bitcoin), MSPG (Melbourne zonnevermogen), PTF (Parijs verkeersstroom) en LEU (Londen elektriciteitsverbruik). Deze datasets koppelen historische tijdreeksen aan tekstuele of gebeurtenis-gebaseerde context (bijv. nieuws, weer, data).
• Baselines: Vergelijkingen omvatten standaard LLM-tokenisatie, alternatieve embedding-interfaces (bijv. Fourier-gebaseerde FoNE), gespecialiseerde tijdreeksmodellen (DLinear, Autoformer, TimesNet) en tijdreeks-foundation models (Chronos, Moirai).
• Prestaties:
  • TempoWave behaalde een nieuwe state-of-the-art (SOTA) op 7 van de 10 gerapporteerde metrieken (RMSE en MAE) over de vijf datasets.
  • Het rangschikte in de top-2 voor alle metrieken.
  • Relatief ten opzichte van de vorige beste methode leverde TempoWave een gemiddelde relatieve verbetering in MAE van 7,0%, met significante winsten op LEU (14,4%) en AUL (11,2%).
  • Het demonstreerde superieure robuustheid op niet-stationaire, gebeurtenisgestuurde datasets (bijv. Bitcoin) vergeleken met Fourier-gebaseerde interfaces.
• Ablatie-studies:
  • Context: Het integreren van rijke contextuele informatie (Catch22 features, situationele context) verbeterde de prestaties consistent, waarbij de full-context setting de beste resultaten opleverde.
  • Embedding Alignment: Analyse van de distributies van token ID-verschillen toonde aan dat TempoWave een gladde, unimodale distributie produceert gecentreerd rond nul, wat duidt op sterke lokale nabijheid en alignment met onderliggende tijdreeksdynamiek. In contrast hiermee vertoonden baselines vlakkere distributies of anomalieën, wat wijst op zwakkere alignment of overfitting.

5. Betekenis en Claims

Het artikel stelt dat de numerieke interface een cruciale bottleneck is in LLM-gebaseerde tijdreeksvoorspelling. Door TempoWave te introduceren, laten de auteurs zien dat principiële multi-resolutie embeddings beter kunnen koppelen aan de contextuele redeneercapaciteiten van een LLM voor precieze numerieke voorspelling.

De betekenis van dit werk ligt in:

• Behoud van Numerieke Structuur: Het biedt een methode om continue waarden te representeren die de ordinale relaties en multi-schaal temporele structuren (lokale fluctuaties en globale trends) respecteert binnen de discrete transformer-architectuur.
• Robuustheid: Het adresseert de fragiliteit van numeriek redeneren in LLM's onder normalisatie en distributieverschuivingen.
• Generaliseerbaarheid: Het toont aan dat standaard LLM-backbones, wanneer uitgerust met een numeriek gefundeerde interface, gespecialiseerde tijdreeksmodellen kunnen overtreffen, met name in scenario's die vereisen dat heterogene tekstuele signalen worden geïntegreerd (context-bewuste forecasting).

De auteurs concluderen dat hoewel er uitdagingen blijven bestaan, TempoWave een pad biedt naar meer getrouwe en betrouwbare LLM-gebaseerde forecasting, en suggereren dat toekomstig werk de toepasbaarheid ervan in niet-contextuele pipelines die steunen op discretisatie kan verkennen.