From Text to Forecasts: Bridging Modality Gap with Temporal Evolution Semantic Space

Dit paper introduceert TESS, een methode die de kloof tussen tekst en tijdreeksvoorspelling overbrugt door een interpretabele 'temporal evolution semantic space' te gebruiken om tekstuele beschrijvingen om te zetten in kwantitatieve tijdsprimitives, wat leidt tot een aanzienlijke verbetering van de voorspellingsnauwkeurigheid.

De kern

Stel je voor dat je een zeer ervaren weerman bent die probeert het weer van morgen te voorspellen.

Het oude probleem: De taalbarrière
Vroeger keek je alleen naar de cijfers: temperatuur, luchtdruk en windkracht van de afgelopen dagen. Je kon hieruit een patroon zien, maar wat als er plotseling een orkaan aankomt? De cijfers alleen vertellen je niet waarom de storm komt.

Dus, je begint ook naar nieuwsberichten te kijken. Maar hier ontstaat een groot probleem:

• De cijfers zijn als een strakke, precieze meetlat: "De temperatuur is 2 graden gestegen."
• De tekst is als een rommelig dagboek: "Het voelt alsof de lucht zwaar is en er een onweersbui op komst is, misschien wel een flinke storm."

De computer (het forecast-model) is gewend aan de strakke meetlat. Als je hem het dagboek geeft, raakt hij in de war. Hij leest alles, ook de onbelangrijke woorden ("zware lucht", "gevoel"), en mist de echte boodschap. Het is alsof je iemand vraagt om een recept te volgen, maar je geeft hem een roman waarin het recept ergens tussen de bladzijden staat. De computer leest de hele roman, raakt afgeleid door de verhaallijnen, en weet niet welk getal hij moet gebruiken voor het bakken.

De oplossing van dit paper: TESS (De Vertaler)
De auteurs van dit paper, Lehui Li en zijn team, hebben een slimme oplossing bedacht genaamd TESS. Ze bouwen een tussenstap, een soort "vertaalbureau" of "tolk", tussen de rommelige tekst en de strakke cijfers.

Stel je TESS voor als een slimme chef-kok die een recept schrijft voor een robot:

1. De Chef (de LLM): De chef leest het nieuwsbericht (de tekst). In plaats van de hele tekst door te geven, kijkt hij alleen naar de belangrijke ingrediënten die de robot nodig heeft. Hij vertaalt de vaagheid ("er komt een storm") naar vier heel specifieke, meetbare instructies:

   • Gemiddelde verschuiving: "De temperatuur gaat met 3 graden omhoog."
   • Onrust (Volatiliteit): "Het gaat flink schommelen."
   • Vorm: "Het patroon is eerst stijgend, dan dalend."
   • Vertraging: "De storm begint pas over 2 uur, maar duurt lang."

2. De Kwaliteitscontrole (De Poortwachter): Soms is de chef niet zeker van zijn zaak. Misschien staat er in het nieuws: "Het zou kunnen regenen, maar misschien ook niet." De chef is dan niet 100% zeker. Daarom heeft TESS een poortwachter. Deze kijkt naar het vertrouwen van de chef.

   • Als de chef zeker is, laat hij het commando door.
   • Als de chef twijfelt (bijvoorbeeld omdat het nieuws vaag is), blokkeert de poortwachter het commando of maakt het zwakker, zodat de robot niet op een verkeerd getal gaat rekenen.

3. De Robot (De Voorspeller): De robot ontvangt nu geen rommelige tekst meer, maar een strakke lijst met instructies: "Verwacht een stijging van 3 graden, met onrust, die over 2 uur begint." De robot kan hier perfect mee werken en geeft een veel betere voorspelling.

Waarom werkt dit zo goed?
In hun experimenten hebben ze getest op echte data, zoals beurskoersen (Bitcoin) en stroomverbruik.

• Vroeger: De computer probeerde de hele tekst te lezen, raakte in de war door overbodige woorden en gaf een slechte voorspelling.
• Met TESS: De computer kreeg alleen de "kernboodschappen" in een taal die hij begrijpt.

Het resultaat? De fouten in de voorspellingen zijn tot wel 29% kleiner geworden. Het is alsof je van een slechte vertaler overstapt op een professionele tolk die precies weet wat er gezegd moet worden, en alleen dat doorgeeft.

Kort samengevat:
Dit paper lost het probleem op dat computers tekst en cijfers niet goed samen kunnen laten werken. Ze bouwen een slimme tussenstap die tekst omzet in duidelijke, meetbare regels, en een slimme controleur die zorgt dat alleen betrouwbare regels worden gebruikt. Hierdoor kunnen computers veel beter voorspellen wat er gaat gebeuren, zelfs als er onverwachte gebeurtenissen (zoals nieuws) plaatsvinden.

Technische samenvatting

Titel: Van Tekst naar Voorspellingen: De Modale Kruisbrug overbruggen met Temporele Evolutie (TESS)

Auteurs: Lehui Li, Yuyao Wang, Jisheng Yan, et al.
Context: ICML 2026 (voorgesteld)

---

1. Het Probleem: De Modale Kruisbrug

Het paper adresseert een fundamenteel probleem in de tijdreeksvoorspelling: het integreren van tekstuele informatie (nieuws, sociale media) om niet-stationariteit veroorzaakt door externe gebeurtenissen (bijv. ongevallen, extreme weersomstandigheden) te modelleren.

Hoewel bestaande multimodale methoden tekst proberen te fuseren met numerieke data, stuiten ze op een modale kloof (modality gap):

• Numerieke data: Is kwantitatief, expliciet en chronologisch geordend.
• Tekstuele data: Is kwalitatief, impliciet en vaak vaag. Beschrijvingen van gebeurtenissen (bijv. "een significante stijging") zijn niet direct vertaalbaar naar de precieze numerieke signalen die voorspellingsmodellen nodig hebben.

Analyse van bestaande methoden:
De auteurs tonen via semi-synthetische experimenten aan dat huidige modellen twee kritieke fouten maken:

1. Aandacht voor overbodige tokens: Modellen worden afgeleid door irrelevante tekstuele context in plaats van zich te richten op de voorspellingsrelevante signalen.
2. Representatie-mismatch: Zelfs als overbodige informatie wordt verwijderd, kunnen modellen de kwalitatieve tekstuele semantics niet betrouwbaar decoderen naar bruikbare numerieke voorspellingen. Dit leidt tot instabiel trainingsgedrag en slechte prestaties.

---

2. Methodologie: TESS (Temporal Evolution Semantic Space)

Om deze kloof te overbruggen, stellen de auteurs TESS voor. Dit is een tweestapsframework dat een tussenlaag introduceert: de Temporele Evolutie Semantische Ruimte. In plaats van tekst direct te fuseren met numerieke data, wordt tekst eerst vertaald naar interpreteerbare, numeriek onderbouwde "temporele primitieven".

A. De Temporele Evolutie Semantische Ruimte

De kern van TESS is het definiëren van een set van Temporele Semantische Primitieven (TSPs). Deze zijn afgeleid van expertkennis en statistische tijdreeksanalyse:

1. Verspreidingsverschuiving (Distribution Shift):
   • Mean Shift: Verandering in het gemiddelde niveau.
   • Volatility Shift: Verandering in de volatiliteit (variantie).
2. Vorm (Shape): De interne evolutiestructuur van de reeks (bijv. aanhoudende stijging, piek, dal, oscillatie).
3. Vertraging en Verval (Lag & Decay): Wanneer en hoe lang een impact optreedt (bijv. vroeg optredend met snelle afname, of late manifestatie).

Elke primitieve wordt uitgedrukt als een discrete categorie (bijv. "STRONG-RISE", "EARLY-FADE"), wat het voor een Large Language Model (LLM) mogelijk maakt om menselijke oordelen na te bootsen.

B. Fase 1: Tekst naar Primitieven (met Gating)

Een ingevroren LLM wordt gebruikt om de inputtekst te analyseren en de primitieven te extraheren via gestructureerde prompts.

• Confidence-Aware Gating: Omdat LLM's fouten kunnen maken of tekst ambigu kan zijn, introduceert TESS een leerbare gating-mechanisme.
  • Het model schat de betrouwbaarheid van elke geëxtraheerde primitieve op basis van de log-probabiliteitsmarge tussen de beste en tweede beste kandidaat van de LLM.
  • Een gating-netwerk leert om onbetrouwbare extraheringen te onderdrukken (gewicht dicht bij 0) en betrouwbare extraheringen te versterken (gewicht dicht bij 1).
  • Dit wordt getraind met supervisie van de werkelijke statistieken van de toekomstige vensters (ground truth).

C. Fase 2: Voorspelling Gebaseerd op Primitieven

De gefilterde primitieven worden omgezet in semantische prefix-tokens en gevoed aan een tijdreeksvoorspeller (gebaseerd op PatchTST).

• De voorspeller gebruikt deze semantische signalen als exogene condities om zijn numerieke patroonherkenning te sturen.
• Dit zorgt ervoor dat de semantische informatie de aandachtmechanismen van de Transformer beïnvloedt tijdens het modelleren van de temporele dynamiek.

---

3. Belangrijkste Bijdragen

1. Identificatie van Bottlenecks: Het paper biedt een gedetailleerde analyse van waarom directe tekst-nummer fuseren faalt (afleiding door ruis en representatie-mismatch).
2. TESS Framework: Introductie van een tussenruimte die tekst distilleert naar kwantificeerbare temporele primitieven, gefilterd door een betrouwbaarheids-gating.
3. Theoretische Onderbouwing: Een stelling (Theorem 4.1) die aantoont dat het comprimeren van tekst naar primitieven de voorspellende informatie behoudt terwijl de afhankelijkheid van token-variatie wordt verminderd, wat de generalisatie verbetert.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat deze aanpak superieur is aan zowel unimodale als bestaande multimodale baselines.

---

4. Resultaten

De auteurs hebben TESS getest op vier real-world datasets: Bitcoin en FNSPID (financieel, hoge niet-stationariteit) en Electricity en Environment (algemeen).

• Prestatieverbetering: TESS bereikte tot 29% reductie in Mean Squared Error (MSE) vergeleken met de beste bestaande methoden (zoals NewsForecasting en TimesNet).
  • Op de Bitcoin-dataset: +18.2% verbetering in MAE, +29.1% in MSE.
  • Op FNSPID: +20.0% verbetering in MSE.
• Robuustheid: De methode presteerde consistent goed in scenario's met specifieke niet-stationaire patronen (vormovergangen, volatiliteitsveranderingen, mean shifts).
• Ablatie Studies:
  • Het verwijderen van de TESS-ruimte leidde tot een enorme prestatiedaling (MSE steeg met ~46%), wat aantoont dat de semantische distillatie essentieel is.
  • Het verwijderen van de gating-mechanisme leidde tot een kleinere maar significante daling, wat bevestigt dat het filteren van LLM-fouten cruciaal is voor stabiliteit.
• Convergentie: TESS convergeerde sneller en met een soepelere trainingsloss dan modellen die directe tekstfusering toepassen.

---

5. Betekenis en Impact

Dit paper is significant omdat het een fundamentele beperking in multimodale tijdreeksvoorspelling oplost. In plaats van te proberen tekst en cijfers direct te laten "praten" (wat vaak leidt tot ruis), introduceert het een semantische vertaallayer die de kwalitatieve wereld van tekst omzet in de kwantitatieve wereld van statistiek.

• Interpreteerbaarheid: De gebruikte primitieven (mean shift, volatility, etc.) zijn menselijk interpreteerbaar, in tegenstelling tot zwarte-doos embeddings.
• Toepasbaarheid: De methode is bijzonder waardevol in sectoren zoals financiën en energievoorziening, waar externe gebeurtenissen de markt of vraag drastisch kunnen veranderen.
• Toekomstige richting: Het paper suggereert dat de toekomst van multimodale forecasting ligt in het gebruik van "intermediere semantische ruimtes" die de kloof tussen natuurlijke taal en wiskundige signalen overbruggen via gestructureerde, expert-gedreven concepten.