TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

Tijdreeksvoorspelling is de wetenschap van het bekijken van een reeks getallen die in de loop van de tijd zijn opgenomen om te raden wat er hierna zal gebeuren. Het is de motor achter het voorspellen van alles, van de prijs van benzine tot de verspreiding van een griepuitbraak. Decennialang vertrouwden de meest succesvolle methoden bijna volledig op de getallen zelf, waarbij patronen in het verleden werden gezocht om deze naar de toekomst te projecteren. De echte wereld is echter zelden slechts een stroom van getallen. Het is een complex systeem dat wordt beïnvloed door nieuwsberichten, overheidsbeleid en onverwachte gebeurtenissen die vaak als tekst verschijnen in plaats van als datapunten. Terwijl mensen van nature een nieuwsbericht over een verstoring in de toeleveringsketen lezen en hun verwachtingen voor toekomstige prijzen aanpassen, hebben traditionele computermodellen moeite gehad om hetzelfde te doen. Ze behandelen tekst vaak als een aparte, verwarrende laag die moeilijk af te stemmen is op de vloeiende stroom van numerieke gegevens, wat leidt tot voorspellingen die de plank misslaan wanneer de wereld verandert.

Een team onderzoekers aan de Tsinghua Universiteit heeft een nieuwe manier voorgesteld om deze kloof te overbruggen door een systeem genaamd TiMi te introduceren. In plaats van te proberen tekst en getallen in hetzelfde rigide formaat te dwingen, behandelt hun aanpak de twee als afzonderlijke maar samenwerkende gidsen. De kern van het idee is om een groot taalmodel, een type kunstmatige intelligentie dat getraind is op enorme hoeveelheden menselijke teksten, te gebruiken om de tekst te lezen en te redeneren over wat het voor de toekomst betekent. Het model onthoudt niet alleen de woorden; het analyseert ze om causale factoren af te leiden, zoals of een nieuw beleid de verkopen zal doen stijgen of dalen. Deze redenering wordt vervolgens doorgegeven aan een gespecialiseerde voorspellingsmotor die deze inzichten gebruikt om de numerieke voorspellingen te verfijnen. De onderzoekers ontdekten dat door het taalmodel als een gids voor de getallen te laten fungeren, in plaats van te proberen ze samen te smelten tot één rommelige mix, het systeem aanzienlijk nauwkeurigere voorspellingen kon doen.

De onderzoekers testten deze methode op zestien verschillende real-world datasets, variërend van diverse velden zoals landbouw, klimaat, energie en volksgezondheid. In deze tests presteerde het nieuwe systeem consequent beter dan bestaande geavanceerde modellen, inclusief die welke eerder geprobeerd hadden tekst en getallen te combineren. De resultaten waren bijzonder opvallend in scenario's waarin de tekst een duidelijke reden bood voor een verandering in de cijfers, zoals een rapport over een terugroepactie van een smartphone die een scherpe daling in de verkopen veroorzaakte. In deze gevallen gebruikte het nieuwe systeem de tekst succesvol om de daling te anticiperen, terwijl andere modellen de plotselinge verschuiving vaak niet wisten te vangen. De studie suggereert dat de sleutel tot betere voorspellingen niet ligt in het dwingen van verschillende soorten gegevens om hetzelfde te lijken, maar in het toestaan dat elk zijn beste kant laat zien: tekst levert het verhaal en de oorzaak, terwijl getallen het verslag en de trend leveren.

Om dit werkend te krijgen, ontwierp het team een modulair systeem dat werkt als een set gespecialiseerde adviseurs. Eén deel van het systeem richt zich volledig op de historische getallen en leert de langetermijnritmes en patronen van de gegevens. Een ander deel richt zich op de tekst, waarbij het taalmodel wordt gebruikt om gestructureerde inzichten over toekomstige trends te extraheren, zoals of de vooruitzichten toenemend, afnemend of stabiel zijn. Deze twee informatiestromen worden vervolgens samengebracht op een manier die het systeem in staat stelt om de meest relevante adviezen te kiezen voor het specifieke moment. Als de tekst suggereert dat er een belangrijke gebeurtenis aankomt, leunt het systeem zwaar op dat inzicht. Als de tekst vaag of irrelevant is, vertrouwt het systeem meer op de historische patronen. Deze flexibiliteit stelt het model in staat om om te gaan met chaotische, real-world gegevens waarbij tekst en getallen mogelijk niet tegelijkertijd of in hetzelfde formaat arriveren.

De onderzoekers onderzochten ook hoe goed dit systeem werkt wanneer de gegevens onregelmatig zijn, wat gebruikelijk is in de echte wereld. In veel situaties komen nieuwsberichten op onvoorspelbare tijden naar buiten, of ontbreken er gegevens voor bepaalde dagen. Traditionele modellen worstelen vaak met deze hiaten, maar het nieuwe systeem gaat er gemakkelijk mee om. Omdat het de tekst en de getallen apart verwerkt voordat het de inzichten combineert, vereist het geen perfecte timing tussen de twee. In tests op onregelmatige datasets verminderde het systeem de voorspellingsfouten met bijna dertig procent vergeleken met standaardmethoden. Deze robuustheid suggereert dat de aanpak niet slechts een theoretische verbetering is, maar een praktisch hulpmiddel dat kan werken met de imperfecte, asynchrone gegevens die in de werkelijke praktijk worden aangetroffen.

Een cruciaal onderdeel van de studie betrof het begrijpen van hoe het systeem zijn beslissingen neemt. De onderzoekers ontdekten dat het systeem soortgelijke soorten datatrends van nature bij elkaar groepeerde. Bijvoorbeeld, wanneer het systeem werd gevraagd de toekomst te voorspellen van een dataset die een sterke opwaartse trend vertoonde, vertrouwde het consistent op één specifiek deel van zijn interne logica. Wanneer de trend omlaag ging, schakelde het over naar een ander deel. Dit gedrag geeft aan dat het systeem niet alleen gokt; het leert te specialiseren door verschillende "experts" binnen zijn brein toe te wijzen om verschillende soorten toekomstige scenario's te behandelen. Bovendien toonde de studie aan dat de kwaliteit van de tekst ertoe doet. Wanneer de onderzoekers het systeem voedden met ruisende of irrelevante tekst, daalde de prestatie van het systeem slechts licht, wat bewees dat het de ruis kan filteren en zich op het signaal kan richten.

De bevindingen dagen het heersende idee uit dat de beste manier om tekst en getallen te combineren het samenvoegen ervan is tot één enkele, verenigde representatie. Eerdere pogingen probeerden vaak tekst te vertalen naar een numerieke code die direct gemengd kon worden met de tijdreeksgegevens, een proces dat vaak de betekenis van de tekst verwaterde. De nieuwe aanpak verwerpt deze fusie ten gunste van een geleide interactie. Door de tekst te behouden als een bron van causale redenering en de getallen als het onderwerp van voorspelling, behoudt het systeem de unieke sterktes van beide. De onderzoekers demonstreerden dat deze methode werkt in een breed scala aan domeinen, van het volgen van griepgevallen tot het voorspellen van verkeersdrukte, wat suggereert dat het vermogen om tekst te lezen en te redeneren een universele troef is voor voorspellingen.

Uiteindelijk biedt het werk een duidelijk pad vooruit voor kunstmatige intelligentie in de tijdreeksanalyse. Het laat zien dat de toekomst van voorspelling misschien niet ligt in het bouwen van grotere, complexere modellen die proberen alles tegelijk te doen, maar in het ontwerpen van systemen die weten hoe ze naar verschillende soorten informatie moeten luisteren. Door een taalmodel het nieuws te laten lezen en een voorspellingsmodel de getallen te laten observeren, en hen vervolgens samen te laten werken, bereikt het systeem een niveau van nauwkeurigheid en aanpassingsvermogen dat zij alleen nooit zouden kunnen bereiken. De resultaten suggereren dat voor iedereen die de toekomst van complexe systemen probeert te voorspellen, het verhaal achter de getallen net zo belangrijk is als de getallen zelf.