Technische Samenvatting: Waarom hebben tijdreeksmodellen lange contextvensters nodig?

Probleemformulering

Moderne deep learning-benaderingen voor het voorspellen van groepen tijdreeksen, met name foundation models, leunen steeds vaker op lange observatievensters. Terwijl de gangbare verklaring deze behoefte toeschrijft aan het vastleggen van langetermijn-temporele afhankelijkheden, betogen de auteurs dat dit standpunt incompleet is. Het artikel stelt dat het trainen van een globaal model op een collectie tijdreeksen die gegenereerd zijn door diverse processen, twee onderscheidende, gekoppelde doelstellingen omvat:

1. Generative Process Identification (GPI): Het afleiden van het specifieke latente stochastische proces ($\phi_n$) dat de geobserveerde inputsequentie heeft gegenereerd.
2. Conditional Forecasting (CF): Het voorspellen van toekomstige waarden onder conditie van het verleden, uitgaande van een bekend proces.

Het kernprobleem dat wordt aangepakt, is het begrijpen van waarom globale modellen, vooral die inductief getraind zijn op heterogene data (foundation models), inputvensters nodig hebben die aanzienlijk groter zijn dan de theoretische geheugenlengte ($P$) van de onderliggende processen om een optimale prestatie te behalen. Het artikel daagt de aanname uit dat lange vensters uitsluitend bedoeld zijn voor het vastleggen van temporele afhankelijkheden, en suggereert in plaats daarvan dat ze noodzakelijk zijn om de onzekerheid over het datagenereerende proces te verminderen.

Methodologie en Theoretisch Kader

Theoretische Decompositie

De auteurs formaliseren de voorspellingsopgave als het minimaliseren van de verwachte loss over een familie van stochastische processen. Door de wet van de totale conditionele verwachting toe te passen, decomponeren zij de optimale voorspeller in een Bayesiaans posterieur gemiddelde:
$$\hat{x}_t = \int \mathbb{E}[x_t | x_{t-W:t}, \phi] \cdot p(\phi | x_{t-W:t}) \, d\phi$$
Hierbij vertegenwoordigt de term $\mathbb{E}[x_t | x_{t-W:t}, \phi]$ de Conditional Forecasting (CF) component, terwijl $p(\phi | x_{t-W:t})$ de Generative Process Identification (GPI) component vertegenwoordigt. Het inputvenster $W$ dient twee rollen:

• Voor CF: Alleen de meest recente $P$ observaties (waarbij $P$ de geheugenlengte van het proces is) zijn strikt noodzakelijk.
• Voor GPI: Het gehele venster biedt bewijs om de posterieurverdeling over de procesparameters $\phi$ te laten krimpen.

Theoretische Bewijzen

Het artikel bewijst Theorema 3.2, dat stelt dat voor processen met geheugenlengte $P$, een inputvenstergrootte $W > P$ een noodzakelijke voorwaarde is om de minimaal haalbare fout (de irreducibele ruisvariantie) in een globale setting te bereiken.

• Aanname: Het artikel gaat ervan uit dat verschillende processen binnen de familie niet uniek geïdentificeerd kunnen worden vanuit slechts de laatste $P$ observaties (oftewel, de variantie van de conditionele verwachting over mogelijke processen is niet nul gegeven $P$ observaties).
• Implicatie: Zelfs als de ware temporele afhankelijkheden kort zijn, vereist de onzekerheid over welk proces de data genereert, aanvullende observaties om die onzekerheid op te lossen. Dit wordt geframed als een vorm van In-Context Learning (ICL), waarbij het model een latente taakvariabele (de procesparameters) afleidt uit de inputsequentie.

Experimenteel Ontwerp

De auteurs valideren hun theorie via:

1. Synthetische Experimenten: Het genereren van tijdreeksen uit Non-Lineaire Autoregressieve (NAR) en Lineaire AR-processen met bekende orden ($P$). Zij vergelijken lokale modellen (getraind op een enkele reeks) met globale modellen (getraind op meerdere series) en modellen die gebruikmaken van een "context" (een historische sequentie gescheiden door een gat van het voorspellingsvenster).
2. Foundation Model Probing: Het testen van getrainde foundation models (Moirai2, TimerXL) door hen een kort continu venster plus een verre historische context te voeden. Als de prestaties afhangen van langetermijn-temporele afhankelijkheden, zou de kloof de nauwkeurigheid moeten verslechteren; als het afhangt van GPI, zou de verre context de nauwkeurigheid moeten behouden of verbeteren.
3. Domeinspecifiek vs. Foundation Modellen: Het vergelijken van modellen getraind op één domein met modellen getraind op meerdere domeinen om de "kosten" van GPI in termen van vereist venster te kwantificeren.
4. Gedecoupleerde Architectuur: Het voorstellen van een ontwerp waarbij GPI en CF worden gescheiden. Een module $G(\cdot)$ verwerkt een lange historische context om een latente embedding $e_n$ te produceren, die vervolgens wordt gebruikt door een lichtgewicht voorspeller $F(\cdot)$ die opereert op een recent kort venster.

Kernbijdragen

1. Probleemformulering: Het artikel herdefinieert globale tijdreeksvoorspelling als een dubbele taak van GPI en CF, en biedt een kader om tijdreeks-foundation models te karakteriseren.
2. Theoretische Noodzaak van $W > P$: Het bewijst dat voor globale modellen het inputvenster strikt groter moet zijn dan de geheugenlengte van het proces om de fout te minimaliseren, gedreven door de noodzaak om het genererende proces te identificeren.
3. Empirisch Bewijs voor GPI: Experimenten tonen aan dat foundation models profiteren van historische context, zelfs wanneer deze gescheiden is door een temporele kloof, wat bevestigt dat zij inputdata gebruiken voor procesidentificatie in plaats van enkel voor het modelleren van temporele afhankelijkheden.
4. Kostenanalyse: De studie demonstreert dat foundation models aanzienlijk langere vensters nodig hebben dan domeinspecifieke globale modellen om de prestaties te evenaren, wat wordt toegeschreven aan de hogere onzekerheid (variantie) in de pretraining-distributie.
5. Methodologische Voorstel: De auteurs stellen voor om GPI en CF te ontkoppelen om de schaalbaarheid te verbeteren. Door de kosten van GPI (het verwerken van lange contexten) te amorteren en de resulterende embeddings te hergebruiken voor meerdere voorspellingen, vermindert de aanpak de computationele kosten (FLOPs, geheugen, latentie) zonder de nauwkeurigheid in gevaar te brengen.

Resultaten

• Synthetische Data: Globale modellen hadden $W \gg P$ nodig om de foutvloer van lokale modellen te benaderen. Echter, wanneer ze werden voorzien van een lange historische context (gescheiden door een kloof) en een kort venster ($W=P$), bereikten globale modellen een bijna optimale fout, wat bevestigt dat de extra data werd gebruikt voor GPI, niet voor temporele afhankelijkheid.
• Foundation Models: Wanneer getest op real-world datasets (verkeer, energie, klimaat), behielden foundation models (Moirai2, TimerXL) hun prestaties met een kort venster ($W=24$) indien een lange historische context ($C=720$) werd meegeleverd, ondanks de temporele kloof. Dit suggereert dat de modellen het proces uit de context afleidden in plaats van te vertrouwen op continue langetermijn-afhankelijkheden.
• Multi-Domain Training: Modellen getraind op meerdere domeinen (die foundation models simuleren) vereisten grotere vensters om de prestaties van single-domain modellen te evenaren. Het vergroten van de venstergrootte stelde multi-domein modellen in staat om prestaties te herstellen door de procesonzekerheid te verminderen.
• Gedecoupleerde Architectuur: Het voorgestelde gedecoupleerde ontwerp (lange context voor GPI, kort venster voor CF) bereikte Pareto-optimale prestatie-kostenverhoudingen. Het evenaarde de nauwkeurigheid van standaardmodellen met grote vensters, terwijl het de computationele kosten aanzienlijk verminderde (tot 27x reductie in FLOPs en geheugen in sommige scenario's) door de GPI-embedding te cachen.

Betekenis en Claims

Het artikel claimt een fundamentele verschuiving te bieden in het begrip waarom tijdreeks-foundation models lange contextvensters nodig hebben. In plaats van lange vensters louter te zien als een mechanisme om langetermijn-temporele afhankelijkheden te vangen, betogen de auteurs dat ze essentieel zijn voor het verminderen van de onzekerheid over het datagenereerende proces (GPI).

De betekenis van dit inzicht ligt in:

• Ontwerpprincipes: Het suggereert dat toekomstige foundation models niet simpelweg monolithisch de venstergroottes moeten opschalen. In plaats daarvan zouden architecturen expliciet de taken van het identificeren van de procescontext en het uitvoeren van de voorspelling moeten ontkoppelen.
• Efficiëntie: Door GPI (dat eenmaal berekend kan worden en gecached kan worden) te scheiden van CF (dat frequent berekend wordt), kunnen modellen een hoge nauwkeurigheid bereiken met lagere computationele overhead, wat ze schaalbaarder maakt voor real-world implementatie.
• Interpreteerbaarheid: Het werk legt een theoretische link tussen tijdreeksvoorspelling en In-Context Learning (ICL), waarbij het inputvenster wordt geframed als een set voorbeelden die worden gebruikt om een latente taakvariabele af te leiden.

De auteurs blijven bescheiden en merken op dat hoewel zij de relevantie van deze inzichten demonstreren, de ontwikkeling van een volwaardig foundation model gebaseerd op deze gedecoupleerde architectuur aan toekomstig onderzoek wordt overgelaten. Zij erkennen ook dat voor zeer tijdvariërende processen de statische aard van de GPI-embedding dynamische updates kan vereisen, wat een openstaande richting voor toekomstig onderzoek is.