Retrieval Mechanisms Surpass Long-Context Scaling in Time Series Forecasting

Technische Samenvatting: Retrieval-mechanismen overtreffen schaling van lange context bij voorspelling van tijdreeksen

Probleemstelling
Het artikel daagt de heersende "schalingshypothese" in Foundation Models voor Tijdreeksen (TSFMs) uit, die stelt dat het invoeren van langere historische contextvensters in modellen (overgenomen van Natural Language Processing) de voorspellingkwaliteit monotoon verbetert. De auteurs betogen dat deze premisse faalt in stochastische domeinen. In tegenstelling tot taal-tokens, die ongeacht hun positie semantische waarde behouden, vormen verre waarden in stochastische tijdreeksen vaak hoogfrequente ruis in plaats van signaal. Het artikel hypothesiseert dat de ongedifferentieerde uitbreiding van het contextvenster leidt tot een faalmodus genaamd Stochastische Ruisaccumulatie, waarbij irrelevante historische volatiliteit de attentiemechanismen overspoelt, waardoor het vermogen van het model om recente, informatieve patronen te wegen, wordt verdund.

Methodologie en Experimenteel Kader
Om deze hypothese empirisch te valideren, maakt de studie gebruik van de ETTh1-benchmark (Electricity Transformer Temperature), gekozen vanwege zijn hoogfrequente stochastische volatiliteit die signaalscheiding moeilijk maakt. Het experimentele ontwerp vergelijkt drie modelarchitecturen over variërende terugkijkvensterlengten ($L \in \{720, 1440, 3000\}$) met een vaste voorspellingshorizon ($H=96$):

1. Vanilla Transformer: Een standaard encoder-decoder architectuur ($d_{model}=512$, $n_{heads}=8$) om de basislijn-attentiegedrag te observeren.
2. PatchTST: De huidige state-of-the-art (SOTA) die kanaalonafhankelijke patching ($P=16, S=8$) gebruikt om lange sequenties efficiënt te verwerken.
3. Retrieval-Augmented Forecasting (RAFT): Een basislijn die een kort vast venster ($L=720$) handhaaft, maar relevante historische segmenten injecteert via top-$k$ cosine-sequentie-retrieval, en deze behandelt als dynamische exogene variabelen.

De studie evalueert ook zero-shot foundation modellen (Chronos en Moirai) op dezelfde dataset om te beoordelen of vooropleiding op enorme corpora de beperkingen van schaling van lange context kan overwinnen. Evaluatiemetrics omvatten de Gemiddelde Kwadratische Fout (MSE) en de Gemiddelde Absolute Fout (MAE).

Belangrijkste Bevindingen: De Omgekeerde Schalingswet
De experimenten onthullen een Omgekeerde Schalingswet voor stochastische tijdreeksen, die rechtstreeks in tegenspraak is met NLP-schalingswetten:

• Mislukking Lange Context: Naarmate het contextvenster uitbreidt, neemt de voorspellingsfout toe. Voor PatchTST veroorzaakt het vergroten van het venster van 720 naar 3.000 stappen een daling van 68% in prestaties (MSE stijgt van 0,385 naar 0,647). De Vanilla Transformer lijdt nog ernstiger, met een MSE-stijging van ongeveer 200%.
• Inflatie van Attentie-entropie: Mechanisme-analyse toont aan dat naarmate de contextlengte groeit, de genormaliseerde attentie-entropie stijgt van 0,952 ($L=336$) naar 0,989 ($L=3000$), wat neigt naar een uniforme verdeling. Dit geeft aan dat het attentiemechanisme ontaardt in het middelen over honderden irrelevante posities, waardoor het effectief het vermogen verliest om signaal van ruis te onderscheiden.
• Cross-domein Validatie: De degradatie is niet specifiek voor ETTh1. Op de Exchange Rate-dataset degradeert de prestatie van lange-context PatchTST met 276,8%, wat bevestigt dat ruisaccumulatie een structureel probleem is voor stochastische processen met hoge volatiliteit.

Resultaten: De Superieure Selectieve Retrieval
Het RAFT-model presteert beter dan alle lange-context configuraties en zero-shot foundation modellen:

• Prestaties: RAFT bereikt een MSE van 0,379 met een vast venster van 720 stappen en selectieve retrieval. Dit overtreft PatchTST bij 720 stappen (MSE 0,385) en presteert aanzienlijk beter dan PatchTST bij 3.000 stappen (MSE 0,647).
• Zero-Shot Vergelijking: Zelfs grote voorgetrainde foundation modellen slagen er niet in om RAFT te evenaren. Chronos-T5-Small (MSE 0,483) en Moirai-1.1-R-Small (MSE 0,553) presteren aanzienlijk slechter dan RAFT, wat aantoont dat de schaal van vooropleiding niet compenseert voor het ontbreken van gerichte contextretrieval in stochastische instellingen.
• Efficiëntie: RAFT is aanzienlijk rekenkundig efficiënter, met een trainingstijd van 2,13 minuten vergeleken met 83,47 minuten voor de 3.000-staps Vanilla Transformer, terwijl het superieure nauwkeurigheid levert.

Betekenis en Claims
Het artikel claimt dat de "Lange Context"-logica van Large Language Models niet direct kan worden overgeplant naar de stochastische wereld van tijdreeksen. De primaire bijdrage is de identificatie van Stochastische Ruisaccumulatie als een kritieke faalmodus waarbij een toename van het contextvolume leidt tot een afname van de nauwkeurigheid.

De auteurs betogen dat Kwaliteit van Context, en niet het Volume van Context, de bepalende factor is voor voorspellingsnauwkeurigheid. Door selectieve retrieval toe te passen, injecteert RAFT een "context-informeerde inductieve bias" die ruis filtert voordat het attentiemechanisme opereert. Het artikel concludeert dat toekomstige foundation modellen architecturaal moeten verschuiven naar selectieve retrieval-mechanismen in plaats van blinde vensteruitbreiding om robuuste, efficiënte en nauwkeurige voorspelling in stochastische domeinen te bereiken. Het werk suggereert dat het integreren van retrieval direct in de vooropleiding (bijvoorbeeld via dynamische retrieval-heads) de volgende grens voor TSFMs vertegenwoordigt.