Technische Samenvatting: TS-Memory

Probleemstelling

Time Series Foundation Models (TSFMs) hebben sterke zero-shot voorspellende vermogens aangetoond door grootschalige pre-training. Echter, hun inzetbaarheid in real-world scenario's wordt gehinderd door distributieverschuivingen (bijv. schaalveranderingen, seizoensgebonden discrepanties, sensorgestuurde variaties), die de prestaties van bevroren backbones ernstig verslechteren. Bestaande adaptatiestrategieën kampen met een fundamentele afruil:

1. Parametrische Adaptatie: Methoden zoals volledige of parameter-efficiënte fine-tuning (bijv. LoRA) passen gewichten aan voor het doel-domein, maar vereisen het onderhouden van afzonderlijke modelkopieën voor elk domein (hoge opslag-/onderhoudskosten) en lopen het risico op catastrofaal vergeten van algemene pre-training kennis.
2. Niet-parametrische Retrieval: Methoden zoals Retrieval-Augmented Generation (RAG) of metric matching behouden de bevroren backbone door tijdens de inferentie vergelijkbare historische instanties uit een externe database te halen. Hoewel effectief, brengt dit hoge inferentielatentie met zich mee die lineair schaalt met de grootte van de datastore, wat het ongeschikt maakt voor real-time of edge-implementatie.

De kernuitdaging is om de robuuste adaptiviteit van retrieval-gebaseerde methoden te vangen terwijl de constante-tijd inferentie en de eenvoud van implementatie van parametrische adapters behouden blijven.

Methodologie: Parametrische Memory Distillatie

De auteurs stellen TS-Memory voor, een "Plug-and-Play" framework gebaseerd op een nieuw paradigma genaamd Parametrische Memory Distillatie. De kerninzicht is dat de "kennis" die wordt geboden door online retrieval (specifiek, de voorspellende distributie geïmpliceerd door vergelijkbare inputs) offline kan worden gecompileerd in een compact neuraal module. Dit verschuift de retrieval-kosten van de inferentie-fase naar de trainingsfase.

TS-Memory werkt in twee stadia:

1. Constructie van Privileged Supervision (Offline)

Om lekkage tijdens de testfase te voorkomen, wordt een lekkage-veilige $k$NN-teacher geconstrueerd uitsluitend vanuit de trainingsset.

• Knowledge Base: Een database van voorbije contexten en hun gerealiseerde toekomsten wordt uitsluitend met de trainingssplit opgebouwd.
• Shift Alignment: Om distributieverschuivingen (bijv. niveau-offsets) op te vangen, worden kandidaat-buren opnieuw uitgelijnd met behulp van een trailing mean shift die kanaalsgewijs vóór de retrieval wordt berekend.
• Teacher Aggregation: Voor een gegeven input worden de top-$K$ dichtstbijzijnde buren opgehaald. Hun toekomstige trajecten worden geaggregeerd tot vertrouwensbewuste quantile targets ($\tilde{Q}_t$).
• Confidence Scoring: Een betrouwensscore ($Conf_t$) wordt afgeleid van de concentratie van de retrieval-gewichten. Deze score geeft de betrouwbaarheid van de opgehaalde distributie aan.

2. Confidence-Gated Memory Distillation (Training)

Een lichtgewicht, leerbare module (PlugMem) wordt getraind om de quantile targets van de teacher direct te voorspellen vanuit de input-context, zonder toegang te hebben tot de externe database.

• Architectuur: PlugMem is een lichtgewicht, leerbare encoder-decoder Transformer die onafhankelijk opereert van de bevroren TSFM backbone, wat zorgt voor plug-and-play compatibiliteit.
• Loss Functie: Het trainingsdoel combineert drie componenten:
  • Taak Supervisie ($\mathcal{L}_{task}$): Standaard quantile regressie tegen de grondwaarheid.
  • Confidence-Gated Distillatie ($\mathcal{L}_{align}$): De module stemt af met de quantile targets van de teacher alleen wanneer de teacher een betrouwbaar signaal levert. Dit wordt gestuurd door een binaire indicator ($\chi_t$) waar de teacher de backbone overtreft, gewogen door de confidence score ($Conf_t$). Het distilleert specifiek de incrementele correctie ($\Delta$) relatief aan de backbone om het leren van globale biases te voorkomen.
  • Stabiliteitsregularisatie ($\mathcal{L}_{reg}$): Bevat een anchor loss om overmatige aanpassing te voorkomen wanneer de retrieval onzeker is, en een crossing loss om monotone quantile outputs te garanderen.

3. Inferentie (Retrieval-Vrij)

Tijdens de inferentie voert TS-Memory een strikt retrieval-vrij proces uit:

1. De bevroren backbone ($f_\theta$) genereert basis quantile voorspellingen.
2. De PlugMem module ($g_\phi$) genereert complementaire quantile voorspellingen.
3. De uiteindelijke voorspelling is een quantile-wise lineaire interpolatie van de twee: $\hat{Q}_{final} = (1-\alpha)\hat{Q}_{base} + \alpha\hat{Q}_{mem}$.
   Dit resulteert in een $O(1)$ inferentielatentie, onafhankelijk van de omvang van de historische data.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het artikel introduceert Parametrische Memory Distillatie, waarbij dure online retrieval wordt getransformeerd naar een leerbaar, offline geheugenmechanisme. Dit overbrugt de kloof tussen parametrische adaptatie en niet-parametrische retrieval.
2. TS-Memory Ontwerp: Een lichtgewicht module die niet-parametrische $k$NN-distributies distilleert naar parametrische representaties. Het beschikt over een nieuw confidence-gated supervisie mechanisme dat kennis selectief overdraagt alleen wanneer de retrieval-signalen betrouwbaar zijn, wat negatieve transfer door ruisende retrievals voorkomt.
3. Efficiëntie & Prestaties: De methode bereikt consistente verbeteringen in zowel punt- als probabilistische voorspellingen over diverse TSFMs en benchmarks, terwijl de inferentielatentie vergelijkbaar blijft met de bevroren backbone (constante tijd overhead).

Experimentele Resultaten

De auteurs evalueerden TS-Memory op acht multivariate long-term forecasting benchmarks (bijv. ETTh1/2, Electricity, Traffic, Weather) met behulp van vier bevroren TSFM backbones (ChronosBolt, Chronos2, Sundial, TimesFM).

• Prestaties: TS-Memory presteerde consequent beter dan de bevroren backbone ("Origin") en andere adaptatie-baselines.
  • Over alle dataset-backbone paren heen verminderde het de MSE met gemiddeld 5,8% en de MAE met 2,1%.
  • De piekverbeteringen bereikten 16,0% in MSE en 6,0% in MAE.
  • Het verbeterde ook probabilistische metrieken (CRPS), wat wijst op beter gekalibreerde onzekerheid, terwijl LoRA soms de probabilistische prestaties verslechterde.
• Efficiëntie:
  • Latentie: In tegen tegenover online retrieval baselines (RAFT, TS-RAG) die aanzienlijke latentie veroorzaken (tot wel 100%+ toename door zoekopdrachten), voegt TS-Memory slechts een kleine constante overhead toe (~4-5% toename), vergelijkbaar met de bevroren backbone.
  • Opslag: Het vereist het opslaan van slechts een kleine module in plaats van meerdere modelkopieën (Parametrische Adaptatie) of een grote vector database (Niet-Parametrische Retrieval).
• Generalisatie:
  • Cross-Model Transfer: Een PlugMem getraind op één backbone (bijv. ChronosBolt-Base) verbeterde succesvol kleinere varianten en zelfs verschillende TSFM-families (bijv. Sundial, TimesFM) zonder heroptimalisatie.
  • Domeinverschuiving: De methode toonde robuustheid onder domeinverschuivingen, waarbij de winst positief schaalt met de uitlijning tussen het domein van de retrieval-supervisie en het doel-domein.

Betekenis en Claims

Het artikel claimt dat TS-Memory een superieur compromis biedt voor praktische implementatie door gelijktijdig aan drie kritieke eisen te voldoen:

1. Zero Inference Search: Het elimineert afhankelijkheden van externe vector databases tijdens runtime.
2. Constante Tijdcomplexiteit: De inferentielatentie is $O(1)$, onafhankelijk van de omvang van de kennisbank.
3. Niet-Destructieve Adaptatie: Het behoudt de bevroren backbone, waardoor catastrofaal vergeten wordt voorkomen.

De auteurs positioneren TS-Memory niet als een vervanging voor retrieval, maar als een mechanisme om de voordelen van retrieval te internaliseren in een lichtgewicht module. Door de "distributionele correcties" die door retrieval worden geïnduceerd te distilleren, stelt TS-Memory bevroren TSFMs in staat om zich aan te passen aan lokale domeinen met de snelheid van een standaard forward pass, waardoor retrieval-gebaseerde adaptiviteit haalbaar wordt voor real-time en edge toepassingen.

Erkende Beperkingen: De auteurs merken op dat de methode zich richt op long-horizon probabilistische forecasting en momenteel additieve kanaalsgewijze offsets behandelt. Het kan problemen ondervinden bij complexe temporele warping of abrupte regimeveranderingen als de retrieval-corpus slecht overeenkomt met het deployment-domein, hoewel het gating-mechanisme dit risico mitigeert.