Investigating simple target-covariate relationships for Chronos-2 and TabPFN-TS

Technische Samenvatting: Onderzoek naar Simpele Doel-Covariaatrelaties voor Chronos-2 en TabPFN-TS

Probleemstelling
Time Series Foundation Models (TSFMs) hebben recentelijk state-of-the-art prestaties aangetoond in zero-shot univariate voorspelling, waarbij ze vaak toonaangevende supervised deep learning-baselines overtreffen. Echter, toepassingen in de echte wereld vereisen frequent het benutten van dynamische covariaten (bijvoorbeeld in de energiesector of retail). Hoewel recente architecturen zoals Chronos-2 en TabPFN-TS gericht zijn op het integreren van covariaten, bieden bestaande benchmarks op grote schaal (bijvoorbeeld fev-bench) beperkt inzicht in hoe effectief deze modellen specifieke doel-covariaatafhankelijkheden vastleggen. Dit artikel adresseert de lacune in het begrijpen of de sterke benchmarkprestaties van deze modellen vertalen naar een accurate modellering van simpele, gecontroleerde relaties tussen doelen en covariaten.

Methodologie
De auteurs ontwerpen een reeks gecontroleerde experimenten met minimale taken die specifiek zijn ontworpen om doel-covariaatafhankelijkheden te isoleren. De studie vergelijkt twee toonaangevende TSFMs:

1. Chronos-2: Een model dat tijd- en groepsattentielagen gebruikt, voorgetraind op synthetische multivariate data.
2. TabPFN-TS: Een aanpassing van het TabPFN tabulaire foundation model, voorgetraind op miljoenen synthetische regressietaken en aangepast voor tijdreeksen via zorgvuldig ontworpen kenmerken.

De experimentele opzet omvat vier distincte scenario's over real-world datasets (Electricity, Solar, Traffic) en synthetische datasets (Random Walk, KernelSynth):

• Identiteit: De covariaat is identiek aan het doel.
• Som: Het doel is de som van twee synthetische tijdreeksen ($Z = X + Y$).
• Aggregatie: Het doel is een complexe aggregatie van real-world series ($Z = \sqrt{X} + Y - Z^2$).
• Kwadratisch: Het doel volgt een kwadratische relatie met synthetische inputs ($Z = a + bX + cY^2$).
• Auto-regressieve Extensie: Een extra experiment introduceert een temporele afhankelijkheidsterm ($\phi Z_{t-1}$) aan de kwadratische taak om de verschuiving in modelprestaties waar te nemen naarmate temporele afhankelijkheid toeneemt ten opzichte van covariaatafhankelijkheid.

Prestaties worden geëvalueerd met behulp van Genormaliseerde Gemiddelde Kwadratische Fout (NMSE) over variërende look-back ($L$) en horizon ($H$) vensters.

Belangrijkste Resultaten
De experimenten leveren enkele kritieke bevindingen op over het vermogen van de modellen om covariaatinformatie te benutten:

• Superioriteit van TabPFN-TS bij Simpele Relaties: In de Identiteit, Som en Kwadratische experimenten presteert TabPFN-TS consistent beter dan Chronos-2, met name voor korte voorspellingshorizons. In het Identiteitsexperiment, waarbij het doel wordt aangeleverd als covariaat, bereikt TabPFN-TS aanzienlijk lagere fouten dan Chronos-2, zelfs al is Chronos-2 een sterkere univariate voorspeller op zich.
• Voordeel bij Korte Horizon: TabPFN-TS toont een duidelijk voordeel in settings met korte horizon. De auteurs hypothetiseren dat dit komt doordat de input- en outputkenmerken in korte horizonnen meer gelijksoortig verdeeld zijn, wat lijkt op de onafhankelijke en identiek verdeelde (i.i.d.) regressieproblemen die tijdens de voortraining van TabPFN werden aangetroffen.
• Robuustheid van Covariaatkenmerken: In het Aggregatie-experiment leidde het verwijderen van tijd-embeddings uit TabPFN-TS en het uitsluitend vertrouwen op covariaatkenmerken (TabPFN(cov)) niet tot een verslechtering van de prestaties; in feite werd het het meest efficiënte model voor kortetermijnsettings.
• Verschuiving in Prestaties met Temporele Afhankelijkheid: In de auto-regressieve extensie, naarmate de coëfficiënt $\phi$ (die temporele afhankelijkheid vertegenwoordigt) toeneemt, verkleint de prestatiekloof en keert deze uiteindelijk om. Chronos-2 begint TabPFN-TS te overtreffen naarmate de taak verschuift van een puur niet-lineair regressieprobleem naar een die gedomineerd wordt door temporele structuur. Dit suggereert dat de effectiviteit van het model afhankelijk is van de relatieve belangrijkheid van tijd-naar-doel versus covariaat-naar-doel relaties.

Betekenis en Claims
Het artikel claimt dat, hoewel Chronos-2 domineert in benchmarks voor voorspelling op basis van covariaten op grote schaal, deze dominantie niet automatisch optimale modellering impliceert van simpele covariaat-doelafhankelijkheden. De resultaten geven aan dat TabPFN-TS, door gebruik te maken van zijn voortraining op expressieve priors en uitgebreide synthetische regressietaken, deze specifieke relaties betrouwbaarder vastlegt.

De auteurs concluderen dat er aanzienlijk potentieel is om toekomstige TSFMs te ontwerpen die de expliciete temporele afhankelijkheidsmodellering zoals gevonden in Chronos-2 combineren met de in-context regressiecapaciteiten die zijn geïnspireerd door TabPFN-TS. Deze hybride aanpak wordt gepresenteerd als een veelbelovende richting voor het ontwikkelen van effectievere covariaat-bewuste foundation modellen voor tijdreeksen.