Technische Samenvatting: Aandacht zonder Schatting

Probleemstelling

Het voorspellen van gerealiseerde volatiliteit (RV) is een fundamentele uitdaging in de financiële econometrie, cruciaal voor de prijsstelling van derivaten, risicobeheer en regulair kapitaal. Historisch gezien wordt dit domein gedomineerd door parametrische modellen, specif으로 de Heterogene Autoregressieve (HAR-RV) raamwerken en GARCH-familie modellen, die assetspecifieke parameterschattingen vereisen. Recentelijk zijn Time Series Foundation Models (TSFMs)—grote transformer-architecturen die zijn voorgetraind op heterogene corpora en op een zero-shot wijze worden ingezet—opgekomen als een potentieel paradigmaverschuiving. Echter, rigoureuze, reproduceerbare vergelijkingen tussen deze zero-shot foundation models en klassieke, sprong-robuuste econometrische benchmarks ontbraken. Dit artikel adresseert deze kloof door een wiskundig rigoureus raamwerk te ontwikkelen om TSFMs te vergelijken met state-of-the-art econometrische modellen in een gecontroleerde, offline omgeving waar propriëtaire checkpoints niet beschikbaar zijn.

Methodologie

1. Econometrische Benchmarks en Theoretische Uitbreidingen

De auteurs stellen een uitgebreide suite van econometrische benchmarks vast, die verder gaan dan standaard HAR-RV en GARCH(1,1):

• HAR-RV: Een lineaire regressie op dagelijkse, wekelijkse en maandelijkse RV-gemiddelden. Het artikel bewijst de consistentie en asymptotische normaliteit van de OLS-schatter onder bijna-long-memory regressor afhankelijkheid (Theorem 1).
• HARQ (Quarticity-Adjusted): Integreert gerealiseerde quarticity om ruizige dagelijkse lags te down-weighten, wat de meetfout in RV aanpakt.
• HAR-CJ (Jump-Robust): Decomponeert RV in continue en sprongcomponenten met behulp van bipower variatie om ze afzonderlijk te modelleren.
• GARCH(1,1) & EWMA: Standaard parametrische conditionele variantiemodellen.
• Theoretische Garanties: Het artikel leidt een log-normale biascorrectie af voor het exponentiëren van log-RV voorspellingen (Proposition 1) en stelt de asymptotische eigenschappen van de schatters vast.

2. TSFM Paradigma en Surrogaatmodel

Omdat propriëtaire TSFM-checkpoints (bijv. Chronos, TimesFM) niet gedownload kunnen worden in de offline omgeving van de auteurs, construeren zij een TSFM-surrogaat die het TSFM-paradigma getrouw instantiëren zonder aanspraak te maken op gelijkwaardigheid aan specifieke propriëtaire modellen.

• Architectuur: Een patch-gebaseerde transformer (volgens PatchTST) met instance normalisatie en een Gaussische probabilistische kop.
• Training: Voorgetraind vanaf nul op een panel van 15 synthetische assets.
• Inference: Strikt zero-shot geëvalueerd (bevroren gewichten, geen gradiënt updates) op 5 uitgesloten assets.
• Complexiteitsanalyse: Het artikel leidt de computationele complexiteit per laag af, waarbij wordt aangetoond dat hoewel de forward pass van de transformer $O(P^2d)$ is, het de $O(n)$ kosten van dagelijkse econometrische her-schatting vermijdt, wat een amortisatievoordeel biedt in multi-asset settings (Proposition 6).

3. Statistische Leertheorie

Het artikel biedt formele grenzen om te karakteriseren wanneer zero-shot transfer gerechtvaardigd is:

• Rademacher Complexiteit: Een norm-gebaseerde generalisatiegrens voor de patch-transformer functiegroep (Theorem 2).
• PAC-Bayesiaanse Transfer Bound: Een grens op de zero-shot transfer risico van trainings-assets naar een uitgesloten asset, waarbij in-sample fit, modelcomplexiteit en distributionele discrepantie expliciet worden gescheiden (Theorem 3). Dit formaliseert de intuïtie dat foundation models grote pretraining-panels vereisen om de complexiteitsstraffen te overwinnen.

4. Evaluatie Raamwerk

Een robuust statistisch evaluatie-apparaat wordt gehanteerd:

• Verliesfuncties: RMSE, MAE, en QLIKE (bewezen robuust tegen ruizige volatiliteit-proxies volgens Patton [31]).
• Probabilistische Scoring: Continuous Ranked Probability Score (CRPS) voor Gaussische predictieve distributies.
• Hypothesetesten: Diebold–Mariano testen voor paarwijze nauwkeurigheid en een stationary-bootstrap Model Confidence Set (MCS) voor gezamenlijke modelvergelijking.
• Data: Een realistische synthetische panel van 20 assets gegenereerd vanuit een Heston stochastisch volatiliteitsmodel met sprongen, wat de directe berekening van gerealiseerde quarticity en bipower variatie uit intraday paden mogelijk maakt.

Belangrijkste Resultaten

1. Prestatiehiërarchie

• TSFM vs. GARCH/EWMA: De TSFM-surrogaat presteert statistisch significant beter dan GARCH(1,1) en EWMA over alle verliesfuncties (RMSE, QLIKE) en testprocedures (Diebold–Mariano, MCS).
• TSFM vs. HAR Familie: De TSFM-surrogaat wordt significant minder goed presteerd door de gehele HAR-familie (HAR-RV, HARQ, HAR-CJ) in paarwijze Diebold–Mariano testen. HARQ en HAR-CJ bereiken de laagste foutpercentages, wat de waarde van sprong- en meetfout-robuustheid in het synthetische data-genererende proces bevestigt.
• Model Confidence Set (MCS): Cruciaal is dat, hoewel paarwijze testen laten zien dat de TSFM slechter is dan de HAR-varianten, de gezamenlijke Model Confidence Set (90% vertrouwen) de TSFM-surrogaat samen met de gehele HAR-familie bevat. Dit geeft aan dat, wanneer rekening wordt gehouden met meerdere vergelijkingen, de TSFM statistisch ononderscheidbaar is van de best presterende econometrische modellen.

2. Contextlengte en Architectuur

• Context Ablatie: De zero-shot nauwkeurigheid verbetert monotoon naarmate het contextvenster van de transformer groter wordt (van $L=16$ naar $L=64$). De $L=64$ variant presteert beter dan de $L=32$ baseline, wat suggereuert dat het model de voordelen van langere lookback-horizonten nog niet volledig heeft verzadigd, wat de afhankelijkheid van HAR van multi-maand lags spiegelt.
• Kalibratie: De predictieve distributie van de TSFM-surrogaat (via CRPS) is competitief met en iets beter gekalibreerd dan de plain HAR-RV, wat de kracht van de geleerde onzekerheidskwantificatie benadrukt.

3. Computationele Efficiëntie

• Hoewel de enkele-sample forward pass van de TSFM-surrogaat momenteel trager is in wall-clock tijd dan de OLS-gebaseerde HAR her-fitting bij de gebruikte steekproefgroottes ($n \approx 1.250$), betoogt het artikel dat het praktische voordeel ligt in amortisatie: een enkele bevroren netwerk dient alle assets zonder per-asset her-schatting, wat de operationele complexiteit van het onderhouden van aparte econometrische pipelines elimineert.

Betekenis en Claims

Het artikel claimt een genuanceerde, wiskundig gefundeerde vergelijking te bieden in plaats van een simpele "winnaar-neemt-alles" conclusie. De primaire bijdragen zijn:

1. Verfijning van het Paradigma Debat: De resultaten suggereren dat lang-geheugen autoregressieve structuren (HAR-familie) extreem moeilijk te verslaan blijven op stationaire, single-regime data. De sterkste claim van de TSFM is niet dat het HAR direct "verslaat", maar dat het statistische ononderscheidbaarheid bereikt van de beste modellen terwijl het de architecturale voordelen biedt van geen per-asset her-schatting.
2. Theoretische Rechtvaardiging voor Schaal: Door middel van Theorem 3 (PAC-Bayes grens), formaliseert het artikel dat het huidige nadeel van de TSFM ten opzichte van HAR deels te wijten is aan het kleine pretraining-panel ($N=15$). De complexiteitsstraf in de grens schaalt met $1/\sqrt{n}$, wat impliceert dat echte verbetering van foundation models waarschijnlijk een pretraining op orders van grootte meer heterogene data vereist om de complexiteitsterm verwaarloosbaar te maken.
3. Methodologische Rigor: Het artikel stelt een reproduceerbaar protocol vast voor het evalueren van foundation models in offline settings, waarbij bewezen wordt dat een custom-getrainde surrogaat geldig kan testen op het paradigma (patch-attention, zero-shot transfer) zonder dat hiervoor propriëtaire checkpoints nodig zijn.
4. Gevoeligheid voor Verliesfuncties: De studie demonstreert dat de rangorde van modellen en de lidmaatschap van het Model Confidence Set niet loss-invariant zijn. De TSFM wordt uitgesloten van de MCS onder squared-error loss (door gevoeligheid voor volatiliteitspieken), maar opgenomen onder QLIKE, wat de noodzaak voor robuuste verliesfuncties zoals QLIKE in volatiliteitsvoorspelling benadrukt.

Concluderend stelt het artikel dat hoewel foundation models veelbelovend zijn en architecturale expressiviteit tonen (bewezen via Proposition 5 dat zij HAR-structuren insluiten), hun praktische superioriteit over klassieke econometrie afhankelijk is van schaal (grote, heterogene pretraining-panels) en deployment condities (regime shifts, cross-asset heterogeniteit) die niet volledig aanwezig waren in deze synthetische, single-regime studie.