Technische Samenvatting: Emergente Latente Toestandsberekening onder Stochastische Volatiliteit

Probleemstelling

Mechanistische interpreteerbaarheidsresearch heeft zich voornamelijk gericht op taalmodellen en deterministische synthetische taken waarbij de doelberekeningen volledig observeerbaar zijn. Er is een aanzienlijke kloof in het begrip van hoe neurale sequentiemodellen interne representaties van latente stochastische dynamiek representeren in ruisige, gedeeltelijk geobserveerde omgevingen.

Dit artikel adresseert deze kloof met behulp van Stochastische Volatiliteitsmodellen (SV-modellen) als een gecontroleerde benchmark. In SV-modellen zijn rendementen ruisige observaties van een onwaargenomen latente log-volatiliteitstoestand ($h_t$). In tegenstelling tot ARCH/GARCH-modellen, waarbij volatiliteit een deterministische functie is van het verleden van de rendementen, vereisen SV-modellen dat het model impliciete filtering uitvoert om verborgen toestanden uit ruisige data af te leiden. De uitdaging is om te bepalen of kleine neurale netwerken, die uitsluitend getraind zijn om toekomstige gekwadrateerde rendementen ($r^2_{t+1}$) te voorspellen, interne representaties van de ware latente volatiliteitstoestand ($h_{t+1}$) herstellen en hoe deze representaties emergeren over de netwerkarchitectuur.

Methodologie

Experimentele Opzet

• Datageneratie: De auteurs maken gebruik van een gecontroleerd Multivariaat Stochastisch Volatiliteitsproces (MSV) met $N=6$ activa. Rendementen ($r_t$) worden gegenereerd als ruisige observaties van een latente log-volatiliteitstoestand ($h_t$) die een lineair toestandsruimtemodel met cross-asset spill-overs volgt.
• Taak: Modellen worden getraind om het volgende gekwadrateerde rendement ($y = r^2_{T+1}$) te voorspellen, gegeven een historie van $T=21$ voorgaande rendementen. De grondwaarheid van de latente toestand $h_{T+1}$ is bekend bij de onderzoeker, maar verborgen voor het model.
• Architecturen:
  • Transformer: Een compacte encoder met één laag en één attention head. Activa worden behandeld als tokens met rendementen als features. De architectuur bevat lineaire embedding, $\ell_2$-normalisatie, positional embeddings, self-attention, en een feed-forward netwerk (FFN) met GELU-activatie.
  • MLP Baseline: Een drie-laags MLP die de historie van elk actief onafhankelijk verwerkt, om het effect van attention-gebaseerde cross-asset interacties te isoleren.
• Trainingsdoelstellingen: Twee verliesfuncties worden vergeleken:
  1. MSE: Gemiddelde kwadratische fout op gekwadrateerde rendementen (een ruisige proxy voor voorwaardelijke variantie).
  2. NLL: Gaussische negatieve log-likelihood, die theoretisch is afgestemd op de schatting van de voorwaardelijke variantie.

Analyse technieken

• Lineaire Probing: Ridge-regressie probes worden gefit op intermediaire verborgen representaties ($z_i$) om de lineaire decodeerbaarheid van de latente toestand $h_{i, T+1}$ te meten.
• Fase-gewijze Analyse: De auteurs volgen de decodeerbaarheid ($R^2$) bij elke architecturale fase (embedding, normalisatie, attention, FFN, output) om te identificeren waar latente informatie emergeert.
• Causale Interventies:
  • Output-head vervanging: Het vervangen van de geleerde output head door een probe-aligned readout om te testen of de voorspellingsdegradatie voortkomt uit representatiefalen of uit readout-misalignement.
  • Activatie Ablatie: Het verstoren van specifieke componenten (bijv. post-$\ell_2$ normalisatie) om de downstream effecten op decodeerbaarheid en voorspellingsfouten te meten.

Belangrijkste Bevindingen

1. Robuuste Tweefasige Latente Toestandsdecompositie

Over zowel Transformers als MLPs, en ongeacht de verliesfunctie of activatie, vertonen de modellen een consistente tweefasige berekening:

1. Latente Inferentie: Verborgen representaties coderen substantiële informatie over de volgende latente volatiliteitstoestand ($h_{T+1}$). Lineaire probes bereiken een hoge $R^2$ (vaak >0.85) over verschillende architecturen.
2. Forecast Mapping: De output head brengt deze representatie in kaart naar gekwadrateerde rendement-voorspellingen.

• Observatie: Onder MSE-training vertoont de geleerde output head vaak een aanzienlijk lagere alignment ($R^2$) met de latente toestand vergeleken met de probe, zelfs wanneer de verborgen toestand zeer decodeerbaar is. Dit suggjereert dat fouten in de voorspelling onder MSE vaak voortkomen uit readout-misalignment in plaats van een falen in het coderen van de latente toestand.

2. Fase-gewijze Emergentie in Transformers

Het punt waarop de decodeerbaarheid van de latente toestand emergeert, hangt kritiek af van de volatiliteitscyclus ($\omega$):

• Lang-cyclus Regimes ($\omega \ge 365$): Decodeerbaarheid emergeert direct na de $\ell_2$-normalisatie van de lineaire embedding. De representatie wordt grotendeels decodeerbaar vóór de verwerking door attention of FFN.
• Intermediaire Regimes ($\omega \in \{30, 90\}$): Decodeerbaarheid vereist aanvullende verfijning door de FFN na de attention.
• Kort-cyclus Controle ($\omega = 21$): Decodeerbaarheid is nabij nul totdat positional embeddings worden toegevoegd, waarna het springt naar $\approx 1.0$. Dit suggereert dat het model in dit specifieke regime vertrouwt op periodiciteits-memorizatie in plaats van dynamische filtering.
• Vergelijking: De MLP vertoont een minder modulaire, meer diffuse emergentie van decodeerbaarheid over de lagen, en mist de scherpe fase-specifieke transities die in Transformers worden gezien.

3. Expliciete Latente Filters in Lang-cyclus Regimes

In lang-cyclus regimes vereenvoudigt de berekening van de Transformer tot een expliciet filter:
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
Dit geeft aan dat het grootste deel van de latente informatie wordt geëxtraheerd door een geleerde lineaire projectie gevolgd door $\ell_2$-normalisatie. Causale ablatie bevestigt dat de post-$\ell_2$-norm representatie het vroegste stadium is waar het latente signaal causaal relevant wordt voor downstream forecasting; het verstoren van dit stadium veroorzaakt de grootste instorting in decodeerbaarheid.

Betekenis en Claims

Het artikel betoogt dat stochastische volatiliteitsmodellen een nuttige benchmark bieden voor mechanistische interpreteerbaarheid onder ruisige latente dynamiek en gedeeltelijke observeerbaarheid.

• Kloof overbruggen: In tegenstelling tot deterministische speeltaken vereisen SV-modellen impliciete toestand-inferentie, terwijl de grondwaarheid beschikbaar blijft voor evaluatie. Dit maakt een gecontroleerde studie mogelijk van hoe neurale netwerken latente stochastische structuren representeren, transformeren en gebruiken.
• Mechanistisch Inzicht: De studie onthult dat zelfs kleine, compacte Transformers kunnen leren om een impliciete filtering uit te voeren die de klassieke econometrische pipelines spiegelt (inferentie gevolgd door voorspelling).
• Interpreteerbaarheid van Financiële Modellen: De bevindingen suggerageren dat financiële tijdreeks-voorspellingsopdrachten kunnen dienen als een brug tussen mechanistische interpreteerbaarheid, tijdreeksmodellering en state-space inferentie, wat een setting biedt om te bestuderen hoe neurale netwerken omgaan met irreducibele onzekerheid.

De auteurs blijven bescheiden over hun claims en merken op dat hun resultaten gebaseerd zijn op synthetische data met bekende latente toestanden en kleine architecturen. Zij beweren niet dat deze mechanismen direct schalen naar grootschalige, real-world financiële modellen of dat zij een volledig circuit-niveau verslag geven van alle SV-berekeningen, maar zij identificeren specifieke, interpreteerbare emergente mechanismen in gecontroleerde settings.