Technische Samenvatting: Regime-Gated Residual Mixture-of-Experts voor Cross-Sectionale Volatiliteitsvoorspelling

Probleemstelling

Financiële volatiliteit is inherent regime-afhankelijk, waarbij de relaties tussen historische observaties en toekomstige volatiliteit verschuiven over verschillende markttoestanden (bijv. rustig, crisis, herstel). Hoewel diepe neurale netwerken de volatiliteitsvoorspelling hebben verbeterd door niet-lineaire relaties uit grote cross-sectionele aandelenpanels te leren, blijft het integreren van regime-informatie een uitdaging. Bestaande benaderingen introduceren regime-variabelen doorgaans door ze direct aan de modelinputs toe te voegen of door te schakelen tussen verschillende voorspellers op basis van markttoestanden. Deze methoden verwarren echter vaak de aanwezigheid van regime-informatie met het integratiepad, waardoor het onduidelijk blijft of de prestatiewinst voortkomt uit de informatie zelf of uit de wijze waarop deze in het model binnenkomt. Bovendien kan het direct toevoegen van regime-variabelen aan de inputs de training destabiliseren en de voorspellende prestaties verslechteren in compacte neurale architecturen.

Methodologie

De auteurs stellen RG-ResMoE (Regime-Gated Residual Mixture-of-Experts) voor, een nieuwe architectuur die is ontworpen om het effect van het integratiepad te isoleren. De studie maakt gebruik van een rigoureus, op informatie gematcht vergelijkingskader waarbij regime-variabelen, modelcapaciteit, hyperparameters en evaluatieprotocollen constant worden gehouden, waarbij alleen het punt van integratie varieert.

Data en Taak

• Datasets: Een primair panel van 1.027 Amerikaanse aandelen (2018–2025) en een replicatiepanel van 1.552 Japanse aandelen.
• Taak: Het voorspellen van de vijfdaagse voorwaartse gerealiseerde volatiliteit (geannualiseerd) voor cross-sectionele aandelenpanels.
• Inputs:
  • Aandelenkenmerken ($x$): 16 kenmerken waaronder gerealiseerde volatiliteit, rendementen, RSI en log-rendementen.
  • Regime-variabelen ($z$): Twee indicatoren—marktvolatiliteit (20-daagse rollende volatiliteit van de equal-weighted marktrendementen) en idiosyncratische volatiliteit (20-daagse rollende volatiliteit van residuele rendementen).

Architectuurontwerp

De kerninnovatie ligt in het scheiden van de basisvoorspelling van regime-afhankelijke correcties:

1. Bevroren Basisnetwerk: Een standaard MLP met twee verborgen lagen voorspelt het basisniveau van de volatiliteit ($\hat{y}_{base}$) met behulp van enkel de aandelenkenmerken ($x$). Dit netwerk wordt eerst getraind en vervolgens bevroren.
2. Residual Experts: Een set van $K=4$ expert-netwerken (ook MLP's) voorspelt residuele correcties ($r_k(x)$) in plaats van volledige voorspellingen. Deze experts worden geïnitialiseerd met nul-outputlagen om ervoor te zorgen dat het model begint als de basisvoorspelling.
3. Regime-Gated Routing: Een gating-netwerk ($g$) neemt zowel de aandelenkenmerken ($x$) als de regime-variabelen ($z$) als input. Het geeft een zachte waarschijnlijkheidsverdeling ($\pi$) over de experts.
4. Finale Voorspelling: De uiteindelijke voorspelling is de som van de basisvoorspelling en de gewogen som van de expert-residuen:
   $$\hat{y} = \hat{y}_{base} + \sum_{k=1}^{K} \pi_k r_k(x)$$
   Cruciaal is dat de regime-variabelen $z$ de voorspelling beïnvloeden alleen via de routing-gewichten $\pi$, en niet door de input naar de voorspellingsnetwerken direct te wijzigen.

Training en Regularisatie

De training verloopt in twee fasen:

1. Train het basisnetwerk.
2. Bevries het basisnetwerk en train de experts en de gate gezamenlijk.
   De verliesfunctie bevat:

• Mean Squared Error (MSE) op de finale voorspelling.
• Een shrinkage-straf op de magnitude van de geaggregeerde residuele correctie om de voorspellingen dicht bij de basis te houden.
• Een load-balancing straf om routing-instorting (concentratie op één enkele expert) te voorkomen.

Belangrijkste Bijdragen

1. Ontdekking van het Integratiepad: De paper toont aan dat de locatie van de regime-informatie doorslaggevend is. Het toevoegen van regime-variabelen direct aan de inputs verslechtert de nauwkeurigheid en stabiliteit, terwijl het uitsluitend gebruiken ervan voor de gating van residuele correcties zowel de nauwkeurigheid als de stabiliteit verbetert.
2. Residual MoE Architectuur: De auteurs tonen aan dat in compacte financiële voorspellingsmodellen de waarde van Mixture-of-Experts (MoE) minder ligt in het vergroten van de totale modelcapaciteit, en meer in het controleren van hoe niet-stationaire informatie de stabiele basisvoorspelling moduleert via residueel leren.
3. Soft vs. Hard Routing: Continue soft routing (geleerde waarschijnlijkheidsverdelingen) presteert consistent beter dan hard routing (discrete toewijzingen gebaseerd op geleerde top-1 gates of handmatig gecreëerde marktpartities).
4. Trainingsstabiliteit: De RG-ResMoE-architectuur verbetert de trainingsstabiliteit aanzienlijk vergeleken met standaard MoE en direct-input MLP's, waardoor "gefaalde" trainingen waarbij modellen niet convergeren, worden geëlimineerd.

Resultaten

Geëvalueerd via een rolling walk-forward framework (30 niet-overlappende testvensters) over 1.027 Amerikaanse aandelen:

• Voorspellingsnauwkeurigheid: RG-ResMoE behaalde de hoogste Information Coefficient (IC: 0,5469), de laagste RMSE (0,2304) en de hoogste out-of-sample $R^2$ (0,292) van alle neurale modellen. Het presteerde significant beter dan een capaciteitsgematchte grote MLP (MLP-L) en een standaard MoE.
• Stabiliteit: RG-ResMoE had 0 geëlimineerde seeds van de 30, terwijl de Standard MoE in 24/30 runs instortte en de MLP-L(+z) in 30/30 runs instortte.
• Risicocalibratie: RG-ResMoE bood een betere Value-at-Risk (VaR) kalibratie, met name tijdens perioden van hoge volatiliteit, waarbij lagere afwijzingspercentages werden getoond in Kupiec's coverage tests vergeleken met de baselines.
• Prestaties tijdens Marktdrukte: Het voordeel van het model was het meest uitgesproken tijdens perioden van verhoogde volatiliteit (bijv. de COVID-crisis van 2020, waar de IC-winst 6,7× het gemiddelde van de volledige steekproef was).
• Cross-Market Replicatie: De resultaten werden succesvol gerepliceerd op het Japanse TSE Prime-panel, wat bevestigt dat de voordelen van residuele routing niet marktspecifiek zijn.

Betekenis en Claims

Het artikel stelt dat voor compacte neurale volatiliteitsvoorspellers de primaire waarde van regime-bewuste MoE-modellen niet ligt in het uitbreiden van de modelcapaciteit, maar in het controleren van hoe niet-stationaire regime-informatie de voorspelling beïnvloedt.

De auteurs beweren dat een eenvoudig ontwerpprincipe effectief is: regime-informatie is het meest effectief wanneer het de residuele routing stuurt in plaats van te worden behandeld als een gewone voorspellende input. Deze aanpak stelt het model in staat om zich aan te passen aan markttoestanden door correcties aan een stabiele basisvoorspelling te moduleren, wat zowel de voorspellende nauwkeurigheid als de trainingsrobuustheid verbetert. De studie suggereert dat dit principe verder reikt dan de specifieke RG-ResMoE-architectuur om de integratie van markttoestand-informatie in toekomstige neurale voorspellingsmodellen te begeleiden.

De door de auteurs genoemde beperkingen omvatten de focus op aandelenmarkten en een compacte MLP-backbone; de generaliseerbaarheid naar andere financiële taken, grotere sequentiemodellen of alternatieve staatdefinities blijft een open gebied voor toekomstig onderzoek.