Technische Samenvatting: Robuuste Controle onder Stationaire Ambiguïteit

Probleemstelling

In stochastische controleproblemen, met name in de financiële sector (bijv. optimale beleggingen en derivatenhedging), worden beleidsregels vaak geoptimaliseerd binnen simulators. Deze simulators vertrouwen op parameters $x$ die zijn geschat uit beperkte historische data, wat parameteronzekerheid (ambiguïteit) introduceert. Een veelgebruikte aanpak om dit aan te pakken is Domain Randomization, waarbij de simulatorparameter $x$ wordt behandeld als een willekeurige variabele die aan het begin van elke trainings-episode wordt getrokken uit een distributie $\nu$.

Echter, deze standaardaanpak, aangeduid als Static Latent Model (SLM), lijdt aan een kritiek gebrek: verdwijnende ambiguïteit (vanishing ambiguity). Omdat de parameter $x$ gedurende de duur van een trainings-episode vaststaat, observeert het beleid progressief de output van het systeem $Y$ en concludeert het de waarde van $x$ met toenemende precisie. Bijgevolg concentreert de posterieure overtuiging van het beleid over $x$ zich naarmate de tijd verstrijkt, waardoor het beleid specialiseert in het specifieke regime dat het heeft afgeleid.

Deze specialisatie creëert een sim-to-real gap in de ambiguïteitsdynamiek. In real-world systemen zoals financiële markten verschuiven of driften latente regimes (bijv. volatiliteit of correlatie) vaak in de loop van de tijd. Een beleid dat getraind is onder verdwijnende ambiguïteit wordt overmoedig in zijn schatting van het huidige regime en faalt in het adapteren wanneer het regime verandert, wat leidt tot slechte prestaties en een verlies van robuustheid.

Methodologie

De auteurs stellen een nieuw modelleringsprincipe voor genaamd Stationaire Ambiguïteit om het verval van robuustheid aan te pakken.

1. Formele Definitie

Stationaire ambiguïteit vereist dat de simulator een stationair filterproces induceert: $\pi_t := P(X_t \in \cdot \mid Y_{\le t})$.

• In een stationair regime blijft de gemiddelde hoeveelheid ambiguïteit over de latente staat $X_t$ (gemeten door conditionele variantie) constant over de tijd.
• Dit voorkomt de systematische afname van onzekerheid die optreedt wanneer een statische parameter wordt afgeleid uit een accumulerende geschiedenis van observaties.

2. Het Refresh Latent Model (RLM)

Om stationaire ambiguïteit in de praktijk te benaderen, introduceren de auteurs het Refresh Latent Model (RLM).

• In plaats van één keer per episode een statische parameter $X \sim \nu$ te trekken, wordt de latente parameter $X_t$ gemodelleerd als een stationair Markov-proces.
• Specifiek gebruiken de auteurs een transitie-kernel waarbij $X_t$ gelijk blijft aan $X_{t-1}$ met een waarschijnlijkheid van $1-\alpha$, of "ververst" naar een nieuwe waarde getrokken uit $\nu$ met een waarschijnlijkheid van $\alpha$.
• Kernkenmerk: Omdat de latente parameter incidenteel naar een nieuwe waarde springt, worden observaties uit het verre verleden minder informatief over de huidige staat. Dit voorkomt dat het filter convergeert, waardoor er gedurende de gehele controle-horizon een niet-nul niveau van ambiguïteit behouden blijft.

3. Simulatie-opzet

Om ervoor te zorgen dat het beleid vanaf het begin van het controleprobleem opereert onder stationaire ambiguïteit:

• Warm-up Periode: De simulator wordt geïnitialiseerd in het oneindige verleden (of een voldoende lange eindige geschiedenis $H$) in zijn stationaire distributie. Het beleid observeert deze geschiedenis voordat het zijn eerste controlebeslissing neemt.
• Initialisatie: De auteurs benadrukken dat deterministische initialisatie van latente staten (bijv. het instellen van variantie $V_0 = v_0$) stationaire ambiguïteit schendt door een systematische toename van ambiguïteit na $t=0$ te creëren. Zij pleiten voor het initialiseren van latente staten vanuit de stationaire distributie of het gebruik van conditionele initialisatie op basis van geobserveerde geschiedenis.

Belangrijkste Bijdragen

1. Analyse van Verdwijnende Ambiguïteit: Het artikel toont aan dat beleidsregels die geoptimaliseerd zijn onder statische randomisatie (SLM) progressief specialiseren in het afgeleide latente regime. In optimale beleggings- en hedging-taken leidt dit tot een verlies van robuustheid wanneer het onderliggende regime verschuift, omdat het beleid er niet snel genoeg in slaagt te adapteren aan nieuwe omstandigheden.
2. Stationaire Ambiguïteitsprincipe: De auteurs formaliseren de vereiste dat simulators een stationair filterproces induceren. Ze bieden voldoende voorwaarden (bijv. het gezamenlijke proces $(X, Y)$ als een stationair Markov-proces) en een praktisch recept (RLM) om dit te bereiken.
3. Empirische Validatie in Hedging: Door middel van drie verschillende hedging-problemen (Volatiliteitsonzekerheid in Black-Scholes, Correlatieonzekerheid in Heston, en Covariantieonzekerheid in multi-asset modellen) tonen de auteurs aan dat beleidsregels getraind onder RLM (stationaire ambiguïteit) hun robuustheid behouden, terwijl SLM-beleidsregels degraderen.
4. Real-World Backtesting: In een grootschalige casestudy met S&P 100-aandelengegevens laten de onder de stationaire ambiguïteit getrainde beleidsregels zien dat zij beter presteren dan zowel de met statische randomisatie getrainde als de standaard Black-Scholes benchmarks, met name tijdens perioden van regimeverschuivingen (grote veranderingen in volatiliteit).

Resultaten

Simulatie-experimenten

• Beleggingsprobleem: Onder statische randomisatie wordt de optimale beleggingsstrategie deterministisch en gespecialiseerd voor de afgeleide drift. Wanneer het drift-regime verschuift, past het SLM-beleid traag aan, wat leidt tot aanzienlijk verlies van nut (utility). Het RLM-beleid, getraind met stationaire ambiguïteit, behoudt een distributie van acties die snellere adaptatie aan regimeveranderingen mogelijk maakt.
• Hedging-problemen (BS-VOL, HESTON-CORR, BS-COV):
  • Initiële Robuustheid: Zowel SLM- als RLM-beleidsregels presteren beter dan "plug-in" beleidsregels (getraind op een enkele vaste parameter) wanneer ze worden geëvalueerd over een reeks vaste regimes.
  • Continue Robuustheid: Wanneer geëvalueerd op paden met regimeverschuivingen (pre-training regime $\neq$ trading regime), vertonen SLM-beleidsregels een grote spreiding in prestaties afhankelijk van het pre-training regime, wat duidt op specialisatie. RLM-beleidsregels vertonen een minimale spreiding en handhaven een consistente prestatie, ongeacht de pre-training geschiedenis.
  • Filtergedrag: Het onderzoeken van de interne staat van neurale netwerkbeleidsregels onthult dat SLM-beleidsregels leren om de latente staat met hoge zekerheid (lage variantie) te filteren, terwijl RLM-beleidsregels een hogere, stabiele mate van onzekerheid behouden, waardoor ze nieuwe observaties kunnen behandelen als potentieel bewijs van een regimeverandering.

Real Market Backtest

• Gebruikmakend van dagelijkse gegevens van de S&P 100, hebben de auteurs de hedging-beleidsregels voor tien verschillende payoff-structuren getest. De trainingsperiode beslaat januari 2006 tot december 2015, terwijl de evaluatieperiode (backtest) loopt van januari 2016 tot december 2025.
• Algemene Prestaties: RLM-beleidsregels behaalden over het algemeen een lagere spectrale risico dan SLM-beleidsregels en de standaard Black-Scholes benchmarks (BS-EWMA, BS-HIST).
• Regimeverschuivingen: Het prestatieverschil werd aanzienlijk groter tijdens perioden van hoge volatiliteitsveranderingen. Het SLM-beleid, dat gespecialiseerd was in het pre-training regime, presteerde slecht toen het marktregime verschoof, terwijl het RLM-beleid robuust bleef.

Betekenis en Claims

Het artikel claimt dat stationaire ambiguïteit een cruciaal modelleringsprincipe is voor het ontwerpen van simulators voor controleproblemen die worden gedreven door exogene stochastische processen met verschuivende latente structuren.

• Behoud van Robuustheid: De primaire betekenis is dat stationaire ambiguïteit "over-specialisatie" van beleidsregels naar specifiek afgeleide regimes voorkomt, waardoor robuustheid behouden blijft in plaats van dat deze over de tijd afneemt.
• Praktische Ontwerpgids: De auteurs bieden een concreet "recept" voor simulatorontwerp, waarbij zij praktijkgebruikers adviseren om:
  1. Parameters te randomiseren met een stationair Markov-proces (zoals het RLM) in plaats van een statische trekking.
  2. Simulators te initialiseren in hun stationaire regime (via warm-up of conditionele initialisatie) in plaats van deterministisch.
  3. Ervoor te zorgen dat de latente dynamiek van de simulator regimeverschuivingen toestaat die de controller niet met zekerheid kan voorspellen.
• Toepasbaarheid: Hoewel de experimenten zich richten op financiële hedging, betogen de auteurs dat dit principe van toepassing is op elk sequentieel controleprobleem waarbij de latente dynamiek van de omgeving onzeker is en naar verwachting zal veranderen (bijv. voorraadbeheer, energieopslag), mits de controller de latente staat niet via zijn acties kan beïnvloeden (geen exploratie).

Het artikel concludeert dat het negeren van de dynamiek van ambiguïteit (dat wil zeggen, het toestaan dat deze verdwijnt) een fundamentele kloof creëert tussen simulatie en de werkelijkheid, en dat het afdwingen van stationaire ambiguïteit een noodzakelijke stap is voor het inzetten van robuuste controlebeleidsregels in dynamische, onzekere omgevingen.