💻 informatica

Deeper network methods for solving 3D American Heston-CIR model

Dit artikel stelt drie diepere netwerkmethoden voor—SoftNet, LinNet en AddNet—die gebruikmaken van multiplicatieve ensembling van sub-netwerken met feature reuse, lineaire aggregatie en early exits om het 3D Amerikaanse Heston-CIR-model effectief op te lossen en tegelijkertijd verdwijnende gradiënten en prestatievermindering in diepe architecturen te mitigeren.

Oorspronkelijke auteurs: Chinonso Nwankwo, Weizhong Dai

Gepubliceerd 2026-10-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chinonso Nwankwo, Weizhong Dai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van de financiële sector is het voorspellen van de toekomstige prijs van een activum een hoogwaardig spel van waarschijnlijkheid. Beleggers en banken vertrouwen op complexe wiskundige modellen om de waarde van opties te bepalen, wat contracten zijn die het recht geven om iets te kopen of verkopen tegen een specifieke prijs op een bepaalde datum. Een van de moeilijkste uitdagingen in dit veld is het prijzen van "Amerikaanse" opties. In tegenstelling tot hun Europese tegenhangers, die alleen op één specifieke datum kunnen worden uitgeoefend, kunnen Amerikaanse opties op elk gewenst moment vóór hun vervaldatum worden uitgeoefend. Deze flexibiliteit creëert een bewegend doelwit: het model moet niet alleen de waarde van de optie berekenen, maar ook het exacte moment bepalen waarop het het meest winstgevend is om de winst te verzilveren. Dit cruciale moment staat bekend als de grens voor vroege uitoefening (early exercise boundary). Wanneer het model meerdere veranderende factoren omvat—zoals de prijs van het activum, de volatiliteit van die prijs en fluctuerende rentestanden—wordt het probleem een driedimensionale puzzel die berucht moeilijk op te lossen is met traditionele computermethoden.

Decennialang hebben wetenschappers zich tot kunstmatige intelligentie gewend, specif으로erlijk deep learning, om deze complexe puzzels aan te pakken. Deze computerprogramma's, bekend als neurale netwerken, zijn ontworpen om patronen uit gegevens te leren door lagen van verwerkingseenheden op elkaar te stapelen. Hoe dieper de stapel, hoe complexere patronen het netwerk theoretisch kan begrijpen. Echter, een hardnekkig probleem heeft deze diepe netwerken geteisterd: naarmate ze hoger worden, worden ze vaak instabiel. De signalen die worden gebruikt om het netwerk te onderwijzen, kunnen vervagen of in grootte exploderen voordat ze de bovenste lagen bereiken, waardoor het systeem er niet in slaagt om iets nuttigs te leren. Dit fenomeen, vaak de vanishing gradient effect genoemd, heeft historisch gezien beperkt hoe diep deze netwerken gemaakt konden worden, vooral voor de ingewikkelde, niet-lineaire problemen die in de financiële wiskunde worden gevonden.

In een recente studie hebben onderzoekers Chinonso Nwankwo en Weizhong Dai geprobeerd deze barrière te doorbreken. Ze richtten zich op een specifiek, zeer complex financieel model genaamd het Amerikaanse Heston-CIR-model, dat drie bewegende delen tegelijkertijd volgt: de activaprijs, de volatiliteit daarvan en de rentevoet. Hun doel was het ontwerpen van een nieuw type neuraal netwerk dat effectief kon trainen met veel meer lagen dan ooit tevoren, waardoor het de subtiele, onregelmatige gedragingen van de markt kon vastleggen zonder in te storten onder zijn eigen complexiteit. In plaats van simpelweg meer lagen op elkaar te stapelen, hebben zij drie verschillende architecturale strategieën uitgevonden, die zij SoftNet, LinNet en AddNet noemden. Deze nieuwe ontwerpen waren gebouwd om de beperkingen te omzeilen die eerder hadden voorkomen dat diepe netwerken werkten op dergelijke moeilijke taken.

De onderzoekers begonnen met het testen van de grenzen van standaard, conventionele netwerken. Ze ontdekten dat wanneer ze een traditioneel ontwerp met slechts dertien verborgen lagen gebruikten, het netwerk slecht presteerde. Het slaagde er niet in om de waarde van de opties of het punt waarop ze moeten worden uitgeoefend nauwkeurig te voorspellen. Hoe dieper het netwerk ging, hoe slechter het werd, wat bevestigde dat de standaardbenadering tegen een muur aanliep. Om dit op te lossen, introduceerde het team hun drie nieuwe methoden. De eerste, SoftNet, werkt door het netwerk in kleinere blokken op te delen en deze zodanig te verbinden dat informatie efficiënt kan worden hergebruikt en gedeeld, vergelijkbaar met een trein waarbij elke wagon zijn lading doorgeeft aan de volgende terwijl hij zijn eigen last behoudt. Dit ontwerp stelde het netwerk in staat om dieper te groeien zonder het signaal te verliezen. De tweede methode, AddNet, hanteert een andere aanpak door meerdere "vroege uitgangen" (early exits) binnen het netwerk te creëren. In plaats van elke stukje informatie gedwongen tot het uiterste einde te laten reizen, neemt het netwerk op verschillende stadia gedeeltelijke beslissingen en combineert deze aan het einde. Dit zorgt ervoor dat zelfs als de diepste lagen moeite hebben, de eerdere, minder diepe lagen nog steeds waardevolle inzichten leveren.

Het derde en meest efficiënte ontwerp, LinNet, combineert het beste van beide werelden. Het gebruikt een systeem waarbij lineaire eenheden bij elkaar worden opgeteld voordat ze door gespecialiseerde verwerkingsblokken worden gestuurd. Deze structuur voorkomt dat de computationele kosten exploderen naarmate het netwerk dieper wordt, wat het zeer efficiënt maakt. De onderzoekers duwden LinNet naar een extreem diepte door het te trainen met tot wel honderd verborgen lagen. Opmerkelijk genoeg, in tegenstelling tot de conventionele netwerken die faalden bij dertien lagen, behield LinNet een hoge nauwkeurigheid, zelfs bij deze extreme diepte. De resultaten toonden aan dat deze nieuwe architecturen de waarde van de opties en de grens voor vroege uitoefening konden voorspellen met een precisie die de gevestigde, hoog aangeschreven wiskundige methoden evenaarde of overtrof. De netwerken brachten de complexe oppervlakken van de financiële gegevens succesvol in kaart, inclus�elijke de gevoelige derivaten bekend als "Greeks", die meten hoe de optieprijs reageert op kleine veranderingen in de markt.

Een belangrijke bevinding van de studie was dat deze nieuwe netwerken hun succes behaalden zonder te vertrouwen op de gebruikelijke veiligheidsnetten die deep learning-experts gewoonlijk gebruiken om fouten te voorkomen, zoals dropout of batch normalisatie. De onderzoekers toonden aan dat de specifieke manier waarop zij de lagen structureerden—door gebruik te maken van speciale activatiefuncties en multiplicatieve ensembling—genoeg was om het netwerk stabiel te houden. Ze ontdekten ook dat door hun trainingsgegevens te concentreren in de moeilijkste gebieden van het probleem, specifiek nabij de grenzen waar het marktgedrag het meest grillig is, de netwerken veel sneller en nauwkeuriger leerden. De studie concludeerde dat terwijl standaard deep learning rond dertien lagen een muur raakt voor dit type probleem, de nieuwe SoftNet-, AddNet- en LinNet-architecturen veel dieper kunnen gaan, waarbij LinNet bijzonder robuust en efficiënt bleek. Dit werk suggereert dat door na te denken over hoe neurale netwerken worden gebouwd, in plaats van ze alleen maar groter te maken, wetenschappers enkele van de meest hardnekkige problemen in financiële modellering kunnen oplossen, wat de deur opent naar een nauwkeurigere prijsstelling voor complexe, real-world financiële instrumenten.

Technische Samenvatting: Diepere Netwerkmethoden voor het Oplossen van het 3D Amerikaanse Heston-CIR Model

Probleemstelling
Het artikel behandelt de uitdaging van het oplossen van het driedimensionale Amerikaanse Heston-CIR model, een complexe financiële partiële differentiaalvergelijking (PDE) die een vrije grens (de vroege uitoefeningsgrens) bevat. Het model incorporeert drie stochastische factoren: de onderliggende activaprijs ( $S$ ), variantie ( $\upsilon$ ) en rentevoet ( $r$ ). Het doel is om simultaan de waardefunctie ( $V$ ), de vroege uitoefeningsgrens ( $\hat{s}_f$ ) en de Grieken (afgeleiden van de waardefunctie) te benaderen.

De auteurs identificeren een cruciale beperking in bestaande deep learning-benaderingen voor deze specifieke taak: conventionele Deep Neural Networks (DNN's) met softmax-units lijden aan prestatievermindering, overfitting en het verdwijnende gradiënteffect (vanishing gradient effect) wanneer de netwerkdiepte de ongeveer 13 verborgen lagen overschrijdt. Hoewel architecturen zoals DenseNet en ResNet succesvol zijn geweest in beeldclassificatie (CNN's), bleek hun directe toepassing op niet-lineaire regressieproblemen in hoogdimensionale financiële modellering ongeschikt, met name bij het omgaan met de singulariteiten en onregelmatigheden nabij de vroege uitoefeningsgrens.

Methodologie
Om de beperkingen van conventionele DNN's te overwinnen, stellen de auteurs drie nieuwe netwerkarchitecturen voor: SoftNet, LinNet en AddNet. Alle drie de modellen maken gebruik van een "multiplicatieve ensembling"-strategie, waarbij een diepe hoofd-subarchitectuur wordt gecombineerd met ondiepe ondersteunende subarchitecturen om aan de eindvoorwaarden te voldoen.

SoftNet (Kenmerkhergebruik via Concatenatie):
- Structuur: Bestaat uit een diepe eerste subarchitectuur en een ondiepe tweede subarchitectuur (twee verborgen lagen).
- Mechanisme: De eerste subarchitectuur is gebouwd met "softmax-blokken" (sub-netwerken met softmax-activatie). Het maakt gebruik van kenmerkhergebruik (feature reuse) via het concateneren van shortcut-verbindingen tussen deze blokken, geïnspireerd door DenseNet maar aangepast voor regressie.
- Ontwerp: De input voor elk opeenvolgend softmax-blok (vanaf het derde blok) is de concatenatie van de oorspronkelijke inputkenmerken en de outputs van voorgaande blokken. Een modulaire variant, M-SoftNet, wordt ook geïntroduceerd, die gebruikmaakt van meerdere paden met verschillende strategieën voor kenmerkhergebruik (dense, partieel en geen) die worden geconcateneerd voor de uiteindelijke ensembling.
AddNet (Early Exits en Multi-Mixture):
- Structuur: Ontworpen om middelen-efficiënt te zijn, gebruikmakend van early exits (lokale exits) vanuit intermediaire lagen van de hoofd diepe subarchitectuur.
- Mechanisme: Het netwerk genereert $n$ single-mixture deep learning-oplossingen. Elke oplossing wordt gevormd door een output van een "lokale exit" (of de laatste laag) van de hoofdarchitectuur multiplicatief te ensemblen met outputs van twee ondiepe ondersteunende subarchitecturen.
- Ensembling: Deze $n$ oplossingen worden vervolgens additief geensemble met adaptieve gewichten ( $\hat{\pi}_j$ ). De auteurs stellen een adaptieve weegstrategie voor waarbij ondiepere lokale exits hogere gewichten krijgen naarmate de netwerkdiepte toeneemt, wat de impact van verdwijnende gradiënten in diepere lagen verzacht.
LinNet (Aggregatie van Lineaire Units):
- Structuur: De meest efficiënte van de drie, ontworpen om te trainen met extreme diepte (tot 100 verborgen lagen).
- Mechanisme: In plaats van kenmerken te concateneren (wat de breedte en computationele kosten verhoogt), gebruikt LinNet een systematische aggregatie van lineaire units. Het wisselt af tussen "softmax-blokken" en "aggregerende units" waar lineaire outputs worden opgeteld voordat ze naar het volgende softmax-blok worden doorgegeven.
- Stabiliteit: De auteurs beargumenteren dat de softmax-activatiefunctie fungeert als een classificatiemechanisme dat de groei van gecombineerde lineaire units controleert, wat numerieke stabiliteit garandeert zonder de noodzaak van expliciete regularisatietechnieken zoals dropout of batch normalisatie.

Belangrijkste Bijdragen

Architecturale Innovatie: De voorstel van drie verschillende diepe netwerkarchitecturen (SoftNet, LinNet, AddNet) specifiek afgestemd op het oplossen van 3D Amerikaanse optieprijsvraagstukken, waarmee zij verder gaan dan standaard CNN-gebaseerde of conventionele DNN-benaderingen.
Mitigatie van Verdwijnende Gradiënten: De ontwerpen omzeilen succesvol het verdwijnende gradiënteffect dat conventionele DNN's boven 13 lagen teistert. De auteurs demonstreren dat terwijl standaard DNN's falen bij diepte 13, hun voorgestelde modellen een voorspellende nauwkeurigheid behouden bij dieptes van 25, 3ks, 52 en zelfs 100 lagen (specifiek voor LinNet).
Exacte Implementatie van Eindvoorwaarden: Alle modellen bevatten een multiplicatieve ensemblinglaag met een ondiepe tweede subarchitectuur die is ontworpen om ervoor te zorgen dat eindvoorwaarden (bijv. $V=0$ bij expiratie) in exacte vorm worden voldaan, waardoor bias-termen uit verborgen lagen worden verwijderd.
Omgaan met Singulariteiten: De methodologie omvat een grid-stretching strategie met behulp van de sinh-functie om steunpunten te concentreren nabij de singulariteit bij $(0,0,0,0)$ , waar de vroege uitoefeningsgrens onregelmatigheden vertoont.

Experimentele Resultaten
De modellen werden getest op het 3D Amerikaanse Heston-CIR model met parameters waaronder variërende uitoefenprijzen ( $K$ ), looptijden ( $T$ ) en volatiliteits-/rentebereiken.

Prestaties vs. Diepte: Conventionele DNN's (C-DNN) met 13 verborgen lagen produceerden slechte resultaten (bijv. fouten in de waardefunctie > 9.0 versus referentie ~1.36). In tegenstelling hiertoe produceerden SoftNet, AddNet en LinNet met 13+ lagen resultaten die consistent zijn met gevestigde numerieke methoden (Boyarchenko & Levendorskii, Medvedev & Scaillet, Longstaff & Schwartz).
LinNet Efficiëntie: LinNet demonstreerde de hoogste efficiëntie, waarbij een redelijke voorspellende prestatie werd bereikt met tot 100 verborgen lagen. Het vereiste de minste trainings- en predictietijd vergeleken met SoftNet en AddNet.
Nauwkeurigheid: De modellen voorspelden de waardefunctie, de vroege uitoefeningsgrens en de Grieken (Delta, Gamma, Vega, Rho, Vanna, Vomma) nauwkeurig. De voorspelde oppervlakken waren vloeiend, en de Grieken vielen binnen de verwachte theoretische grenzen (bijv. Delta in $[-1, 0]$ voor puts).
Dataset Gevoeligheid: Experimenten toonden aan dat het vergroten van de omvang van de trainingsdataset (van $10^4$ naar $14^4$ punten) over het algemeen de prestaties verbeterde, met name voor M-SoftNet-10.

Betekenis en Claims
Het artikel beweert dat de voorgestelde trio van netwerken (SoftNet, LinNet, AddNet) een levensvatbare oplossing biedt voor het trainen van diepe neurale netwerken op complexe, hoogdimensionale financiële PDE's waar conventionele architecturen falen.

LinNet wordt uitgelicht als de meest efficiënte oplossing, in staat om te trainen met 100 verborgen lagen zonder regularisatie, wat het geschikt maakt voor omgevingen met beperkte middelen en extreem diepe taken.
SoftNet en AddNet bieden alternatieve strategieën (kenmerkhergebruik en early exits) die ook de verdwijnende gradiënten verzachten, hoewel SoftNet hogere computationele kosten met zich meebrengt door de concatenatie.
De auteurs merken bescheiden op dat hoewel hun modellen goed presteren zonder regularisatie, de inclusie van technieken zoals dropout of batch normalisatie de generalisatie voor nog complexere, hoger dimensionale taken verder zou kunnen verbeteren. Zij positioneren dit werk als een fundament voor toekomstig onderzoek naar volledige parametrisatie van Amerikaanse prijsmodellen die correlatiematrices en hogere dimensies omvatten.

Meer zoals dit