Encoded Forward Backward Stochastic Neural Network for High-Dimensional Backward Stochastic Differential Equations and Parabolic Partial Differential Equations

1. Probleemstelling

Het artikel behandelt de uitdaging om hoog-dimensionale Backward Stochastic Differential Equations (BSDE's) en de bijbehorende semilineaire parabolische Partial Differential Equations (PDE's) op te lossen.

• Context: BSDE's bieden probabilistische oplossingen voor PDE's via de niet-lineaire Feynman-Kac-formule. Traditionele numerieke methoden (zoals eindige differenties of Monte Carlo) lijden echter aan de "vloek van de dimensionaliteit" en worden computatieel onuitvoerbaar naarmate de ruimtelijke dimensie toeneemt.
• Huidige Beperkingen: Recentere deep learning-benaderingen, specifiek DeepBSDE en FBSNN (Forward Backward Stochastic Neural Network), hebben veelbelovend resultaat getoond. Deze methoden vertrouwen echter doorgaans op Fully Connected Networks (FCN's), waarbij elke invoerdimensie (tijd en ruimte) wordt vertegenwoordigd door één enkele neuron.
  • FCN's hebben vaak moeite om ruimtelijke en temporele correlaties efficiënt te vangen in hoge dimensies.
  • Ze vereisen een groot aantal trainbare parameters, wat leidt tot overfitting en langzamere convergentie.
  • In sommige varianten (zoals DeepBSDE) moet het netwerk opnieuw worden getraind voor verschillende tijdstippen, terwijl FBSNN weliswaar gewichten deelt maar nog steeds inefficiënte FCN-structuren gebruikt.

2. Methodologie

De auteurs stellen een nieuw Encoded FBSNN-algoritme voor dat standaard FCN's vervangt door Convolutional Neural Networks (CNN's) door invoergegevens te transformeren naar een beeldachtig tensorformaat.

A. Theoretische Basis

De methode lost het ontkoppelde FBSDE-systeem op:
$$\begin{aligned} dX_t &= \mu(t, X_t)dt + \sigma(t, X_t)dW_t \\ dY_t &= -f(t, X_t, Y_t, Z_t)dt + Z_t dW_t \end{aligned}$$
waarbij $Y_t = u(t, X_t)$ en $Z_t = \nabla u(t, X_t)\sigma(t, X_t)$. Het doel is om de functie $u(t, x)$ te benaderen met een neurale netwerks $u_\Theta$.

B. Het Encoded FBSNN-algoritme

De kerninnovatie ligt in het coderen van de invoer $(t, X_t)$ in een tensorstructuur die geschikt is voor CNN's:

1. Temporele Codering:

   • De scalair tijdscoördinaat $t$ wordt getransformeerd met behulp van sine-cosine positionele codering (vergelijkbaar met Transformers).
   • Dit verrijkt de tijdreekskenmerken, waardoor $t$ wordt omgezet in een vector die vervolgens wordt herschikt tot een matrix.

2. Ruimtelijke Codering:

   • De hoog-dimensionale ruimtelijke vector $X_t$ (bijvoorbeeld 100 dimensies) wordt herschikt tot een matrix.
   • Om de dimensionaliteit en de rijkdom aan kenmerken te vergroten, wordt lineaire interpolatie toegepast om de matrix te upsamplen (bijvoorbeeld van $10 \times 10$ naar $20 \times 20$).

3. Tensorconstructie:

   • De gecodeerde tijdmatrix en ruimtelijke matrix worden samengevoegd tot een 2-kanaals tensor (analoog aan een RGB-afbeelding met 2 kanalen).
   • Deze tensor dient als invoer voor de CNN.

4. Netwerkarchitectuur:

   • Het model gebruikt een compacte CNN-structuur met twee convolutieblokken (met Conv2d, Batch Normalization, Activering en Pooling) en een lineair outputblok.
   • Voordelen: CNN's maken gebruik van lokale connectiviteit en gewichtsdeling, wat het aantal trainbare parameters aanzienlijk vermindert ten opzichte van FCN's. Dit vermindert overfitting en creëert een soepeler optimalisatielandschap.

5. Verliesfunctie:

   • Het trainen minimaliseert een samengestelde verliesfunctie:
     $$L = \alpha_1 L_{BSDE} + \alpha_2 L_T + \alpha_3 L_G$$
   • $L_{BSDE}$: Residu van de gediscrreteerde BSDE-vergelijking (met de Euler-Maruyama-scheme).
   • $L_T$: Fout in de eindvoorwaarde ($|u(T, X_T) - g(X_T)|^2$).
   • $L_G$: Fout in de eindgradiënt ($|\nabla u(T, X_T) - \nabla g(X_T)|^2$).
   • Gradiënten worden berekend via Automatische Differentiatie (AD) binnen het computationele graf.

3. Belangrijkste Bijdragen

1. Nieuwe Coderingsstrategie: Introduceert een methode om scalair tijds- en hoog-dimensionale ruimtelijke vectoren te coderen in multi-kanaals tensoren, waardoor CNN's kunnen worden gebruikt voor BSDE-benadering.
2. Efficiëntie via CNN's: Toont aan dat CNN's voor dit specifieke probleemtype superieur zijn aan FCN's vanwege parameter-efficiëntie en het vermogen om ruimtelijk-temporele correlaties te vangen.
3. Gebalanceerde Kenmerklering: Het coderingsmechanisme zorgt ervoor dat temporele en ruimtelijke kenmerken in dimensie gebalanceerd zijn, waardoor het netwerk niet wordt bevooroordeeld ten gunste van één type invoer.
4. End-to-End Differentieerbaarheid: Het coderingsblok is geïntegreerd in het computationele graf, waardoor gradiënten tijdens back-propagation door het coderingsproces kunnen stromen.

4. Experimentele Resultaten

Het algoritme is gevalideerd op twee hoog-dimensionale benchmarkgevallen (100 dimensies):

A. Black-Scholes-Barenblatt (BSB) Vergelijking

• Opzet: 50 tijdstappen, 5.000 steekproeftrajecten.
• Prestaties:
  • Convergentie: Encoded FBSNN bereikte een lagere trainingsfout in ~3.000 epochen, terwijl Vanilla FBSNN ~12.000 epochen vereiste.
  • Nauwkeurigheid: Encoded FBSNN behaalde een testrelatieve fout van 0,61%, vergeleken met 1,03% voor Vanilla FBSNN.
  • Kosten: Encoded FBSNN was sneller (16,2 min vs. 21,4 min) en behaalde een >40% toename in voorspellingsnauwkeurigheid.

B. Hamilton-Jacobi-Bellman (HJB) Vergelijking

• Opzet: Stochastisch optimal control-probleem in 100D.
• Prestaties:
  • Convergentie: Encoded FBSNN convergeerde aanzienlijk sneller.
  • Nauwkeurigheid: Encoded FBSNN behaalde een testrelatieve fout van 0,21%, vergeleken met 0,44% voor Vanilla FBSNN.
  • Verbetering: De gecodeerde methode toonde een >100% toename in nauwkeurigheid met minder epochen en lagere computatiekosten.

C. Ablatiestudie

• Een "Reshaped FBSNN" (waarbij invoer simpelweg werd herschikt zonder de specifieke codering/interpolatie) presteerde slechter dan de volledige Encoded FBSNN, wat bevestigt dat de specifieke coderingsstrategie (sine-cosine + interpolatie) cruciaal is voor de prestaties.

5. Betekenis

• Schaalbaarheid: De methode biedt een schaalbare oplossing voor hoog-dimensionale PDE's, een kritieke bottleneck in gebieden zoals wiskundige financiën (optiepricing met onzekerheid) en stochastische besturing.
• Paradigmaverschuiving: Het overbrugt de kloof tussen beeldverwerkingstechnieken (CNN's) en stochastische differentiaalvergelijkingen, wat suggereert dat het behandelen van spatiotemporele data als "afbeeldingen" een krachtige heuristiek is voor het oplossen van BSDE's.
• Praktijktoepasbaarheid: Het algoritme biedt een eenvoudige maar effectieve uitbreiding op bestaande FBSNN-frameworks, waarbij minimale architecturale wijzigingen nodig zijn (alleen de coderingslaag) terwijl er aanzienlijke winst wordt geboekt in snelheid en nauwkeurigheid.
• Reproduceerbaarheid: De auteurs hebben de code publiek beschikbaar gemaakt, wat verder onderzoek en toepassing in het veld faciliteert.

Concluderend vertegenwoordigt de Encoded FBSNN een significante vooruitgang in deep learning voor wetenschappelijk rekenen, en bewijst dat het benutten van de inductieve bias van CNN's door middel van intelligente invoercodering de efficiëntie van het oplossen van hoog-dimensionale stochastische problemen drastisch kan verbeteren.