Encoded Forward Backward Stochastic Neural Network for High-Dimensional Backward Stochastic Differential Equations and Parabolic Partial Differential Equations

1. Énoncé du problème

L'article aborde le défi de la résolution d'équations différentielles stochastiques rétrogrades (EDSR) de haute dimension et des équations aux dérivées partielles (EDP) paraboliques semi-linéaires correspondantes.

• Contexte : Les EDSR fournissent des solutions probabilistes aux EDP via la formule de Feynman-Kac non linéaire. Cependant, les méthodes numériques traditionnelles (comme les différences finies ou Monte Carlo) souffrent du « fléau de la dimensionnalité », devenant computationnellement ingérables à mesure que la dimension spatiale augmente.
• Limitations actuelles : Les approches récentes d'apprentissage profond, notamment DeepBSDE et FBSNN (Forward Backward Stochastic Neural Network), ont montré des promesses. Toutefois, ces méthodes reposent généralement sur des réseaux de neurones entièrement connectés (FCN) où chaque dimension d'entrée (temps et espace) est représentée par un seul neurone.
  • Les FCN ont souvent du mal à capturer efficacement les corrélations spatiales et temporelles en haute dimension.
  • Ils nécessitent un grand nombre de paramètres entraînables, conduisant au surapprentissage et à une convergence plus lente.
  • Dans certaines variantes (comme DeepBSDE), le réseau doit être réentraîné pour différents instantanés temporels, tandis que FBSNN partage les poids mais utilise toujours des structures de FCN inefficaces.

2. Méthodologie

Les auteurs proposent un algorithme Encoded FBSNN novateur qui remplace les FCN standards par des réseaux de neurones convolutifs (CNN) en transformant les données d'entrée dans un format tensoriel de type image.

A. Base théorique

La méthode résout le système d'EDSR découplé :
$$\begin{aligned} dX_t &= \mu(t, X_t)dt + \sigma(t, X_t)dW_t \\ dY_t &= -f(t, X_t, Y_t, Z_t)dt + Z_t dW_t \end{aligned}$$
où $Y_t = u(t, X_t)$ et $Z_t = \nabla u(t, X_t)\sigma(t, X_t)$. L'objectif est d'approximer la fonction $u(t, x)$ en utilisant un réseau de neurones $u_\Theta$.

B. L'algorithme Encoded FBSNN

L'innovation centrale réside dans le codage de l'entrée $(t, X_t)$ dans une structure tensorielle adaptée aux CNN :

1. Codage temporel :

   • La coordonnée temporelle scalaire $t$ est transformée à l'aide d'un codage de position sinusoïdal-cosinusoïdal (similaire aux Transformers).
   • Cela enrichit les caractéristiques des séries temporelles, convertissant $t$ en un vecteur qui est ensuite remodelé en une matrice.

2. Codage spatial :

   • Le vecteur spatial de haute dimension $X_t$ (par exemple, 100 dimensions) est remodelé en une matrice.
   • Pour augmenter la dimensionnalité et la richesse des caractéristiques, une interpolation linéaire est appliquée pour suréchantillonner la matrice (par exemple, de $10 \times 10$ à $20 \times 20$).

3. Construction du tenseur :

   • La matrice temporelle codée et la matrice spatiale sont concaténées pour former un tenseur à 2 canaux (analogue à une image RVB avec 2 canaux).
   • Ce tenseur sert d'entrée au CNN.

4. Architecture du réseau :

   • Le modèle utilise une structure CNN compacte avec deux blocs de convolution (impliquant Conv2d, Normalisation par lots, Activation et Pooling) et un bloc de sortie linéaire.
   • Avantages : Les CNN utilisent la connectivité locale et le partage de poids, réduisant considérablement le nombre de paramètres entraînables par rapport aux FCN. Cela atténue le surapprentissage et crée un paysage d'optimisation plus lisse.

5. Fonction de perte :

   • L'entraînement minimise une fonction de perte composite :
     $$L = \alpha_1 L_{BSDE} + \alpha_2 L_T + \alpha_3 L_G$$
   • $L_{BSDE}$ : Résidu de l'équation EDSR discrétisée (utilisant le schéma d'Euler-Maruyama).
   • $L_T$ : Erreur de condition terminale ($|u(T, X_T) - g(X_T)|^2$).
   • $L_G$ : Erreur de gradient terminal ($|\nabla u(T, X_T) - \nabla g(X_T)|^2$).
   • Les gradients sont calculés via la différentiation automatique (AD) au sein du graphe de calcul.

3. Contributions clés

1. Stratégie de codage novatrice : Introduit une méthode pour coder le temps scalaire et les vecteurs spatiaux de haute dimension en tenseurs multi-canaux, permettant l'utilisation de CNN pour l'approximation d'EDSR.
2. Efficacité via les CNN : Démontre que les CNN sont supérieurs aux FCN pour ce type spécifique de problème en raison de l'efficacité des paramètres et de la capacité à capturer les corrélations spatio-temporelles.
3. Apprentissage équilibré des caractéristiques : Le mécanisme de codage garantit que les caractéristiques temporelles et spatiales sont équilibrées en dimension, empêchant le réseau de biaiser vers un type d'entrée.
4. Différentiabilité de bout en bout : Le bloc de codage est intégré dans le graphe de calcul, permettant aux gradients de remonter à travers le processus de codage lors de la rétropropagation.

4. Résultats expérimentaux

L'algorithme a été validé sur deux cas de référence de haute dimension (100 dimensions) :

A. Équation Black-Scholes-Barenblatt (BSB)

• Configuration : 50 pas de temps, 5 000 trajectoires d'échantillonnage.
• Performance :
  • Convergence : L'Encoded FBSNN a atteint une perte d'entraînement plus faible en ~3 000 époques, tandis que le Vanilla FBSNN nécessitait ~12 000 époques.
  • Précision : L'Encoded FBSNN a atteint une erreur relative de test de 0,61 %, contre 1,03 % pour le Vanilla FBSNN.
  • Coût : L'Encoded FBSNN a été plus rapide (16,2 min contre 21,4 min) et a réalisé une augmentation de plus de 40 % de la précision de prédiction.

B. Équation Hamilton-Jacobi-Bellman (HJB)

• Configuration : Problème de contrôle stochastique optimal en 100D.
• Performance :
  • Convergence : L'Encoded FBSNN a convergé significativement plus vite.
  • Précision : L'Encoded FBSNN a atteint une erreur relative de test de 0,21 %, contre 0,44 % pour le Vanilla FBSNN.
  • Amélioration : La méthode codée a montré une augmentation de plus de 100 % de la précision avec moins d'époques et un coût computationnel inférieur.

C. Étude d'ablation

• Un « Reshaped FBSNN » (où les entrées étaient simplement remodelées sans le codage/interpolation spécifique) a performé moins bien que l'Encoded FBSNN complet, confirmant que la stratégie de codage spécifique (sinus-cosinus + interpolation) est cruciale pour la performance.

5. Signification

• Évolutivité : La méthode offre une solution évolutive pour les EDP de haute dimension, un goulot d'étranglement critique dans des domaines tels que la finance mathématique (tarification d'options avec incertitude) et le contrôle stochastique.
• Changement de paradigme : Elle comble le fossé entre les techniques de traitement d'image (CNN) et les équations différentielles stochastiques, suggérant que le traitement des données spatio-temporelles comme des « images » est une heuristique puissante pour résoudre les EDSR.
• Praticité : L'algorithme fournit une extension simple mais efficace aux cadres FBSNN existants, nécessitant des changements architecturaux minimaux (seulement la couche de codage) tout en offrant des gains substantiels en vitesse et en précision.
• Reproductibilité : Les auteurs ont rendu le code publiquement disponible, facilitant la recherche et l'application ultérieures dans le domaine.

En conclusion, l'Encoded FBSNN représente une avancée significative dans l'apprentissage profond pour le calcul scientifique, prouvant que l'exploitation des biais inductifs des CNN via un codage d'entrée intelligent peut considérablement améliorer l'efficacité de la résolution de problèmes stochastiques de haute dimension.