Encoded Forward Backward Stochastic Neural Network for High-Dimensional Backward Stochastic Differential Equations and Parabolic Partial Differential Equations

1. Formulação do Problema

O artigo aborda o desafio de resolver Equações Diferenciais Estocásticas Inversas (EDSI) de alta dimensão e as correspondentes Equações Diferenciais Parciais (EDPs) semilineares parabólicas.

• Contexto: As EDSIs fornecem soluções probabilísticas para EDPs por meio da fórmula de Feynman-Kac não linear. No entanto, métodos numéricos tradicionais (como diferenças finitas ou Monte Carlo) sofrem com a "maldição da dimensionalidade", tornando-se computacionalmente intratáveis à medida que a dimensão espacial aumenta.
• Limitações Atuais: Abordagens recentes de aprendizado profundo, especificamente DeepBSDE e FBSNN (Rede Neural Estocástica Inversa), mostraram promessa. Contudo, esses métodos geralmente dependem de Redes Conectadas Totalmente (FCNs) onde cada dimensão de entrada (tempo e espaço) é representada por um único neurônio.
  • As FCNs frequentemente lutam para capturar correlações espaciais e temporais de forma eficiente em altas dimensões.
  • Elas exigem um grande número de parâmetros treináveis, levando a overfitting e convergência mais lenta.
  • Em algumas variantes (como DeepBSDE), a rede deve ser retreinada para diferentes instantes de tempo, enquanto a FBSNN compartilha pesos, mas ainda utiliza estruturas de FCN ineficientes.

2. Metodologia

Os autores propõem um algoritmo FBSNN Codificada inovador que substitui FCNs padrão por Redes Neurais Convolucionais (CNNs), transformando os dados de entrada em um formato de tensor semelhante a uma imagem.

A. Base Teórica

O método resolve o sistema de EDSI desacoplado:
$$\begin{aligned} dX_t &= \mu(t, X_t)dt + \sigma(t, X_t)dW_t \\ dY_t &= -f(t, X_t, Y_t, Z_t)dt + Z_t dW_t \end{aligned}$$
onde $Y_t = u(t, X_t)$ e $Z_t = \nabla u(t, X_t)\sigma(t, X_t)$. O objetivo é aproximar a função $u(t, x)$ usando uma rede neural $u_\Theta$.

B. O Algoritmo FBSNN Codificada

A inovação central reside em codificar a entrada $(t, X_t)$ em uma estrutura de tensor adequada para CNNs:

1. Codificação Temporal:

   • A coordenada escalar de tempo $t$ é transformada usando codificação posicional seno-cosseno (semelhante a Transformers).
   • Isso enriquece as características de séries temporais, convertendo $t$ em um vetor que é então remodelado em uma matriz.

2. Codificação Espacial:

   • O vetor espacial de alta dimensão $X_t$ (por exemplo, 100 dimensões) é remodelado em uma matriz.
   • Para aumentar a dimensionalidade e a riqueza de características, aplica-se interpolação linear para aumentar a amostragem da matriz (por exemplo, de $10 \times 10$ para $20 \times 20$).

3. Construção do Tensor:

   • A matriz de tempo codificada e a matriz espacial são concatenadas para formar um tensor de 2 canais (análogo a uma imagem RGB com 2 canais).
   • Este tensor serve como entrada para a CNN.

4. Arquitetura da Rede:

   • O modelo utiliza uma estrutura compacta de CNN com dois blocos convolucionais (envolvendo Conv2d, Normalização em Lote, Ativação e Pooling) e um bloco de saída linear.
   • Vantagens: As CNNs utilizam conectividade local e compartilhamento de pesos, reduzindo significativamente o número de parâmetros treináveis em comparação com FCNs. Isso mitiga o overfitting e cria um cenário de otimização mais suave.

5. Função de Perda:

   • O treinamento minimiza uma função de perda composta:
     $$L = \alpha_1 L_{EDSI} + \alpha_2 L_T + \alpha_3 L_G$$
   • $L_{EDSI}$: Resíduo da equação EDSI discretizada (usando o esquema Euler-Maruyama).
   • $L_T$: Erro da condição terminal ($|u(T, X_T) - g(X_T)|^2$).
   • $L_G$: Erro do gradiente terminal ($|\nabla u(T, X_T) - \nabla g(X_T)|^2$).
   • Os gradientes são computados via Diferenciação Automática (DA) dentro do grafo computacional.

3. Contribuições Principais

1. Estratégia de Codificação Inovadora: Introduz um método para codificar tempo escalar e vetores espaciais de alta dimensão em tensores multicanal, permitindo o uso de CNNs para aproximação de EDSI.
2. Eficiência via CNNs: Demonstra que as CNNs são superiores às FCNs para este tipo específico de problema devido à eficiência de parâmetros e à capacidade de capturar correlações espaço-temporais.
3. Aprendizado de Características Equilibrado: O mecanismo de codificação garante que as características temporais e espaciais estejam equilibradas em dimensão, impedindo que a rede tenda a um tipo de entrada.
4. Diferenciabilidade de Ponta a Ponta: O bloco de codificação é integrado ao grafo computacional, permitindo que os gradientes fluam de volta através do processo de codificação durante a retropropagação.

4. Resultados Experimentais

O algoritmo foi validado em dois casos de referência de alta dimensão (100 dimensões):

A. Equação Black-Scholes-Barenblatt (BSB)

• Configuração: 50 passos de tempo, 5.000 trajetórias de amostra.
• Desempenho:
  • Convergência: A FBSNN Codificada atingiu uma perda de treinamento menor em ~3.000 épocas, enquanto a FBSNN Vanilla exigiu ~12.000 épocas.
  • Precisão: A FBSNN Codificada alcançou um erro relativo de teste de 0,61%, comparado a 1,03% para a FBSNN Vanilla.
  • Custo: A FBSNN Codificada foi mais rápida (16,2 min vs. 21,4 min) e alcançou um aumento de >40% na precisão de previsão.

B. Equação Hamilton–Jacobi–Bellman (HJB)

• Configuração: Problema de controle ótimo estocástico em 100D.
• Desempenho:
  • Convergência: A FBSNN Codificada convergiu significativamente mais rápido.
  • Precisão: A FBSNN Codificada alcançou um erro relativo de teste de 0,21%, comparado a 0,44% para a FBSNN Vanilla.
  • Melhoria: O método codificado mostrou um aumento de >100% na precisão com menos épocas e menor custo computacional.

C. Estudo de Ablação

• Uma "FBSNN Remodelada" (onde as entradas eram simplesmente remodeladas sem a codificação/interpolação específica) teve desempenho inferior à FBSNN Codificada completa, confirmando que a estratégia de codificação específica (seno-cosseno + interpolação) é crucial para o desempenho.

5. Significado

• Escalabilidade: O método oferece uma solução escalável para EDPs de alta dimensão, um gargalo crítico em campos como finanças matemáticas (precificação de opções com incerteza) e controle estocástico.
• Mudança de Paradigma: Ele preenche a lacuna entre técnicas de processamento de imagens (CNNs) e equações diferenciais estocásticas, sugerindo que tratar dados espaço-temporais como "imagens" é uma heurística poderosa para resolver EDSI.
• Praticidade: O algoritmo fornece uma extensão simples, porém eficaz, aos frameworks FBSNN existentes, exigindo mudanças arquiteturais mínimas (apenas a camada de codificação) enquanto entrega ganhos substanciais em velocidade e precisão.
• Reprodutibilidade: Os autores disponibilizaram o código publicamente, facilitando pesquisas e aplicações futuras no campo.

Em conclusão, a FBSNN Codificada representa um avanço significativo no aprendizado profundo para computação científica, provando que alavancar os vieses indutivos das CNNs através de codificação inteligente de entrada pode melhorar drasticamente a eficiência da resolução de problemas estocásticos de alta dimensão.