Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

Resumo Técnico: Transporte Ótimo Bi-causal Escalável via Relaxação KL e Gradientes de Política

Declaração do Problema
O transporte ótimo (OT) bi-causal fornece um quadro para comparar e acoplar processos estocásticos sob restrições de informação não antecipativa. Diferentemente do OT clássico, o OT bi-causal restringe os acoplamentos admissíveis de modo que a lei condicional do próximo estado de cada processo dependa apenas do histórico conjunto até o tempo atual, garantindo que nenhum processo antecipe o futuro do outro. Essa estrutura é crítica para aplicações em finanças robustas (por exemplo, cobertura sob incerteza de modelo) e quantificação sequencial de incerteza (por exemplo, redução de escala de séries temporais).

No entanto, a aplicação prática do OT bi-causal é impedida pela intratabilidade computacional. Métodos existentes, como regularização entrópica com iterações de Sinkhorn ou iteração de valor ajustado, lutam com distribuições contínuas, altas dimensões de estado e horizontes temporais longos. A principal dificuldade reside em impor restrições marginais rígidas sobre o espaço de trajetórias, o que torna a otimização direta combinatorialmente difícil e computacionalmente dispendiosa.

Metodologia
Os autores propõem um quadro de otimização estocástica escalável que substitui restrições marginais rígidas por uma penalidade diferenciável de Kullback–Leibler (KL), permitindo o uso de métodos de gradiente de política.

1. Relaxação Penalizada por KL:
   Os autores relaxam o problema original de OT bi-causal ampliando o conjunto viável de acoplamentos para incluir kernels de transição conjuntos arbitrários. Eles introduzem uma penalidade de divergência KL para regular desvios das transições marginais prescritas ($T_n, T'_n$) e das marginais iniciais ($\mu_0, \mu'_0$). A função objetivo relaxada $W_{rel}$ minimiza o custo cumulativo esperado mais um termo de penalidade ponderado por um parâmetro $\beta$:
   $$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{penalidades KL} \right]$$
   Esta formulação preserva a estrutura recursiva do problema, permitindo programação dinâmica.

2. Fundamentos Teóricos:

   • Programação Dinâmica: O artigo estabelece princípios de programação dinâmica tanto para o problema original com restrições quanto para a formulação relaxada. Isso reduz a otimização global no espaço de trajetórias a uma sequência de otimizações de um passo sobre acoplamentos iniciais e kernels de transição.
   • Convergência $\Gamma$: Os autores provam que, à medida que o parâmetro de penalidade $\beta \to \infty$, o objetivo relaxado e seus acoplamentos ótimos convergem para o problema original de OT bi-causal e suas soluções ótimas. Isso garante que a relaxação seja um substituto principiado e não apenas uma heurística.

3. Algoritmo de Gradiente de Política:

   • Parametrização: O acoplamento é parametrizado usando modelos condicionais expressivos, especificamente fluxos normalizadores (camadas de spline neural), que permitem avaliação exata da densidade logarítmica.
   • Representação do Gradiente: Os autores derivam uma representação explícita de gradiente de política para o objetivo relaxado. O gradiente decompõe-se em dois componentes:
     • Um componente de valor ($\nabla J_{val}$): Uma expectativa sob o acoplamento parametrizado atual, ponderada pelo custo cumulativo restante.
     • Um componente KL ($\nabla J_{KL}$): Uma expectativa sob a dinâmica marginal prescrita (medida de referência), capturando o termo de penalidade.
   • Estimação: O algoritmo emprega estimadores de gradiente em mini-lotes não viesados. Para reduzir a variância, utiliza variáveis de controle dependentes do estado ajustadas em trajetórias auxiliares.
   • Convergência: O artigo fornece garantias de convergência não assintótica, mostrando que o arrependimento médio é da ordem $O(1/K)$ sob condições de Polyak–Łojasiewicz, onde $K$ é o número de iterações.

Principais Contribuições

• Teoria de Relaxação: O estabelecimento de princípios de programação dinâmica para o problema relaxado por KL e a prova de convergência $\Gamma$ para o problema original com restrições.
• Algoritmo Escalável: O desenvolvimento de um algoritmo de gradiente de política com estimadores não viesados e redução de variância, capaz de lidar com marginais gerais (incluindo casos contínuos e de alta dimensão) sem exigir discretização dos espaços de estado ou ação.
• Garantias de Convergência: Derivação de limites de arrependimento não assintóticos ($O(1/K)$) para o método de otimização estocástica proposto.
• Validação Empírica: Demonstração da capacidade do método de capturar tanto leis marginais quanto dependência temporal em configurações sintéticas e aplicações do mundo real.

Resultados
O artigo valida o quadro através de experimentos sintéticos e duas aplicações específicas:

1. Experimentos Sintéticos:

   • O método recupera com precisão distribuições marginais (tanto Gaussianas quanto não Gaussianas/Beta) e dependências temporais (correlações entre passos adjacentes) em configurações unimodais e bimodais.
   • Métricas de desempenho (distância de Wasserstein, distância KS, distância de Wasserstein fatiada) mostram baixa discrepância entre as distribuições geradas e as de verdade absoluta.
   • O método escala efetivamente para dimensões mais altas ($d=3$) e horizontes mais longos ($N=10$).

2. Cobertura Robusta (Aplicação Financeira):

   • O quadro é aplicado para calcular preços de subcobertura robusta para derivativos financeiros sob restrições não antecipativas.
   • O acoplamento aprendido recupera limites de precificação quase ótimos com erros relativos abaixo de 1% em comparação com soluções de forma fechada.
   • O método preserva dinâmicas de martingale e supera abordagens existentes em velocidade computacional (por exemplo, mais rápido que métodos de iteração de valor ajustado).

3. Redução de Escala Estatística de Séries Temporais:

   • O método é usado para gerar séries temporais de alta fidelidade a partir de observações de baixa fidelidade, primeiro removendo o viés dos dados de baixa resolução via OT bi-causal.
   • O modelo de difusão condicional "ajustado por OT" supera significativamente a geração incondicional e o condicionamento direto em dados grosseiros, alcançando menores discrepâncias distribucionais e correlações temporais mais precisas.

Significado e Alegações
O artigo alega fornecer uma abordagem computacional escalável para o OT bi-causal, fechando a lacuna entre quadros teóricos e implementação prática em configurações onde restrições de informação não antecipativa são essenciais.

• Viabilidade Computacional: Ao converter o problema de espaço de trajetórias com restrições em um problema de otimização estocástica diferenciável, o método torna o OT bi-causal tratável para distribuições contínuas e horizontes longos, superando a "maldição da dimensionalidade" e os custos de memória associados a métodos anteriores.
• Generalidade: O quadro é aplicável a marginais gerais, não limitado a amostras discretas ou empíricas.
• Utilidade Prática: Os resultados sugerem que o OT bi-causal pode servir como um primitivo computacional prático para pipelines maiores de otimização e quantificação de incerteza em pesquisa operacional e finanças quantitativas, especificamente para tarefas como cobertura robusta e redução de escala estatística, onde respeitar o fluxo de informação é crítico para a qualidade da decisão.

Os autores mantêm um tom modesto em relação ao trabalho futuro, observando que, embora a análise atual se concentre no cenário de Markov, o quadro poderia ser estendido para cenários não markovianos e custos dependentes de trajetória, embora isso exigisse desenvolvimento teórico adicional.