Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

Resumen Técnico: Transporte Óptimo Bi-causal Escalable mediante Relajación KL y Gradientes de Política

Enunciado del Problema
El transporte óptimo (OT) bi-causal proporciona un marco para comparar y acoplar procesos estocásticos bajo restricciones de información no anticipativa. A diferencia del OT clásico, el OT bi-causal restringe los acoplamientos admisibles de modo que la ley condicional del siguiente estado de cada proceso dependa únicamente del historial conjunto hasta el momento actual, garantizando que ningún proceso anticipe el futuro del otro. Esta estructura es crítica para aplicaciones en finanzas robustas (por ejemplo, cobertura bajo incertidumbre de modelo) y cuantificación secuencial de la incertidumbre (por ejemplo, reducción de escala de series temporales).

Sin embargo, la aplicación práctica del OT bi-causal se ve obstaculizada por la intratabilidad computacional. Los métodos existentes, como la regularización entrópica con iteraciones de Sinkhorn o la iteración de valor ajustada, tienen dificultades con distribuciones continuas, altas dimensiones de estado y horizontes temporales largos. La dificultad principal radica en imponer restricciones marginales rígidas sobre el espacio de trayectorias, lo que convierte la optimización directa en un problema combinatorio difícil y computacionalmente costoso.

Metodología
Los autores proponen un marco de optimización estocástica escalable que reemplaza las restricciones marginales rígidas con una penalización diferenciable de Kullback–Leibler (KL), permitiendo el uso de métodos de gradiente de política.

1. Relajación Penalizada con KL:
   Los autores relajan el problema original de OT bi-causal ampliando el conjunto factible de acoplamientos para incluir núcleos de transición conjunta arbitrarios. Introducen una penalización de divergencia KL para regular las desviaciones de las transiciones marginales prescritas ($T_n, T'_n$) y las marginales iniciales ($\mu_0, \mu'_0$). La función objetivo relajada $W_{rel}$ minimiza el costo acumulado esperado más un término de penalización ponderado por un parámetro $\beta$:
   $$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{penalizaciones KL} \right]$$
   Esta formulación preserva la estructura recursiva del problema, permitiendo la programación dinámica.

2. Fundamentos Teóricos:

   • Programación Dinámica: El artículo establece principios de programación dinámica tanto para el problema original con restricciones como para la formulación relajada. Esto reduce la optimización global en el espacio de trayectorias a una secuencia de optimizaciones de un solo paso sobre acoplamientos iniciales y núcleos de transición.
   • Convergencia $\Gamma$: Los autores demuestran que, a medida que el parámetro de penalización $\beta \to \infty$, el objetivo relajado y sus acoplamientos óptimos convergen al problema original de OT bi-causal y a sus soluciones óptimas. Esto garantiza que la relajación es un sustituto principiado y no solo una heurística.

3. Algoritmo de Gradiente de Política:

   • Parametrización: El acoplamiento se parametriza utilizando modelos condicionales expresivos, específicamente flujos normalizadores (capas de splines neuronales), que permiten una evaluación exacta de la densidad logarítmica.
   • Representación del Gradiente: Los autores derivan una representación explícita de gradiente de política para el objetivo relajado. El gradiente se descompone en dos componentes:
     • Un componente de valor ($\nabla J_{val}$): Una expectativa bajo el acoplamiento parametrizado actual, ponderada por el costo acumulado restante.
     • Un componente KL ($\nabla J_{KL}$): Una expectativa bajo la dinámica marginal prescrita (medida de referencia), que captura el término de penalización.
   • Estimación: El algoritmo emplea estimadores de gradiente de mini-lotes no sesgados. Para reducir la varianza, utiliza variables de control dependientes del estado ajustadas en trayectorias auxiliares.
   • Convergencia: El artículo proporciona garantías de convergencia no asintótica, mostrando que el arrepentimiento promedio es del orden $O(1/K)$ bajo condiciones de Polyak–Łojasiewicz, donde $K$ es el número de iteraciones.

Contribuciones Clave

• Teoría de Relajación: El establecimiento de principios de programación dinámica para el problema relajado con KL y la prueba de convergencia $\Gamma$ hacia el problema original con restricciones.
• Algoritmo Escalable: El desarrollo de un algoritmo de gradiente de política con estimadores no sesgados y reducción de varianza, capaz de manejar marginales generales (incluyendo casos continuos y de alta dimensión) sin requerir la discretización de los espacios de estado o acción.
• Garantías de Convergencia: Derivación de límites de arrepentimiento no asintóticos ($O(1/K)$) para el método de optimización estocástica propuesto.
• Validación Empírica: Demostración de la capacidad del método para capturar tanto leyes marginales como dependencia temporal en configuraciones sintéticas y aplicaciones del mundo real.

Resultados
El artículo valida el marco mediante experimentos sintéticos y dos aplicaciones específicas:

1. Experimentos Sintéticos:

   • El método recupera con precisión las distribuciones marginales (tanto Gaussianas como no Gaussianas/Beta) y las dependencias temporales (correlaciones entre pasos adyacentes) en configuraciones unimodales y bimodales.
   • Las métricas de rendimiento (distancia de Wasserstein, distancia KS, distancia de Wasserstein cortada) muestran una baja discrepancia entre las distribuciones generadas y las distribuciones de verdad fundamental.
   • El método escala efectivamente a dimensiones más altas ($d=3$) y horizontes más largos ($N=10$).

2. Cobertura Robusta (Aplicación Financiera):

   • El marco se aplica para calcular precios de subcobertura robusta para derivados financieros bajo restricciones no anticipativas.
   • El acoplamiento aprendido recupera límites de precios casi óptimos con errores relativos inferiores al 1% en comparación con soluciones de forma cerrada.
   • El método preserva la dinámica de martingala y supera a los enfoques existentes en velocidad computacional (por ejemplo, más rápido que los métodos de iteración de valor ajustada).

3. Reducción de Escala Estadística de Series Temporales:

   • El método se utiliza para generar series temporales de alta fidelidad a partir de observaciones de baja fidelidad, primero desviando los datos de baja resolución mediante OT bi-causal.
   • El modelo de difusión condicional "ajustado por OT" supera significativamente a la generación incondicional y a la condicionamiento directo sobre datos gruesos, logrando menores discrepancias distribucionales y correlaciones temporales más precisas.

Significado y Afirmaciones
El artículo afirma proporcionar un enfoque computacional escalable para el OT bi-causal, cerrando la brecha entre los marcos teóricos y la implementación práctica en escenarios donde las restricciones de información no anticipativa son esenciales.

• Viabilidad Computacional: Al convertir el problema del espacio de trayectorias con restricciones en un problema de optimización estocástica diferenciable, el método hace que el OT bi-causal sea tratable para distribuciones continuas y horizontes largos, superando la "maldición de la dimensionalidad" y los costos de memoria asociados a los métodos anteriores.
• Generalidad: El marco es aplicable a marginales generales, no limitado a muestras discretas o empíricas.
• Utilidad Práctica: Los resultados sugieren que el OT bi-causal puede servir como un primitivo computacional práctico para pipelines de optimización y cuantificación de incertidumbre más grandes en investigación operativa y finanzas cuantitativas, específicamente para tareas como cobertura robusta y reducción de escala estadística, donde respetar el flujo de información es crítico para la calidad de la decisión.

Los autores mantienen un tono modesto respecto al trabajo futuro, señalando que, aunque el análisis actual se centra en el entorno de Markov, el marco podría extenderse a entornos no markovianos y costos dependientes de la trayectoria, aunque esto requeriría un desarrollo teórico adicional.