Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients

Résumé technique : Transport optimal bi-causal évolutif via relaxation KL et gradients de politique

Énoncé du problème
Le transport optimal (OT) bi-causal fournit un cadre pour comparer et coupler des processus stochastiques sous des contraintes d'information non anticipatives. Contrairement à l'OT classique, l'OT bi-causal restreint les couplages admissibles de telle sorte que la loi conditionnelle de l'état suivant de chaque processus dépende uniquement de l'histoire conjointe jusqu'au temps courant, garantissant qu'aucun processus n'anticipe l'avenir de l'autre. Cette structure est cruciale pour des applications en finance robuste (par exemple, la couverture en présence d'incertitude de modèle) et en quantification séquentielle de l'incertitude (par exemple, l'ajustement d'échelle des séries temporelles).

Cependant, l'application pratique de l'OT bi-causal est entravée par son intraitabilité computationnelle. Les méthodes existantes, telles que la régularisation entropique avec des itérations de Sinkhorn ou l'itération de valeur ajustée, peinent avec les distributions continues, les dimensions d'état élevées et les horizons temporels longs. La difficulté principale réside dans l'imposition de contraintes marginales strictes sur l'espace des trajectoires, ce qui rend l'optimisation directe combinatoirement difficile et coûteuse en calcul.

Méthodologie
Les auteurs proposent un cadre d'optimisation stochastique évolutif qui remplace les contraintes marginales strictes par une pénalité différentiable de Kullback–Leibler (KL), permettant l'utilisation de méthodes de gradient de politique.

1. Relaxation pénalisée par KL :
   Les auteurs relâchent le problème original d'OT bi-causal en élargissant l'ensemble des couplages admissibles pour inclure des noyaux de transition conjoints arbitraires. Ils introduisent une pénalité de divergence KL pour réguler les écarts par rapport aux transitions marginales prescrites ($T_n, T'_n$) et aux marginales initiales ($\mu_0, \mu'_0$). La fonction objectif relâchée $W_{rel}$ minimise le coût cumulé attendu plus un terme de pénalité pondéré par un paramètre $\beta$ :
   $$W_{rel}(\mu, \mu') = \inf_{\pi \in \Pi_{rel}} \mathbb{E}_\pi \left[ \sum_{n=0}^N c_n(Y_n, Y'_n) + \beta \cdot \text{pénalités KL} \right]$$
   Cette formulation préserve la structure récursive du problème, permettant une programmation dynamique.

2. Fondements théoriques :

   • Programmation dynamique : L'article établit des principes de programmation dynamique pour le problème contraint original et la formulation relâchée. Cela réduit l'optimisation globale sur l'espace des trajectoires à une séquence d'optimisations à un pas sur les couplages initiaux et les noyaux de transition.
   • Convergence $\Gamma$ : Les auteurs prouvent que lorsque le paramètre de pénalité $\beta \to \infty$, l'objectif relâché et ses couplages optimaux convergent vers le problème d'OT bi-causal original et ses solutions optimales. Cela garantit que la relaxation est un substitut fondé sur des principes et non simplement une heuristique.

3. Algorithme de gradient de politique :

   • Paramétrisation : Le couplage est paramétré à l'aide de modèles conditionnels expressifs, spécifiquement des flux de normalisation (couches de splines neuronales), qui permettent une évaluation exacte de la densité logarithmique.
   • Représentation du gradient : Les auteurs dérivent une représentation explicite du gradient de politique pour l'objectif relâché. Le gradient se décompose en deux composantes :
     • Une composante de valeur ($\nabla J_{val}$) : Une espérance sous le couplage paramétré courant, pondérée par le coût cumulé restant.
     • Une composante KL ($\nabla J_{KL}$) : Une espérance sous les dynamiques marginales prescrites (mesure de référence), capturant le terme de pénalité.
   • Estimation : L'algorithme utilise des estimateurs de gradient non biaisés sur des mini-lots. Pour réduire la variance, il utilise des variables de contrôle dépendantes de l'état ajustées sur des trajectoires auxiliaires.
   • Convergence : L'article fournit des garanties de convergence non asymptotiques, montrant que le regret moyen est de l'ordre de $O(1/K)$ sous des conditions de Polyak–Łojasiewicz, où $K$ est le nombre d'itérations.

Contributions clés

• Théorie de la relaxation : L'établissement des principes de programmation dynamique pour le problème relâché par KL et la preuve de la convergence $\Gamma$ vers le problème contraint original.
• Algorithme évolutif : Le développement d'un algorithme de gradient de politique avec des estimateurs non biaisés et une réduction de variance, capable de gérer des marginales générales (y compris les cas continus et de haute dimension) sans nécessiter de discrétisation des espaces d'état ou d'action.
• Garanties de convergence : Déduction de bornes de regret non asymptotiques ($O(1/K)$) pour la méthode d'optimisation stochastique proposée.
• Validation empirique : Démonstration de la capacité de la méthode à capturer à la fois les lois marginales et la dépendance temporelle dans des contextes synthétiques et des applications réelles.

Résultats
L'article valide le cadre par le biais d'expériences synthétiques et de deux applications spécifiques :

1. Expériences synthétiques :

   • La méthode récupère avec précision les distributions marginales (gaussiennes et non gaussiennes/Bêta) et les dépendances temporelles (corrélations entre étapes adjacentes) dans des contextes unimodaux et bimodaux.
   • Les métriques de performance (distance de Wasserstein, distance KS, distance de Wasserstein tranchée) montrent une faible divergence entre les distributions générées et les distributions de vérité terrain.
   • La méthode s'adapte efficacement à des dimensions plus élevées ($d=3$) et à des horizons plus longs ($N=10$).

2. Couverture robuste (Application financière) :

   • Le cadre est appliqué pour calculer des prix de sous-couverture robustes pour les produits dérivés financiers sous des contraintes non anticipatives.
   • Le couplage appris récupère des bornes de prix quasi optimales avec des erreurs relatives inférieures à 1 % par rapport aux solutions en forme fermée.
   • La méthode préserve les dynamiques de martingale et surpasse les approches existantes en vitesse de calcul (par exemple, plus rapide que les méthodes d'itération de valeur ajustée).

3. Ajustement d'échelle statistique des séries temporelles :

   • La méthode est utilisée pour générer des séries temporelles haute fidélité à partir d'observations basse fidélité en débiaisant d'abord les données à faible résolution via l'OT bi-causal.
   • Le modèle de diffusion conditionnel « ajusté par OT » surpasse significativement la génération sans condition et le conditionnement direct sur des données grossières, atteignant de moindres divergences distributionnelles et des corrélations temporelles plus précises.

Signification et revendications
L'article revendique de fournir une approche computationnelle évolutive à l'OT bi-causal, comblant le fossé entre les cadres théoriques et la mise en œuvre pratique dans des contextes où les contraintes d'information non anticipatives sont essentielles.

• Faisabilité computationnelle : En convertissant le problème d'espace de trajectoires contraint en un problème d'optimisation stochastique différentiable, la méthode rend l'OT bi-causal traitable pour les distributions continues et les horizons longs, surmontant la « malédiction de la dimensionnalité » et les coûts mémoire associés aux méthodes précédentes.
• Généralité : Le cadre est applicable à des marginales générales, non limitées aux échantillons discrets ou empiriques.
• Utilité pratique : Les résultats suggèrent que l'OT bi-causal peut servir de primitive computationnelle pratique pour des pipelines d'optimisation et de quantification de l'incertitude plus vastes en recherche opérationnelle et en finance quantitative, spécifiquement pour des tâches telles que la couverture robuste et l'ajustement d'échelle statistique où le respect du flux d'information est crucial pour la qualité de la décision.

Les auteurs maintiennent un ton modeste concernant les travaux futurs, notant que si l'analyse actuelle se concentre sur le cadre markovien, le cadre pourrait être étendu à des contextes non markoviens et à des coûts dépendants du chemin, bien que cela nécessiterait un développement théorique supplémentaire.