Résumé Technique : Contrôle Robuste sous Ambiguïté Stationnaire

Énoncé du Problème

Dans les problèmes de contrôle stochastique, particulièrement en finance (par exemple, l'investissement optimal et la couverture de dérivés), les politiques sont souvent optimisées au sein de simulateurs. Ces simulateurs reposent sur des paramètres $x$ estimés à partir de données historiques limitées, ce qui introduit une incertitude de paramètre (ambiguïté). Une approche courante pour gérer cela est la Randomisation de Domaine (Domain Randomization), où le paramètre du simulateur $x$ est traité comme une variable aléatoire tirée d'une distribution $\nu$ au début de chaque épisode d'entraînement.

Cependant, cette approche standard, appelée Modèle à Latence Statique (Static Latent Model - SLM), souffre d'un défaut critique : la disparition de l'ambiguïté (vanishing ambiguity). Parce que le paramètre $x$ est fixe pour toute la durée d'un épisode d'entraînement, la politique observe progressivement la sortie du système $Y$ et infère la valeur de $x$ avec une précision croissante. Par conséquent, la croyance postérieure de la politique sur $x$ se concentre au fil du temps, provoquant une spécialisation de la politique sur le régime spécifique qu'elle a déduit.

Cette spécialisation crée un écart sim-to-real dans la dynamique de l'ambiguïté. Dans les systèmes réels comme les marchés financiers, les régimes latents (par exemple, la volatilité ou la corrélation) changent ou dérivent souvent au fil du temps. Une politique entraînée sous une ambiguïté évanescente devient trop confiante dans son estimation du régime actuel et échoue à s'adapter lorsque le régime change, ce qui entraîne une faible performance et une perte de robustesse.

Méthodologie

Les auteurs proposent un nouveau principe de modélisation appelé Ambiguïté Stationnaire pour remédier à la dégradation de la robustesse.

1. Définition Formelle

L'ambiguïté stationnaire exige que le simulateur induise un processus de filtrage stationnaire $\pi_t := P(X_t \in \cdot \mid Y_{\le t})$.

• Dans un régime stationnaire, la quantité moyenne d'ambiguïté concernant l'état latent $X_t$ (mesurée par la variance conditionnelle) reste constante au fil du temps.
• Cela empêche la concentration systématique de l'incertitude qui se produit lorsqu'un paramètre statique est inféré à partir d'une histoire d'observations accumulées.

2. Le Modèle à Latence de Rafraîchissement (Refresh Latent Model - RLM)

Pour approximer l'ambiguïté stationnaire en pratique, les auteurs introduisent le Modèle à Latence de Rafraîchissement (RLM).

• Au lieu de tirer un paramètre statique $X \sim \nu$ une seule fois par épisode, le paramètre latent $X_t$ est modélisé comme un processus de Markov stationnaire.
• Plus précisément, les auteurs utilisent un noyau de transition où $X_t$ reste identique à $X_{t-1}$ avec une probabilité $1-\alpha$, ou se "rafraîchit" vers une nouvelle valeur tirée de $\nu$ avec une probabilité $\alpha$.
• Propriété Clé : Parce que le paramètre latent saute occasionnellement à une nouvelle valeur, les observations du passé lointain deviennent moins informatives sur l'état actuel. Cela empêche le filtre de se concentrer, maintenant un niveau non nul d'ambiguïté tout au long de l'horizon de contrôle.

3. Configuration de la Simulation

Pour garantir que la politique opère sous une ambiguïté stationnaire dès le début du problème de contrôle :

• Période de Préchauffage (Warm-up Period) : Le simulateur est initialisé dans le passé infini (ou un passé fini $H$ suffisamment long) dans sa distribution stationnaire. La politique observe cet historique avant de prendre sa première décision de contrôle.
• Initialisation : Les auteurs soulignent qu'une initialisation déterministe des états latents (par exemple, fixer la variance $V_0 = v_0$) viole l'ambiguïté stationnaire en créant une augmentation systématique de l'ambiguïté après $t=0$. Ils préconisent d'initialiser les états latents à partir de la distribution stationnaire ou d'utiliser une initialisation conditionnelle basée sur l'historique observé.

Principales Contributions

1. Analyse de la Disparition de l'Ambiguïté : L'article démontre que les politiques optimisées sous une randomisation statique (SLM) se spécialisent progressivement vers le régime latent inféré. Dans les tâches d'investissement optimal et de couverture, cela conduit à une perte de robustesse lors du changement de régime, car la politique ne parvient pas à s'adapter rapidement aux nouvelles conditions.
2. Principe d'Ambiguïté Stationnaire : Les auteurs formalisent l'exigence selon laquelle les simulateurs doivent induire un processus de filtrage stationnaire. Ils fournissent des conditions suffisantes (par exemple, le processus conjoint $(X, Y)$ étant un processus de Markov stationnaire) et une recette pratique (RLM) pour y parvenir.
3. Validation Empirique en Couverture (Hedging) : À travers trois problèmes de couverture distincts (incertitude de volatilité dans Black-Scholes, incertitude de corrélation dans Heston, et incertitude de covariance dans des modèles multi-actifs), les auteurs montrent que les politiques entraînées sous RLM (ambiguïté stationnaire) maintiennent leur robustesse au fil du temps, tandis que les politiques SLM se dégradent.
4. Backtest sur Marchés Réels : À travers une étude de cas à grande échelle utilisant les données de l'indice S&P 100, les auteurs montrent que les politiques entraînées avec l'ambiguïté stationnaire surpassent celles entraînées avec la randomisation statique et les références Black-Scholes standards, particulièrement lors des changements de régime (changements importants de volatilité).

Résultats

Expériences de Simulation

• Problème d'Investissement : Sous randomisation statique, la stratégie d'investissement optimale devient déterministe et spécialisée pour le drift inféré. Lorsque le régime de drift change, la politique SLM s'ajuste lentement, subissant une perte d'utilité significative. La politique RLM, entraînée avec l'ambiguïté stationnaire, maintient une distribution d'actions qui permet une adaptation plus rapide aux changements de régime.
• Problèmes de Couverture (BS-VOL, HESTON-CORR, BS-COV) :
  • Robustesse Initiale : Les politiques SLM et RLM surpassent toutes deux les politiques "plug-in" (entraînées sur un seul paramètre fixe) lorsqu'elles sont évaluées sur une gamme de régimes fixes.
  • Robustesse Continue : Lorsqu'elles sont évaluées sur des trajectoires présentant des changements de régime (régime de pré-entraînement $\neq$ régime de trading), les politiques SLM montrent une large dispersion de performance selon le régime de pré-entraînement, indiquant qu'elles se sont spécialisées. Les politiques RLM présentent une dispersion minimale, maintenant une performance constante quel que soit l'historique de pré-entraînement.
  • Comportement de Filtrage : L'examen de l'état interne des politiques de réseaux neuronaux révèle que les politiques SLM apprennent à filtrer l'état latent avec une grande confiance (faible variance) au fil du temps, tandis que les politiques RLM maintiennent un niveau d'incertitude plus élevé et stable, leur permettant de traiter les nouvelles observations comme des preuves potentielles d'un changement de régime.

Backtest sur Marché Réel

• En utilisant les données quotidiennes du S&P 100, les auteurs ont testé des politiques de couverture pour dix structures de payoff différentes. La période d'entraînement couvre de janvier 2006 à décembre 2015, tandis que la période d'évaluation (backtest) s'étend de janvier 2016 à décembre 2025.
• Performance Globale : Les politiques RLM ont généralement obtenu un risque spectral plus faible que les politiques SLM et les références Black-Scholes standards (BS-EWMA, BS-HIST).
• Changements de Régime : L'écart de performance s'est creusé de manière significative lors des périodes de changements de volatilité élevés. La politique SLM, s'étant spécialisée sur le régime de pré-entraînement, a mal performé lorsque le régime de marché a changé, alors que la politique RLM est restée robuste.

Signification et Revendications

L'article affirme que l'ambiguïté stationnaire est un principe de modélisation critique pour concevoir des simulateurs destinés à des problèmes de contrôle pilotés par des processus stochastiques exogènes dotés de structures latentes changeantes.

• Préservation de la Robustesse : La principale importance réside dans le fait que l'ambiguïté stationnaire empêche la "sur-spécialisation" des politiques sur des régimes inférés spécifiques, garantissant ainsi que la robustesse est maintenue au fil du temps plutôt que de décliner.
• Guide de Conception Pratique : Les auteurs fournissent une "recette" concrète pour la conception de simulateurs, conseillant aux praticiens de :
  1. Randomiser les paramètres en utilisant un processus de Markov stationnaire (comme le RLM) plutôt qu'un tirage statique.
  2. Initialiser les simulateurs dans leur régime stationnaire (via un préchauffage ou une initialisation conditionnelle) plutôt que de manière déterministe.
  3. S'assurer que la dynamique latente du simulateur permet des changements de régime que la politique ne peut prédire avec certitude.
• Applicabilité : Bien que les expériences se concentrent sur la couverture financière, les auteurs soutiennent que ce principe s'applique à tout problème de contrôle séquentiel où les dynamiques latentes de l'environnement sont incertaines et censées changer (par exemple, le contrôle des stocks, le stockage d'énergie), à condition que le contrôleur ne puisse pas influencer l'état latent par ses actions (pas d'exploration).

L'article conclut qu'ignorer la dynamique de l'ambiguïté (c'est-à-dire la laisser s'évanouir) crée un écart fondamental entre la simulation et la réalité, et qu'imposer une ambiguïté stationnaire est une étape nécessaire pour déployer des politiques de contrôle robuste dans des environnements dynamiques et incertains.