Résumé technique : Émergence des comportements de la Théorie des Perspectives à partir de l'optimalité de Bellman dans les MDP avec états catastrophiques

1. Énoncé du problème

Cet article examine si le contrôle optimal standard, neutre face au risque, dans les processus de décision markoviens (MDP), peut générer des signatures comportementales typiquement associées à la Théorie des Perspectives (PT), spécifiquement lorsqu'un environnement contient un état catastrophique absorbant.

Les auteurs contestent l'interprétation conventionnelle selon laquelle les phénomènes de la PT — tels qu'une fonction de valeur en forme de S, l'aversion à la perte ($\lambda > 1$) et l'effet de réflexion (aversion au risque dans les gains, recherche de risque dans les pertes) — nécessitent des fonctions d'utilité non linéaires, une pondération de probabilité déformée ou des préférences dépendantes d'un point de référence. Au lieu de cela, l'article demande si ces modèles émergent purement de la dynamique structurelle d'un MDP avec une « frontière de catastrophe » (un état absorbant représentant la ruine, la faillite ou la mort) et des récompenses linéaires.

Le problème central est de déterminer si un agent neutre face au risque, optimisant l'équation de Bellman standard, présentera :

1. Des fonctions de valeur en forme de S : Convexe près de la catastrophe et concave dans le champ lointain.
2. Une aversion à la perte endogène : Un coefficient de sensibilité à l'état $\lambda^*(S) > 1$.
3. L'effet de réflexion : Un renversement de politique où l'agent agit de manière averse au risque dans les régimes de « croissance » (dérive positive) et de recherche de risque dans les régimes de « déclin » (dérive négative) près de la catastrophe, malgré des comparaisons de valeur attendue locale suggérant le contraire.

2. Méthodologie

Formulation du modèle

Les auteurs définissent un MDP à frontière de catastrophe possédant les propriétés suivantes :

• Espace d'états : $S = \{S_{cat}, S_{cat}+1, \dots\}$, où $S_{cat}=0$ est une catastrophe absorbante avec une valeur $V_{cat} \le 0$.
• Actions :
  • Sûr : Transition déterministe $S' = S + \Delta_s$.
  • Risqué : Transition stochastique $S' = S + \Delta_w$ avec une probabilité $p$, et $S' = S + \Delta_\ell$ avec une probabilité $1-p$ (où $\Delta_w > 0 > \Delta_\ell$).
• Objectif : Optimalité de Bellman standard avec récompenses linéaires et facteur d'actualisation $\beta \in (0, 1)$.
• Régimes :
  • Croissance : $E[\text{risqué}] > \Delta_s > 0$.
  • Déclin : $E[\text{risqué}] < \Delta_s < 0$.

Approche analytique et numérique

1. Itération de valeur : Le système est résolu via l'itération de valeur (tolérance $10^{-10}$) à travers 495 configurations de paramètres pour générer les fonctions de valeur $V^*(S)$ et les politiques optimales.
2. Sensibilité endogène à la perte : Les auteurs définissent un coefficient de sensibilité à la perte structurel analogue au paramètre $\lambda$ de la PT :
   $$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$$
3. Analyse asymptotique : Les auteurs dérivent une expression en forme close de la limite asymptotique $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ en analysant l'équation caractéristique du récurrence linéaire régissant la fonction de valeur dans le champ lointain.
4. Tests de robustesse :
   • Apprentissage sans modèle (Model-Free) : Le Q-learning tabulaire est employé pour vérifier si un agent sans modèle reproduit les phénomènes sans connaissance du noyau de transition.
   • Transitions stochastiques : Les transitions déterministes sont perturbées par un bruit additif (Gaussien, Student-t à queues lourdes, et Skew-Normal asymétrique) pour tester la sensibilité aux hypothèses de distribution.

3. Principales contributions

1. Émergence de trois signatures de la Théorie des Perspectives

L'article démontre que l'optimalité de Bellman standard produit à elle seule :

• Une fonction de valeur en forme de S : Dans les régimes de croissance, $V^*(S)$ est convexe près de la catastrophe (en raison du coût élevé du « saut vers le bas » dans la ruine) et concave dans le champ lointain.
• Une aversion à la perte endogène : Le ratio des chutes de valeur par rapport aux gains, $\lambda^*(S)$, est strictement supérieur à 1 et converge vers un plateau asymptotique $\bar{\lambda}$.
• L'effet de réflexion : La politique optimale s'inverse selon la dérive environnementale. En croissance, l'agent joue la prudence (sûr) près de la catastrophe (aversion au risque) pour éviter la ruine, même si l'action risquée a un rendement attendu immédiat plus élevé. En déclin, l'agent joue le risque (recherche de risque) près de la catastrophe car l'action sûre ne fait que retarder la ruine inévitable, tandis qu'un gain risqué offre une chance de s'échapper.

2. Mécanisme : Valeurs de continuation, non préférences

Les auteurs établissent que ces comportements sont pilotés par les valeurs de continuation. Près d'une frontière absorbante, la proximité d'un échec irréversible pondère de manière disproportionnée les risques de baisse. Cette dynamique inverse les classements de valeur attendue locale sans nécessifier de courbure dans la fonction d'utilité ou de pondération de probabilité.

3. Aversion à la perte asymptotique en forme close

L'article dérive une formule en forme close pour le plateau d'aversion à la perte asymptotique $\bar{\lambda}$ :
$$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$$
où $r = |\Delta_\ell|/\Delta_w$ est le ratio d'asymétrie des gains, et $z \in (0, 1)$ est la racine unique de l'équation caractéristique $\beta[p z + (1-p)z^{-r}] = 1$.

• Invariance d'échelle : $\bar{\lambda}$ dépend uniquement de $(p, \beta, r)$, et non de la magnitude absolue des gains.
• Dominance de la frontière : La formule permet de décomposer $\bar{\lambda}$ en une « contribution de la frontière » (présente même quand $r=1$, soit des gains symétriques) et une « contribution de l'asymétrie ». Les auteurs montrent que la contribution de la frontière domine ; même avec des gains symétriques ($r=1$), $\bar{\lambda} > 1$ dans les régimes de croissance.

4. Robustesse à l'apprentissage et au bruit

• Q-Learning : Un agent de Q-learning tabulaire reproduit la forme en S, la zone de sécurité, l'effet « Hail Mary » et $\lambda^* > 1$ avec une forte corrélation avec la solution exacte ($R=0,98$ en croissance, $R=1,00$ en déclin).
• Stochasticité : Les phénomènes persistent sous un bruit Gaussien, Student-t ou Skew-Normal jusqu'à 50 % de la taille du pas. Le plateau asymptotique dévie de la prédiction en forme close d'au plus 9,6 % sous l'effet du bruit dans le canal risqué.

4. Résultats

• Ajustement quantitatif : La formule en forme close pour $\bar{\lambda}$ correspond aux solutions numériques avec un $R^2 = 0,999$.
• Décomposition de l'aversion à la perte : À travers 48 cellules de paramètres, la « contribution de la frontière » (la valeur de $\bar{\lambda}$ quand $r=1$) explique la majorité de l'aversion à la perte. La « contribution de l'asymétrie » (l'augmentation due à $r > 1$) possède une part médiane de seulement 4,6 % à $r=1,25$ et monte à 13,9 % à $r=2$.
• Renversement de politique : Dans les 69 configurations de déclin testées, l'agent joue le risque près de la catastrophe, confirmant l'effet « Hail Mary ». En régime de croissance, l'agent joue la prudence pour un nombre spécifique d'états ($|\Delta_\ell|$) près de la frontière avant de passer au risque.
• Sensibilité au bruit : Le bruit du canal sûr a un impact négligeable ($\le 0,41 \%$ de déviation), tandis que le bruit du canal risqué réduit $\bar{\lambda}$ de manière monotone mais préserve la structure qualitative.

5. Signification et affirmations

L'article revendique une contribution structurelle et normative plutôt que psychologique. Il ne soutient pas que le comportement humain est optimal ou que ce mécanisme explique entièrement la Théorie des Perspectives. Il pose plutôt que :

1. Suffisance de la structure : Un état de catastrophe absorbant est un mécanisme structurel suffisant pour générer des signatures de type PT (forme en S, aversion à la perte, effet de réflexion) sous une optimisation standard et neutre face au risque.
2. Réinterprétation des données empiriques : La variation observée des coefficients d'aversion à la perte dans l'économie comportementale (ex: dépendance à l'asymétrie des gains) peut être partiellement expliquée par les propriétés structurelles de l'environnement de décision ($p$, $\beta$ et $r$) plutôt que uniquement par des paramètres psychologiques stables.
3. Rationalité des comportements extrêmes : L'aversion au risque dans les gains et la recherche de risque dans les pertes près de la défaillance peuvent être des réponses rationnelles aux valeurs de continuation, et non nécessairement des déviations pathologiques de la rationalité.
4. Implications pour l'apprentissage par renforcement (RL) : Les comportements de sécurité ou de désespoir près des échecs absorbants dans les systèmes de RL peuvent émerger naturellement de la structure de l'environnement sans nécessiter de contraintes de sécurité codées à la main ou de modifications de préférences.

Les auteurs précisent explicitement que la pondération des probabilités, le cadrage (framing) et la dépendance au point de référence restent en dehors du modèle, et que leurs conclusions sont destinées à s'ajouter aux comptes psychologiques de la prise de décision humaine, et non à les remplacer.