Merton's Problem with Recursive Perturbed Utility

1. Problématique et Contexte

Le problème classique d'investissement de Merton (1969) prédit que les investisseurs rationnels et averses au risque suivent des règles de portefeuille déterministes, dépendant de l'état du marché et du temps. Cependant, des preuves empiriques et de laboratoire suggèrent que les individus préfèrent souvent des décisions randomisées (stochastiques), menant à des choix bruyants et imprévisibles.

L'article s'attaque à deux défis majeurs dans l'extension de la théorie de l'utilité perturbée additive (APU) de Fudenberg et al. (2015) au cadre dynamique de Merton :

1. Mal-poséness (Ill-posedness) : Dans un cadre dynamique avec un contrôle continu, l'ajout d'une utilité d'entropie additive simple conduit à un problème mal posé si l'aversion au risque n'est pas suffisamment forte. L'agent peut faire diverger la valeur de l'objectif en augmentant indéfiniment la variance de ses choix sans limite.
2. Intracabilité : Même lorsque le problème est bien posé, le modèle additif ne permet pas d'obtenir des solutions analytiques fermées, même dans des marchés simples (Black-Scholes) avec des préférences CRRA (aversion relative constante au risque).

L'objectif est donc de modéliser la préférence intrinsèque pour la randomisation dans un cadre dynamique, tout en assurant l'existence de solutions et la tractabilité mathématique.

2. Méthodologie : L'Utilité Perturbée Récursive (RPU)

Les auteurs introduisent une nouvelle formulation appelée Utilité Perturbée Récursive (RPU). Inspirée par les utilités récursives d'Epstein-Zin et Duffie-Epstein, cette approche modifie la façon dont l'utilité de la randomisation est intégrée dans le temps.

• Formulation : Au lieu d'ajouter simplement un terme d'entropie au flux d'utilité (comme dans l'APU), la RPU intègre l'entropie dans un agrégateur récursif. La valeur actuelle de l'utilité dépend d'un taux d'actualisation endogène qui dépend de l'accumulation passée de la randomisation.
• Mécanisme d'actualisation : Le terme de perturbation induit un taux d'actualisation dépendant de l'historique. Plus l'investisseur a randomisé dans le passé, moins il accorde de poids à la randomisation actuelle (effet de "satiété" ou de préférence temporelle endogène). Cela crée un compromis intertemporel entre l'utilité de la randomisation et l'utilité de l'héritage (bequest utility).
• Modélisation mathématique : Le problème est formulé dans un marché incomplet markovien avec des facteurs stochastiques exogènes. La dynamique de la richesse sous un contrôle randomisé $\pi$ suit une équation différentielle stochastique (EDS) où la volatilité est augmentée par la variance de la distribution de contrôle. L'utilité est définie via une Équation Différentielle Stochastique Rétrograde (EDSR).

3. Résultats Principaux

A. Existence et Forme de la Politique Optimale

Dans un marché markovien incomplet avec des préférences CRRA, les auteurs prouvent que :

• La politique de portefeuille optimale (en termes de ratio d'exposition au risque) suit une distribution Gaussienne.
• Cette distribution est indépendante de la richesse mais dépend des facteurs stochastiques du marché.
• Variance de la politique : Elle admet une expression en forme fermée : elle est inversement proportionnelle à l'aversion au risque relative ($\gamma$) et à la volatilité instantanée du marché ($\sigma^2$).
  $$\text{Var}(\pi^*) = \frac{\lambda}{\gamma \sigma^2}$$
  où $\lambda$ est le paramètre de "température" (poids de la préférence pour la randomisation).
• Moyenne de la politique : Elle est la somme de deux termes :
  1. Un terme myope (identique à la solution de Merton classique).
  2. Un terme de couverture intertemporelle (hedging) qui dépend de la solution d'une équation aux dérivées partielles (EDP) et qui est influencé par la randomisation.

B. Biais et Déviation par rapport à Merton

Contrairement à certains résultats en apprentissage par renforcement où la randomisation n'affecte que la variance, ici la randomisation biaise la moyenne de la politique optimale.

• Le biais provient de l'interaction entre la demande de couverture (due à l'imperfection du marché) et la préférence pour la randomisation.
• La politique est non biaisée (c'est-à-dire que sa moyenne coïncide avec celle de Merton) uniquement dans des cas spécifiques :
  • Si le marché est complet ou si les facteurs sont indépendants du prix de l'action ($\rho=0$ ou $\nu=0$).
  • Si l'utilité est logarithmique ($\gamma=1$), cas où la RPU se réduit à l'APU.

C. Analyse Asymptotique et Coût Financier

Les auteurs effectuent un développement asymptotique par rapport au paramètre de température $\lambda$ (supposé petit) pour quantifier le coût de la préférence pour la randomisation :

• Déviation de la politique : L'écart entre la politique moyenne optimale et la politique de Merton classique est d'ordre premier en $\lambda$ ($O(\lambda)$).
• Perte de richesse relative : La perte de richesse équivalente (le coût financier d'adopter la politique randomisée par rapport à la politique déterministe optimale) est d'ordre deux en $\lambda$ ($O(\lambda^2)$).
• Interprétation : Cela signifie que bien que la politique de décision soit modifiée de manière significative (linéairement) par la préférence pour le hasard, le coût économique réel pour l'investisseur est négligeable à la première approximation (quadratique). La préférence pour la randomisation a donc un coût financier très faible.

4. Contributions Clés

1. Résolution du problème de mal-poséness : L'introduction de la structure récursive (RPU) résout le problème d'ill-posedness de l'APU dynamique en endogénéisant le taux d'actualisation, empêchant ainsi la divergence de la valeur.
2. Tractabilité analytique : Contrairement aux modèles additifs, la RPU permet d'obtenir des solutions en forme fermée pour la variance et une caractérisation précise de la moyenne via une EDP, même dans des marchés incomplets.
3. Distinction conceptuelle : L'article clarifie la différence fondamentale entre la randomisation en apprentissage par renforcement (exploration pour apprendre) et la randomisation en économie comportementale (préférence intrinsèque pour le hasard), tout en utilisant un cadre mathématique similaire (contrôles relâchés).
4. Quantification du coût : La démonstration que le coût financier de la préférence pour la randomisation est d'ordre supérieur à la déviation de la politique offre une justification théorique à l'observation de comportements stochastiques sans qu'ils ne soient nécessairement "coûteux" pour la richesse.

5. Signification et Implications

Ce travail fournit un cadre théorique robuste pour intégrer les comportements stochastiques observés en laboratoire dans les modèles financiers continus. Il montre que la préférence pour la randomisation peut être modélisée de manière cohérente sans sacrifier la rationalité ou la solvabilité du modèle.

Les résultats suggèrent que les écarts observés entre les comportements réels des investisseurs et les prédictions déterministes de Merton ne sont pas nécessairement le signe d'une irrationalité coûteuse, mais peuvent être expliqués par une préférence structurelle pour la randomisation qui n'entraîne qu'une perte de richesse marginale. Cela ouvre la voie à de nouvelles recherches sur la calibration de ces préférences et leur impact sur la tarification des actifs et la gestion de portefeuille.