Merton's Problem with Recursive Perturbed Utility

Aquí presento un resumen técnico detallado del artículo "Merton's Problem with Recursive Perturbed Utility" (El problema de Merton con Utilidad Perturbada Recursiva), escrito por Dai, Dong, Jia y Zhou.

1. Planteamiento del Problema

El problema clásico de inversión de Merton (1969) predice que un inversor racional y con aversión al riesgo sigue una política de cartera determinista (una función de tiempo y estado). Sin embargo, la evidencia empírica y de laboratorio sugiere que los individuos a menudo prefieren decisiones aleatorizadas ("ruidosas"), un fenómeno observado en contextos que van desde la selección de menús hasta la asignación de carteras.

La teoría de Utilidad Perturbada Aditiva (APU) de Fudenberg et al. (2015) explica esta preferencia por la aleatorización en entornos estáticos mediante la adición de un término de entropía a la utilidad esperada. Sin embargo, al extender este modelo al entorno dinámico del problema de Merton, surgen dos problemas graves:

1. Mal planteamiento (Ill-posedness): Si la aversión al riesgo no es suficientemente fuerte, el agente puede maximizar la utilidad infinitamente aumentando la varianza de sus elecciones sin límite, ya que la entropía en un espacio continuo puede ser ilimitada.
2. Intratabilidad: Incluso cuando el problema es bien planteado, el modelo aditivo no ofrece soluciones analíticas cerradas, incluso en mercados completos con preferencias de aversión relativa al riesgo constante (CRRA).

El objetivo del artículo es resolver estas limitaciones introduciendo un nuevo marco que capture la preferencia intrínseca por la aleatorización en un contexto dinámico continuo.

2. Metodología

Los autores proponen la Utilidad Perturbada Recursiva (RPU), una utilidad estocástica diferencial especial que incorpora la preferencia por la aleatorización de manera recursiva.

• Estructura de la RPU: A diferencia del modelo APU aditivo, la RPU utiliza un agregador recursivo donde el descuento temporal depende de la utilidad acumulada por la aleatorización pasada. La función de valor $J_t^\pi$ satisface una Ecuación Diferencial Estocástica Atrás (BSDE):
  $$dJ_t^\pi = -\lambda_t H(\pi_t) [(1-\gamma)J_t^\pi + 1]dt + Z_t^\pi \cdot dB_t$$
  Donde:

  • $H(\pi_t)$ es la entropía diferencial de la distribución de control aleatorizado $\pi_t$.
  • $\lambda_t$ es el parámetro de "temperatura" (peso de la aleatorización).
  • $\gamma$ es el coeficiente de aversión al riesgo.
  • El término $[(1-\gamma)J_t^\pi + 1]$ actúa como un peso endógeno. Si $\gamma > 1$ (aversión al riesgo típica), la acumulación de aleatorización en el pasado reduce el peso de la aleatorización actual (descuento endógeno), evitando la sobre-aleatorización.

• Entorno de Mercado: Se considera un mercado incompleto de Markov con:

  • Un activo libre de riesgo y un activo riesgoso (acción).
  • Factores estocásticos exógenos ($X_t$) que afectan el retorno y la volatilidad.
  • Preferencias CRRA en la utilidad de la herencia (riqueza terminal).

• Control Relajado: Se utiliza la formulación de "control relajado" (Wang et al., 2020), donde la política de inversión no es un valor único, sino una distribución de probabilidad $\pi_t$ sobre los controles. La dinámica de la riqueza se altera para incluir una volatilidad adicional derivada de la varianza de esta distribución.

3. Contribuciones Clave

1. Resolución de la Mal Planteación: Demuestran que el modelo APU aditivo es mal planteado en dinámicas continuas para ciertos niveles de aversión al riesgo, y proponen la RPU como la solución que garantiza un problema bien planteado mediante el descuento endógeno.
2. Carácter Gaussiano Óptimo: Proban que, en un mercado de Markov general con preferencias CRRA, la política de cartera óptima (en términos de la distribución de riesgo) sigue necesariamente una distribución Normal (Gaussiana).
3. Independencia de la Riqueza: La política óptima es independiente del nivel de riqueza actual, dependiendo solo de los factores estocásticos del mercado y del tiempo.
4. Análisis Asintótico: Desarrollan una expansión asintótica en función del parámetro de temperatura ($\lambda$) para cuantificar el costo financiero de la preferencia por la aleatorización.

4. Resultados Principales

A. Política Óptima y Estructura

La política óptima $\pi^*(t, x)$ es una distribución Normal con:

• Media:
  $$\text{Mean}(\pi^*) = \underbrace{\frac{\mu - r}{\gamma \sigma^2}}_{\text{Miopía}} + \underbrace{\frac{\rho \nu}{\gamma \sigma} u_x}_{\text{Cobertura Intertemporal}}$$
  Donde $u_x$ es la derivada de una función $u(t,x)$ que satisface una Ecuación Diferencial Parcial (EDP) no lineal.

  • La primera parte es la solución clásica de Merton (miópica).
  • La segunda parte es un término de cobertura (hedging) contra la incompletitud del mercado. Críticamente, en el modelo RPU, este término de cobertura se ve alterado por la aleatorización a través de la solución de la EDP, lo que hace que la política media sea sesgada respecto a la solución clásica de Merton.

• Varianza:
  $$\text{Var}(\pi^*) = \frac{\lambda}{\gamma \sigma^2}$$
  La varianza (ruido de la decisión) es inversamente proporcional a la aversión al riesgo ($\gamma$) y a la volatilidad del activo ($\sigma^2$), y directamente proporcional a la temperatura ($\lambda$).

B. Condiciones de Sesgo (Bias)

La política óptima es no sesgada (su media coincide con la de Merton) solo en casos especiales:

• Si el mercado es completo o el factor de mercado es independiente de la acción ($\rho=0$ o $\nu=0$).
• Si la utilidad es logarítmica ($\gamma=1$), donde la RPU colapsa al modelo APU y el término de cobertura desaparece.
• En casos generales, la interacción entre la aleatorización y la necesidad de cobertura genera un sesgo en la política media.

C. Costo Financiero (Análisis Asintótico)

Mediante una expansión en $\lambda$ (asumiendo $\lambda$ pequeño):

1. Desviación de la Política: La desviación de la media óptima respecto a la política de Merton es de primer orden en $\lambda$ ($O(\lambda)$).
2. Pérdida de Utilidad y Riqueza: La pérdida relativa de utilidad y la pérdida de riqueza equivalente (el costo que el inversor estaría dispuesto a pagar por la aleatorización) son de segundo orden ($O(\lambda^2)$).

Esto implica que, aunque la política de inversión se desvía significativamente de la norma clásica debido a la preferencia por el azar, el costo financiero de hacerlo es de un orden superior (mucho menor), lo que sugiere que la preferencia por la aleatorización puede ser "barata" en términos de rendimiento esperado.

5. Significado e Implicaciones

• Teoría Económica: El artículo proporciona un marco microeconómico riguroso para la preferencia por la aleatorización en tiempo continuo, diferenciándose de la aleatorización en Aprendizaje por Refuerzo (RL) que se usa para la exploración. Aquí, la aleatorización es un fin en sí mismo (utilidad intrínseca), no un medio para aprender.
• Modelado Financiero: Introduce la RPU como una herramienta viable para modelar comportamientos de inversión "ruidosos" sin perder la tratabilidad matemática, demostrando que las políticas óptimas siguen siendo Gaussianas y cerradas.
• Implicaciones Prácticas: Sugiere que los inversores que disfrutan de la incertidumbre en sus decisiones (o que tienen preferencias no estándar) pueden desviarse de las estrategias óptimas clásicas sin sufrir grandes pérdidas financieras inmediatas, aunque sus estrategias de cobertura se vuelven más complejas.
• Conexión con RL: Aunque utiliza herramientas matemáticas similares a la regularización por entropía en RL, el objetivo es distinto: explicar el comportamiento humano observado en lugar de diseñar algoritmos de búsqueda.

En resumen, el paper establece que la preferencia por la aleatorización en un entorno dinámico requiere una estructura recursiva para ser bien planteada, resultando en políticas de cartera Gaussianas donde el ruido de decisión es controlado por la aversión al riesgo y la volatilidad, y cuyo costo financiero es cuantificable y relativamente bajo en comparación con la magnitud de la desviación de la política.