Resumen Técnico: Comportamiento de la Teoría de la Perspectiva a partir de la Optimalidad de Bellman en MDPs con Estados Catastróficos

1. Planteamiento del Problema

Este artículo investiga si el control óptimo estándar, libre de riesgo, en Procesos de Decisión de Markov (MDP) puede generar firmas conductuales típicamente asociadas con la Teoría de la Perspectiva (PT), específicamente cuando el entorno contiene un estado catastrófico absorbente.

Los autores desafían la interpretación convencional de que los fenómenos de la PT —como una función de valor en forma de S, la aversión a la pérdida ($\lambda > 1$) y el efecto de reflexión (aversión al riesgo en ganancias, búsqueda de riesgo en pérdidas)— requieren funciones de utilidad no lineales, ponderación de probabilidad distorsionada o preferencias dependientes de la referencia. En su lugar, el artículo pregunta si estos patrones emergen puramente de la dinámica estructural de un MDP con una "frontera de catástrofe" (un estado absorbente que representa la ruina, la bancarrota o la muerte) y recompensas lineales.

El problema central es determinar si un agente libre de riesgo, que optimiza la ecuación de Bellman estándar, exhibirá:

1. Funciones de valor en forma de S: Convexas cerca de la catástrofe y cóncavas en el campo lejano.
2. Aversión a la pérdida endógena: Un coeficiente de sensibilidad al estado $\lambda^*(S) > 1$.
3. Efecto de reflexión: Una reversión de la política donde el agente actúa con aversión al riesgo en regímenes de "crecimiento" (deriva positiva) y búsqueda de riesgo en regímenes de "declive" (deriva negativa) cerca de la catástrofe, a pesar de que las comparaciones locales de valor esperado sugieren lo contrario.

2. Metodología

Formulación del Modelo

Los autores definen un MDP de frontera de catástrofe con las siguientes propiedades:

• Espacio de Estados: $S = \{S_{cat}, S_{cat}+1, \dots\}$, donde $S_{cat}=0$ es una catástrofe absorbente con valor $V_{cat} \le 0$.
• Acciones:
  • Segura: Transición determinista $S' = S + \Delta_s$.
  • Arriesgada: Transición estocástica $S' = S + \Delta_w$ con probabilidad $p$, y $S' = S + \Delta_\ell$ con probabilidad $1-p$ (donde $\Delta_w > 0 > \Delta_\ell$).
• Objetivo: Optimalidad de Bellman estándar con recompensas lineales y factor de descuento $\beta \in (0, 1)$.
• Regímenes:
  • Crecimiento: $E[\text{arriesgado}] > \Delta_s > 0$.
  • Declive: $E[\text{arriesgado}] < \Delta_s < 0$.

Enfoque Analítico y Numérico

1. Iteración de Valor: El sistema se resuelve mediante iteración de valor (tolerancia $10^{-10}$) a través de 495 configuraciones de parámetros para generar funciones de valor $V^*(S)$ y políticas óptimas.
2. Sensibilidad de Pérdida Endógena: Los autores definen un coeficiente de sensibilidad de pérdida estructural análogo al parámetro de la PT $\lambda$:
   $$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$$
3. Análisis Asintótico: Los autores derivan una expresión en forma cerrada para el límite asintótico $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ analizando la ecuación característica de la recurrencia lineal que gobierna la función de valor en el campo lejano.
4. Pruebas de Robustez:
   • Aprendizaje Libre de Modelo: Se emplea Q-learning tabular para verificar si un agente libre de modelo reproduce los fenómenos sin conocimiento del núcleo de transición.
   • Transiciones Estocásticas: Las transiciones deterministas se perturban con ruido aditivo (Gaussiano, de cola pesada tipo Student-t y asimétrico skew-normal) para probar la sensibilidad a las suposiciones de distribución.

3. Principales Contribuciones

1. Emergencia de Tres Firmas de la Teoría de la Perspectiva

El artículo demuestra que la optimalidad de Bellman estándar por sí sola produce:

• Función de Valor en Forma de S: En regímenes de crecimiento, $V^*(S)$ es convexa cerca de la catástrofe (debido al alto costo del "salto hacia abajo" hacia la ruina) y cóncava en el campo lejano.
• Aversión a la Pérdida Endógena: La relación entre las caídas de valor y las ganancias, $\lambda^*(S)$, es estrictamente mayor que 1 y converge a una meseta asintótica $\bar{\lambda}$.
• Efecto de Reflexión: La política óptima se revierte según la deriva ambiental. En el crecimiento, el agente juega de forma segura cerca de la catástrofe (aversión al riesgo) para evitar la ruina, incluso si la acción arriesgada tiene un retorno esperado inmediato más alto. En el declive, el agente juega de forma arriesgada cerca de la catástrofe (búsqueda de riesgo) porque la acción segura solo retrasa la ruina inevitable, mientras que una victoria arriesgada ofrece una oportunidad de escape.

2. Mecanismo: Valores de Continuación, No Preferencias

Los autores establecen que estos comportamientos son impulsados por los valores de continuación. Cerca de una frontera absorbente, la proximidad al fallo irreversible pondera desproporcionadamente los riesgos de la parte inferior. Este efecto dinámico invierte las clasificaciones locales de valor esperado sin requerir ninguna curvatura en la función de utilidad o ponderación de probabilidad.

3. Aversión a la Pérdida Asintótica en Forma Cerrada

El artículo deriva una fórmula en forma cerrada para la meseta de aversión a la pérdida asintótica $\bar{\lambda}$:
$$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$$
donde $r = |\Delta_\ell|/\Delta_w$ es la razón de asimetría de la recompensa, y $z \in (0, 1)$ es la raíz única de la ecuación característica $\beta[p z + (1-p)z^{-r}] = 1$.

• Invarianza de Escala: $\bar{\lambda}$ depende solo de $(p, \beta, r)$, no de la magnitud absoluta de las recompensas.
• Dominancia de la Frontera: La fórmula permite la descomposición de $\bar{\lambda}$ en una "contribución de la frontera" (presente incluso cuando $r=1$, es decir, recompensas simétricas) y una "contribución de la asimetría". Los autores muestran que la contribución de la frontera domina; incluso con recompensas simétricas ($r=1$), $\bar{\lambda} > 1$ en regímenes de crecimiento.

4. Robustez al Aprendizaje y al Ruido

• Q-Learning: Un agente de Q-learning tabular reproduce la forma de S, la zona segura, el efecto "Hail Mary" y $\lambda^* > 1$ con una alta correlación con la solución exacta ($R=0.98$ en crecimiento, $R=1.00$ en declive).
• Estocasticidad: Los fenómenos persisten bajo ruido Gaussiano, de cola pesada y asimétrico hasta el 50% del tamaño del paso. La meseta asintótica se desvía de la predicción de la forma cerrada en un máximo de 9.6% bajo ruido en el canal arriesgado.

4. Resultados

• Ajuste Cuantitativo: La fórmula en forma cerrada para $\bar{\lambda}$ coincide con las soluciones numéricas con un $R^2 = 0.999$.
• Descomposición de la Aversión a la Pérdida: A través de 48 celdas de parámetros, la "contribución de la frontera" (el valor de $\bar{\lambda}$ cuando $r=1$) explica la mayor parte de la aversión a la pérdida. La "contribución de la asimetría" (el aumento debido a $r > 1$) tiene una participación mediana de solo 4.6% en $r=1.25$ y aumenta a 13.9% en $r=2$.
• Reversión de Política: En las 69 configuraciones de declive probadas, el agente juega de forma arriesgada cerca de la catástrofe, confirmando el efecto "Hail Mary". En regímenes de crecimiento, el agente juega de forma segura durante un número específico de estados ($|\Delta_\ell|$) cerca de la frontera antes de cambiar a arriesgado.
• Sensibilidad al Ruido: El ruido en el canal seguro tiene un impacto insignificante ($\le 0.41\%$ de desviación), mientras que el ruido en el canal arriesgado reduce $\bar{\lambda}$ de forma monotónica pero preserva la estructura cualitativa.

5. Significado y Reivindicaciones

El artículo reclama una contribución estructural y normativa más que una psicológica. No argumenta que el comportamiento humano sea óptimo o que este mecanismo explique completamente la Teoría de la Perspectiva. En su lugar, postula que:

1. Suficiencia de la Estructura: Un estado catastrófico absorbente es un mecanismo estructural suficiente para generar firmas similares a la PT (forma de S, aversión a la pérdida, efecto de reflexión) bajo una optimización estándar y libre de riesgo.
2. Reinterpretación de Datos Empíricos: La variación observada en los coeficientes de aversión a la pérdida en la economía conductual (por ejemplo, la dependencia de la asimetría de la recompensa) puede explicarse parcialmente por las propiedades estructurales del entorno de decisión ($p$, $\beta$ y $r$) en lugar de únicamente por parámetros psicológicos estables.
3. Racionalidad del Comportamiento Extremo: El comportamiento de búsqueda de riesgo en ganancias y búsqueda de riesgo en pérdidas cerca del fallo pueden ser respuestas racionales a los valores de continuación, no necesariamente desviaciones patológicas de la racionalidad.
4. Implicaciones para el RL: Los comportamientos seguros o desesperados cerca de fallos absorbentes en el Aprendizaje por Refuerzo (RL) pueden emerger naturalmente de la estructura del entorno sin la necesidad de restricciones de seguridad codificadas a mano o modificaciones de preferencias.

Los autores declaran explícitamente que la ponderación de la probabilidad, el encuadre (framing) y la dependencia de la referencia permanecen fuera del modelo y que sus hallazgos están destinados a situarse junto a, no a desplazar, los relatos psicológicos de la toma de decisiones humanas.