Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

Resumen Técnico: Uniendo las Finanzas Conductuales y el DRL Agéntico Robusto para la Selección de Carteras

Planteamiento del Problema
Los mercados financieros se caracterizan por una volatilidad dinámica, choques macroeconómicos y respuestas conductuales significativas que los modelos convencionales de optimización de carteras a menudo no logran capturar. Los enfoques tradicionales, incluyendo los algoritmos de Aprendizaje por Refuerzo (RL) estándar, suelen depender de estructuras de recompensa basadas en retornos. Estas estructuras pasan por alto frecuentemente características críticas del inversor, tales como la aversión a las pérdidas, las reacciones asimétricas ante ganancias y pérdidas, y la incertidumbre inherente de los estados del mercado. En consecuencia, los agentes de RL estándar pueden tener dificultades para generalizar bajo condiciones volátiles, lo que conduce a un cronometraje subóptimo, una toma de riesgos excesiva o salidas prematuras durante la turbulencia del mercado. Existe una brecha distintiva en la literatura existente con respecto a la integración sistemática de la robustez basada en perturbaciones y el modelado conductual inspirado en la Teoría de las Perspectivas dentro de una arquitectura de RL unificada para la gestión de carteras.

Metodología
El estudio propone un nuevo marco computacional, RPPO-MPT, que extiende el algoritmo de Optimización de Política Próxima (PPO) mediante dos mecanismos primarios: aprendizaje robusto basado en perturbaciones y modelado de recompensa conductual. El problema de selección de cartera se formula como un Proceso de Decisión de Markov (MDP) que involucra 15 acciones de gran capitalización de EE. UU.

La metodología progresa a través de tres etapas comparativas:

1. PPO Base: Un agente PPO estándar se inicializa con pesos uniformes y se preentrena utilizando una estrategia de Cartera de Media-Varianza (MPT) mediante aprendizaje supervisado. El agente aprende a maximizar los retornos acumulados penalizados por costos de transacción ($\gamma = 0.01$). El espacio de estados incluye retornos históricos sobre una ventana de 14 semanas y los pesos previos de la cartera.
2. PPO Robusto (RPPO): Esta variante introduce un mecanismo de entrenamiento basado en perturbaciones para mejorar la estabilidad frente al ruido del mercado. Para cada par estado-acción, el agente genera $K=5$ estados perturbados utilizando ruido Gaussiano ($\sigma = 0.03$). Se calcula un retorno robusto penalizando la varianza en los retornos a través de estos estados perturbados, controlado por un parámetro de compensación $\beta = 0.2$. Esto obliga a la política a ser menos sensible a las pequeñas variaciones de estado.
3. RPPO-MPT (Modelo Propuesto): Este modelo integra la robustez de RPPO con una estructura de recompensa inspirada en la Teoría de las Perspectivas. En lugar de optimizar los retornos brutos, el agente optimiza una función de utilidad de "esperanza-miedo".
   • Dependencia de Referencia: Los retornos se evalúan en relación con un punto de referencia (establecido en cero).
   • Aversión a la Pérdida: La función de recompensa descompone los resultados en "esperanza" (ganancias) y "miedo" (pérdidas). Las pérdidas se ponderan mediante un coeficiente de aversión a la pérdida ($\lambda = 2.25$), mientras que las ganancias y las pérdidas están sujetas a una sensibilidad decreciente ($\alpha = \beta = 0.88$).
   • Modelado de Recompensa (Reward Shaping): La recompensa final es una razón entre el componente de esperanza y el componente de miedo (más una pequeña constante $\epsilon_1$ para asegurar la estabilidad numérica), menos los costos de transacción. Esta estructura penaliza explícitamente el riesgo a la baja de manera más pesada de lo que recompensa las ganancias equivalentes, alineando el objetivo del agente con las preferencias del inversor conductual.

Configuración Experimental
Los modelos fueron entrenados con datos de precios ajustados históricos de 15 acciones del S&P 500 desde enero de 2010 hasta mediados de junio de 2022. Las pruebas fuera de la muestra se realizaron desde mediados de junio de 2022 hasta septiembre de 2025. El desempeño fue evaluado mediante un conjunto integral de métricas, incluyendo retorno anualizado, ratio de Sharpe, ratio de Información, $\alpha$, drawdown máximo, drawdown más largo, rotación anual y utilidad conductual bajo diversas configuraciones de aversión al riesgo.

Resultos Clave
El análisis comparativo demuestra que el marco propuesto RPPO-MPT logra el perfil de desempeño fuera de la muestra más fuerte entre los tres modelos:

• Retornos Ajustados por Riesgo Superiores: RPPO-MPT superó tanto al PPO base como al PPO Robusto (RPPO) en términos de ratio de Sharpe, ratio de Información y $\alpha$.
• Alineación Conductual: El modelo logró una mayor utilidad conductual, indicando una mejor alineación con las preferencias del inversor con respecto a la aversión a la pérdida y la percepción asimétrica del riesgo.
• Control de Drawdown: Mientras mantiene un control competitivo del drawdown, el modelo RPPO-MPT gestionó eficazmente el riesgo a la baja sin sacrificar la generación de retornos.
• Estabilidad: La integración de la robustez basada en perturbaciones permitió al agente mantener la estabilidad durante el periodo de prueba volátil (2022–2025), evitando la sobreconcentración y el reequilibrio errático observados ocasionalmente en el PPO base.

Significancia y Reivindicaciones
El artículo sostiene que la principal contribución de este trabajo es el puente exitoso entre la optimización robusta y las finanzas conductuales dentro de una única arquitectura de Aprendizaje por Refuerzo Profundo. Al optimizar conjuntamente para el desempeño financiero, la resiliencia a la incertidumbre del estado y la utilidad consistente con el inversor, el marco RPPO-MPT aborda las limitaciones de los modelos de RL tradicionales que dependen únicamente de la maximización de retornos.

Los autores afirman que este enfoque ofrece un camino práctico para desplegar "agentes de toma de decisiones resilientes y psicológicamente fundamentados" en sistemas financieros reales. El estudio demuestra que tener en cuenta explícitamente la incertidumbre del mercado (mediante perturbaciones) y la psicología del inversor (mediante el modelado de recompensa de la Teoría de las Perspectivas) mejora la adaptabilidad y la alineación con el inversor de los agentes de RL, proporcionando una alternativa más robusta a los métodos convencionales de optimización de carteras.