Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

Resumo Técnico: Unindo Finanças Comportamentais e DRL Agêntica Robusta para Seleção de Portfólio

Declaração do Problema
Os mercados financeiros são caracterizados por volatilidade dinâmica, choques macroeconômicos e respostas comportamentais significativas que os modelos convencionais de otimização de portfólio frequentemente falham em capturar. Abordagens tradicionais, incluindo algoritmos de Aprendizado por Reforço (RL) padrão, geralmente dependem de estruturas de recompensa baseadas em retornos. Essas estruturas frequentemente negligenciam características críticas do investidor, como a aversão à perda, reações assimétricas a ganhos e perdas, e a incerteza inerente dos estados de mercado. Consequentemente, agentes de RL padrão podem ter dificuldade em generalizar sob condições voláteis, levando a um timing subótimo, tomada de risco excessiva ou saídas prematuras durante turbulências de mercado. Existe uma lacuna distinta na literatura existente quanto à integração sistemática de robustez baseada em perturbação e modelagem comportamental inspirada na Teoria da Perspectiva dentro de uma arquitetura de RL unificada para gestão de portfólio.

Metodologia
O estudo propõe um novo framework computacional, o RPPO-MPT, que estende o algoritmo de Otimização de Política Próxima (PPO) através de dois mecanismos primários: aprendizado robusto baseado em perturbação e modelagem de recompensa comportamental. O problema de seleção de portfólio é formulado como um Processo de Decisão de Markov (MDP) envolvendo 15 ações de grande capitalização dos EUA.

A metodologia progride através de três estágios comparativos:

1. PPO Baseline: Um agente PPO padrão é inicializado com pesos uniformes e pré-treinado usando uma estratégia de Portfólio de Média-Variância (MPT) via aprendizado supervisionado. O agente aprende a maximizar retornos cumulativos penalizados por custos de transação ($\gamma = 0,01$). O espaço de estados inclui retornos históricos ao longo de uma janela de 14 semanas e os pesos anteriores do portfólio.
2. PPO Robusto (RPPO): Esta variante introduz um mecanismo de treinamento baseado em perturbação para aumentar a estabilidade contra o ruído de mercado. Para cada par estado-ação, o agente gera $K=5$ estados perturbados usando ruído Gaussiano ($\sigma = 0,03$). Uma recompensa robusta é computada penalizando a variância nos retornos através desses estados perturbados, controlada por um parâmetro de compensação $\beta = 0,2$. Isso força a política a ser menos sensível a pequenas variações de estado.
3. RPPO-MPT (Modelo Proposto): Este modelo integra a robustez do RPPO com uma estrutura de recompensa inspirada na Teoria da Perspectiva. Em vez de otimizar retornos brutos, o agente otimiza uma função de utilidade de "esperança-medo".
   • Dependência de Referência: Os retornos são avaliados em relação a um ponto de referência (definido como zero).
   • Aversão à Perda: A função de recompensa decompõe os resultados em "esperança" (ganhos) e "medo" (perdas). As perdas são ponderadas por um coeficiente de aversão à perda ($\lambda = 2,25$), enquanto ganhos e perdas estão sujeitos a sensibilidade decrescente ($\alpha = \beta = 0,88$).
   • Modelagem de Recompensa (Reward Shaping): A recompensa final é uma razão entre o componente de esperança e o componente de medo (mais uma pequena constante $\epsilon_1$ para garantir estabilidade numérica), menos os custos de transação. Esta estrutura penaliza explicitamente o risco de queda de forma mais pesada do que recompensa ganhos equivalentes, alinhando o objetivo do agente com as preferências comportamentais do investidor.

Configuração Experimental
Os modelos foram treinados em dados de preços ajustados históricos de 15 ações do S&P 500 de janeiro de 2010 até meados de junho de 2022. Testes fora da amostra (out-of-sample) foram conduzidos de meados de junho de 2022 a setembro de 2025. O desempenho foi avaliado por meio de um conjunto abrangente de métricas, incluindo retorno anualizado, razão de Sharpe, razão de Informação, $\alpha$, drawdown máximo, drawdown mais longo, turnover anual e utilidade comportamental sob diferentes configurações de aversão ao risco.

Principais Resultados
A análise comparativa demonstra que o framework RPPO-MPT proposto alcança o perfil de desempenho fora da amostra mais forte entre os três modelos:

• Retornos Ajustados ao Risco Superiores: O RPPO-MPT superou tanto o PPO baseline quanto o PPO Robusto (RPPO) em termos de razão de Sharpe, razão de Informação e $\alpha$.
• Alinhamento Comportamental: O modelo alcançou uma maior utilidade comportamental, indicando melhor alinhamento com as preferências do investidor em relação à aversão à perda e percepção de risco assimétrica.
• Controle de Drawdown: Mantendo um controle de drawdown competitivo, o modelo RPPO-MPT gerenciou efetivamente o risco de queda sem sacrificar a geração de retornos.
• Estabilidade: A integração da robustez baseada em perturbação permitiu que o agente mantivesse a estabilidade durante o período de teste volátil (2022–2025), evitando a sobreconcentração e o rebalanceamento errático observados ocasionalmente no PPO baseline.

Significância e Alegações
O artigo alega que a principal contribuição deste trabalho é o bem-sucedido agrupamento de otimização robusta e finanças comportamentais dentro de uma única arquitetura de Aprendizado por Reforço Profundo. Ao otimizar conjuntamente para desempenho financeiro, resiliência à incerteza de estado e utilidade consistente com o investidor, o framework RPPO-MPT aborda as limitações dos modelos de RL tradicionais que dependem exclusivamente da maximização de retornos.

Os autores afirmam que esta abordagem oferece um caminho prático para o deployment de "agentes de tomada de decisão resilientes e psicologicamente fundamentados" em sistemas financeiros reais. O estudo demonstra que considerar explicitamente a incerteza do mercado (via perturbações) e a psicologia do investidor (via modelagem de recompensa pela Teoria da Perspectiva) aumenta a adaptabilidade e o alinhamento com o investidor dos agentes de RL, fornecendo uma alternativa mais robusta aos métodos convencionais de otimização de portfólio.