Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

Sintesi Tecnica: Unire la Finanza Comportamentale e il DRL Agente-Robusto per la Selezione di Portafoglio

Definizione del Problema
I mercati finanziari sono caratterizzati da una volatilità dinamica, shock macroeconomici e significative risposte comportamentali che i modelli convenzionali di ottimizzazione del portafoglio spesso non riescono a catturare. Gli approcci tradizionali, inclusi gli algoritmi standard di Reinforcement Learning (RL), si basano tipicamente su strutture di ricompensa basate sui rendimenti. Queste strutture trascurano frequentemente caratteristiche critiche dell'investitore, come l'avversione alle perdite, le reazioni asimmetriche a guadagni e perdite e l'incertezza intrinseca degli stati di mercato. Di conseguenza, gli agenti RL standard possono faticare a generalizzare in condizioni volatili, portando a un timing subottimale, un eccessivo rischio o uscite premature durante la turbolenza del mercato. Esiste una netta lacuna nella letteratura esistente riguardante l'integrazione sistematica della robustezza basata sulla perturbazione e della modellazione comportamentale ispirata alla Prospect Theory all'interno di un'architettura RL unificata per la gestione del portafoglio.

Metodologia
Lo studio propone un nuovo framework computazionale, RPPO-MPT, che estende l'algoritmo Proximal Policy Optimization (PPO) attraverso due meccanismi primari: l'apprendimento robusto basato sulla perturbazione e la modellazione della ricompensa comportamentale. Il problema della selezione del portafoglio è formulato come un Processo Decisionale di Markov (MDP) che coinvolge 15 titoli azionari statunitensi a grande capitalizzazione.

La metodologia progredisce attraverso tre fasi comparative:

1. PPO Baseline: Un agente PPO standard viene inizializzato con pesi uniformi e pre-addestrato utilizzando una strategia di Mean-Variance Portfolio (MPT) tramite apprendimento supervisionato. L'agente impara a massimizzare i rendimenti cumulativi penalizzati dai costi di transazione ($\gamma = 0,01$). Lo spazio degli stati include i rendimenti storici su una finestra di 14 settimane e i precedenti pesi del portafoglio.
2. Robust PPO (RPPO): Questa variante introduce un meccanismo di addestramento basato sulla perturbazione per migliorare la stabilità contro il rumore di mercato. Per ogni coppia stato-azione, l'agente genera $K=5$ stati perturbati utilizzando rumore Gaussiano ($\sigma = 0,03$). Una ricompensa robusta viene calcolata penalizzando la varianza dei rendimenti attraverso questi stati perturbati, controllata da un parametro di trade-off $\beta = 0,2$. Ciò costringe la policy a essere meno sensibile alle piccole variazioni di stato.
3. RPPO-MPT (Modello Proposto): Questo modello integra la robustezza di RPPO con una struttura di ricompensa ispirata alla Prospect Theory. Invece di ottimizzare i rendimenti grezzi, l'agente ottimizza una funzione di utilità "speranza-paura".
   • Dipendenza dal Punto di Riferimento: I rendimenti sono valutati rispetto a un punto di riferimento (impostato a zero).
   • Avversione alle Perdite: La funzione di ricompensa decompone gli esiti in "speranza" (guadagni) e "paura" (perdite). Le perdite sono pesate da un coefficiente di avversione alle perdite ($\lambda = 2,25$), mentre guadagni e perdite sono soggetti a una sensibilità decrescente ($\alpha = \beta = 0,88$).
   • Modellazione della Ricompensa (Reward Shaping): La ricompensa finale è un rapporto tra la componente di speranza e la componente di paura (più una piccola costante $\epsilon_1$ per garantire la stabilità numerica), meno i costi di transazione. Questa struttura penalizza esplicitamente il rischio di ribasso più pesantemente di quanto premi guadagni equivalenti, allineando l'obiettivo dell'agente con le preferenze comportamentali dell'investitore.

Configurazione Sperimentale
I modelli sono stati addestrati su dati storici dei prezzi aggiustati di 15 titoli del S&P 500 da gennaio 2010 a metà giugno 2022. Il test fuori campione (out-of-sample) è stato condotto da metà giugno 2022 a settembre 2025. Le prestazioni sono state valutate utilizzando una suite completa di metriche, tra cui rendimento annualizzato, Sharpe ratio, Information ratio, $\alpha$, maximum drawdown, longest drawdown, turnover annuale e utilità comportamentale sotto diverse impostazioni di avversione al rischio.

Risultati Chiave
L'analisi comparativa dimostra che il framework proposto RPPO-MPT raggiunge il profilo di performance out-of-sample più forte tra i tre modelli:

• Rendimenti Corretti per il Rischio Superiori: RPPO-MPT ha superato sia il baseline PPO che il Robust PPO (RPPO) in termini di Sharpe ratio, Information ratio e $\alpha$.
• Allineamento Comportamentale: Il modello ha ottenuto un'utilità comportamentale più elevata, indicando un migliore allineamento con le preferenze dell'investitore riguardo all'avversione alle perdite e alla percezione asimmetrica del rischio.
• Controllo del Drawdown: Pur mantenendo un controllo competitivo del drawdown, il modello RPPO-MPT ha gestito efficacemente il rischio di ribasso senza sacrificare la generazione di rendimento.
• Stabilità: L'integrazione della robustezza basata sulla perturbazione ha permesso all'agente di mantenere la stabilità durante il periodo di test volatile (2022–2025), evitando l'over-concentrazione e il ribilanciamento erratico talvolta osservati nel baseline PPO.

Significatività e Rivendicazioni
Il documento sostiene che il contributo principale di questo lavoro sia il riuscito collegamento tra ottimizzazione robusta e finanza comportamentale all'interno di un singolo framework di Deep Reinforcement Learning. Ottimizzando congiuntamente la performance finanziaria, la resilienza all'incertezza dello stato e l'utilità coerente con l'investitore, il framework RPPO-MPT affronta i limiti dei modelli RL tradizionali che si affidano esclusivamente alla massimizzazione dei rendimenti.

Gli autori affermano che questo approccio offre una via pratica per il dispiegamento di "agenti decisionali resilienti e psicologicamente fondati" nei reali sistemi finanziari. Lo studio dimostra che tenere conto esplicitamente dell'incertezza di mercato (tramite perturbazioni) e della psicologia dell'investitore (tramite la modellazione della ricompensa della Prospect Theory) migliora l'adattabilità e l'allineamento con l'investitore degli agenti RL, fornendo un'alternativa più robusta ai metodi convenzionali di ottimizzazione del portafoglio.