Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

Résumé Technique : Conjuguer la Finance Comportementale et l'Apprentissage par Renforcement Profond (DRL) Agentique Robuste pour la Sélection de Portefeuilles

Énoncé du Problème
Les marchés financiers sont caractérisés par une volatilité dynamique, des chocs macroéconomiques et des réponses comportementales significatives que les modèles conventionnels d'optimisation de portefeuille ne parviennent souvent pas à capturer. Les approches traditionnelles, y compris les algorithmes d'apprentissage par renforcement (RL) standards, reposent généralement sur des structures de récompense basées sur les rendements. Ces structures négligent fréquemment des caractéristiques critiques de l'investisseur, telles que l'aversion à la perte, les réactions asymétriques aux gains et aux pertes, ainsi que l'incertitude inhérente des états du marché. Par conséquent, les agents de RL standards peuvent éprouver des difficultés à se généraliser dans des conditions volatiles, entraînant un timing sous-optimal, une prise de risque excessive ou des sorties prématurées lors de turbulences de marché. Il existe un écart distinct dans la littérature existante concernant l'intégration systématique de la robustesse basée sur la perturbation et de la modélisation comportementale inspirée de la Théorie des Perspectives au sein d'une architecture de RL unifiée pour la gestion de portefeuille.

Méthodologie
L'étude propose un nouveau cadre computationnel, le RPPO-MPT, qui étend l'algorithme de l'Optimisation de Politique Proximale (PPO) par deux mécanismes primaires : l'apprentissage robuste basé sur la perturbation et le façonnage de la récompense comportementale. Le problème de sélection de portefeuille est formulé comme un processus de décision de Markov (MDP) impliquant 15 actions de grande capitalisation américaines.

La méthodologie progresse à travers trois étapes comparatives :

1. PPO de Base (Baseline PPO) : Un agent PPO standard est initialisé avec des poids uniformes et pré-entraîné à l'aide d'une stratégie de Portefeuille Moyenne-Variance (MPT) via un apprentissage supervisé. L'agent apprend à maximiser les rendements cumulés pénalisés par les coûts de transaction ($\gamma = 0,01$). L'espace d'état comprend les rendements historiques sur une fenêtre de 14 semaines et les poids précédents du portefeuille.
2. PPO Robuste (RPPO) : Cette variante introduit un mécanisme d'entraînement basé sur la perturbation pour renforcer la stabilité face au bruit du marché. Pour chaque paire état-action, l'agent génère $K=5$ états perturbés en utilisant un bruit gaussien ($\sigma = 0,03$). Une récompense robuste est calculée en pénalisant la variance des rendements à travers ces états perturbés, contrôlée par un paramètre de compromis $\beta = 0,2$. Cela force la politique à être moins sensible aux petites variations d'état.
3. RPPO-MPT (Modèle Proposé) : Ce modèle intègre la robustesse du RPPO avec une structure de récompense inspirée de la Théorie des Perspectives (Prospect Theory). Au lieu d'optimiser les rendements bruts, l'agent optimise une fonction d'utilité « espoir-peur ».
   • Dépendance à la Référence : Les rendements sont évalués par rapport à un point de référence (fixé à zéro).
   • Aversion à la Perte : La fonction de récompense décompose les résultats en « espoir » (gains) et « peur » (pertes). Les pertes sont pondérées par un coefficient d'aversion à la perte ($\lambda = 2,25$), tandis que les gains et les pertes sont soumis à une sensibilité décroissante ($\alpha = \beta = 0,88$).
   • Façonnage de la Récompense (Reward Shaping) : La récompense finale est un ratio de la composante espoir sur la composante peur (plus une petite constante $\epsilon_1$ pour assurer la stabilité numérique), moins les coûts de transaction. Cette structure pénalise explicitement le risque de baisse plus lourdement qu'elle ne récompense des gains équivalents, alignant l'objectif de l'agent sur les préférences comportementales des investisseurs.

Configuration Expérimentale
Les modèles ont été entraînés sur des données de prix ajustés historiques de 15 actions du S&P 500 de janvier 2010 à la mi-juin 2022. Des tests hors échantillon ont été effectués de la mi-juin 2022 à septembre 2025. La performance a été évaluée à l'aide d'une suite complète de métriques, incluant le rendement annualisé, le ratio de Sharpe, le ratio d'information, l'$\alpha$, le drawdown maximal, le drawdown le plus long, le taux de rotation annuel et l'utilité comportementale sous diverses configurations d'aversion au risque.

Résultats Clés
L'analyse comparative démontre que le cadre RPPO-MPT proposé atteint le profil de performance hors échantillon le plus solide parmi les trois modèles :

• Rendements Ajustés au Risque Supérieurs : Le RPPO-MPT a surpassé le PPO de base et le PPO Robuste (RPPO) en termes de ratio de Sharpe, de ratio d'information et d'$\alpha$.
• Alignement Comportemental : Le modèle a obtenu une utilité comportementale plus élevée, indiquant un meilleur alignement avec les préférences des investisseurs concernant l'aversion à la perte et la perception asymétrique du risque.
• Contrôle du Drawdown : Tout en maintenant un contrôle compétitif du drawdown, le modèle RPPO-MPT a géré efficacement le risque de baisse sans sacrifier la génération de rendements.
• Stabilité : L'intégration de la robustesse par perturbation a permis à l'agent de maintenir sa stabilité durant la période de test volatile (2022–2025), évitant la sur-concentration et le rééquilibrage erratique parfois observés chez l'agent PPO de base.

Signification et Revendications
L'article affirme que la principale contribution de ce travail est le pont réussi entre l'optimisation robuste et la finance comportementale au sein d'une architecture unique d'apprentissage par renforcement profond. En optimisant conjointement la performance financière, la résilience à l'incertitude de l'état et l'utilité cohérente avec l'investisseur, le cadre RPPO-MPT répond aux limites des modèles de RL traditionnels qui reposent uniquement sur la maximisation des rendements.

Les auteurs soutiennent que cette approche offre une voie pratique pour déployer des « agents de prise de décision résilients et psychologiquement fondés » dans des systèmes financiers réels. L'étude démontre que la prise en compte explicite de l'incertitude du marché (via les perturbations) et de la psychologie de l'investisseur (via le façonnage de la récompense par la Théorie des Perspectives) améliore l'adaptabilité et l'alignement des agents de RL avec les investisseurs, offrant une alternative plus robuste aux méthodes conventionnelles d'optimisation de portefeuille.