Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

Technische Samenvatting: De brug tussen Gedragskundige Financiën en Robuuste Agentische DRL voor Portefeuilleselectie

Probleemstelling
Financiële markten worden gekenmerkt door dynamische volatiliteit, macro-economische schokken en significante gedragsmatige reacties die conventionele portefeuilleoptimalisatiemodellen vaak niet kunnen vatten. Traditionele benaderingen, inclusief standaard Reinforcement Learning (RL) algoritmen, vertrouwen doorgaans op op rendement gebaseerde beloningsstructuren. Deze structuren negeren vaak cruciale investeerderskenmerken zoals verliesaversie, asymmetrische reacties op winsten en verliezen, en de inherente onzekerheid van marktoestanden. Bijgevolg kunnen standaard RL-agenten moeite hebben met het generaliseren onder volatiele omstandigheden, wat leidt tot suboptimale timing, excessief risiconemen of voortijdige uitstappen tijdens markt turbulentie. Er bestaat een duidelijke kloof in de bestaande literatuur met betrekking tot de systematische integratie van perturbatie-gebaseerde robuustheid en op Prospect Theory geïnspireerde gedragsmodellering binnen een verenigde RL-architectuur voor portefeuillebeheer.

Methodologie
De studie stelt een nieuw computationeel framework voor, RPPO-MPT, dat het Proximal Policy Optimization (PPO) algoritme uitbreidt via twee primaire mechanismen: perturbatie-gebaseerd robuust leren en gedragsmatige beloningsvorming (reward shaping). Het portefeuilleselectieprobleem wordt geformuleerd als een Markov Decision Process (MDP) met betrekking tot 15 large-cap Amerikaanse aandelen.

De methodologie verloopt via drie vergelijkende stadia:

1. Baseline PPO: Een standaard PPO-agent wordt geïnitialiseerd met uniforme gewichten en voorgetraind met een Mean-Variance Portfolio (MPT) strategie via supervised learning. De agent leert het cumulatieve rendement te maximaliseren, waarbij wordt gestraft voor transactiekosten ($\gamma = 0,01$). De toestandsruimte omvat historische rendementen over een venster van 14 weken en de vorige portefeuillegewichten.
2. Robust PPO (RPPO): Deze variant introduceert een perturbatie-gebaseerd trainingsmechanisme om de stabiliteit tegen marktruis te verbeteren. Voor elk staat-actie paar genereert de agent $K=5$ geperturbeerde toestanden met behulp van Gaussische ruis ($\sigma = 0,03$). Een robuuste beloning wordt berekend door de variantie in rendementen over deze geperturbeerde toestanden te bestraffen, gecontroleerd door een trade-off parameter $\beta = 0,2$. Dit dwingt het beleid om minder gevoelig te zijn voor kleine variaties in de toestand.
3. RPPO-MPT (Voorgesteld Model): Dit model integreert de robuustheid van RPPO met een beloningsstructuur geïnspireerd door Prospect Theory. In plaats van ruwe rendementen te optimaliseren, optimaliseert de agent een "hoop-vrees" nutfunctie.
   • Referentieafhankelijkheid: Rendementen worden geëvalueerd ten opzichte van een referentiepunt (gesteld op nul).
   • Verliesaversie: De beloningsfunctie ontleedt uitkomsten in "hoop" (winsten) en "vrees" (verliezen). Verliezen worden zwaarder gewogen door een verliesaversie-coëfficiënt ($\lambda = 2,25$), terwijl winsten en verliezen onderhevig zijn aan afnemende gevoeligheid ($\alpha = \beta = 0,88$).
   • Beloningsvorming (Reward Shaping): De uiteindelijke beloning is een ratio van de hoop-component tot de vrees-component (plus een kleine constante $\epsilon_1$ om numerieke stabiliteit te waarborgen), minus de transactiekosten. Deze structuur bestraft neerwaartse risico's expliciet zwaarder dan het equivalente winsten beloont, waardoor het doel van de agent wordt afgestemd op de voorkeuren van de gedragskundige investeerder.

Experimentele Opzet
De modellen werden getraind op historische gecorrigeerde prijsgegevens van 15 S&P 500-aandelen van januari 2010 tot medio juni 2022. Out-of-sample testen werd uitgevoerd van medio juni 2022 tot september 2025. Prestaties werden geëvalueerd met een uitgebreid pakket aan metrieken, waaronder geannualiseerd rendement, Sharpe-ratio, Information ratio, $\alpha$, maximale drawdown, langste drawdown, jaarlijkse omloopsnelheid en gedragsmatig nut onder variërende risico-aversie-instellingen.

Belangrijkste Resultaten
De vergelijkende analyse toont aan dat het voorgestelde RPPO-MPT framework het sterkste out-of-sample prestatieprofiel bereikt van de drie modellen:

• Superieur Risico-gecorrigeerd Rendement: RPPO-MPT presteerde beter dan zowel de baseline PPO als de Robust PPO (RPPO) in termen van Sharpe-ratio, Information ratio en $\alpha$.
• Gedragsmatige Afstemming: Het model behaalde een hoger gedragsmatig nut, wat wijst op een betere afstemming met de voorkeuren van de investeerder met betrekking tot verliesaversie en asymmetrische risicoperceptie.
• Drawdown Controle: Terwijl het een concurrerende controle over de drawdown behield, beheerde het RPPO-MPT model het neerwaartse risico effectief zonder de rendementsgeneratie op te offeren.
• Stabiliteit: De integratie van perturbatie-gebaseerde robuustheid stelde de agent in staat om stabiliteit te behouden tijdens de volatiele testperiode (2022–2025), waarbij overconcentratie en erratische herbalancering die soms bij de baseline PPO worden waargenomen, werden vermeden.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage van dit werk het succesvolle overbruggen van robuuste optimalisatie en gedragskunde binnen een enkel Deep Reinforcement Learning-architectuur is. Door gezamenlijk te optimaliseren voor financiële prestaties, veerkracht tegen toestandsonzekerheid en investeerders-consistente nut, adresseert het RPPO-MPT framework de beperkingen van traditionele RL-modellen die uitsluitend rusten op rendementsmaximalisatie.

De auteurs stellen dat deze benadering een praktisch pad biedt voor het inzetten van "veerkrachtige, psychologisch gefundeerde besluitvormingsagenten" in werkelijke financiële systemen. De studie demonstreert dat het expliciet rekening houden met marktonzekerheid (via perturbaties) en de psychologie van de investeerder (via Prospect Theory beloningsvorming) de adaptiviteit en de afstemming op de investeerder van RL-agenten verbetert, wat een robuuster alternatief biedt voor conventionele portefeuilleoptimalisatiemethoden.