Technische Samenvatting: GIFT (Guided Interface Design for Financial Trading)

Probleemdefinitie

Financiële portefeuillehandel wordt geformuleerd als een sequentieel besluitvormingsprobleem waarbij een agent activa herbalanceert om een evenwicht te vinden tussen rendement, risico en transactiekosten. Hoewel Deep Reinforcement Learning (DRL), in het bijzonder Proximal Policy Optimization (PPO), een dominant paradigma is voor deze taak, is de effectiviteit ervan kritisch afhankelijk van de state-reward interface die aan de agent wordt verstrekt.

Huidige benaderingen kampen met twee primaire beperkingen:

1. Ondergespecificeerde Toestanden: Ruwe OHLCV-observaties (Open, High, Low, Close, Volume) laten complexe financiële structuren (bijv. momentum, volatiliteit, neerwaarts risico, liquiditeit, mean reversion) vaak impliciet. Het beleidsnetwerk moet tegelijkertijd leren deze structuren uit ruisgevoelige sequenties te extraheren en het handelsbeleid te leren, wat het trainen bemoeilijkt.
2. Zwakke Beloningssignalen: Rendementen over korte termijn in portefeuilles zijn ruizig en worden beïnvloed door marktschokken en transactiekosten. Ze bieden vaak geen directe positieve feedback voor acties die het risico op lange termijn verminderen (bijv. drawdown-controle), wat leidt tot zwakke sturing voor langetermijnobjectieven van rendement versus risico.

Hoewel Large Language Models (LLMs) een mechanisme bieden om domeinkennis in state- en reward-ontwerp te injecteren, is ongeleid, open ends LLM-generatie riskant in financiële contexten. Financiële tijdreeksen zijn niet-stationair en ruizig; ongecontroleerde LLMs kunnen spuriaat verband leggen, korte termijn fluctuaties volgen of ontwerpen genereren die overmatige handel stimuleren.

Methodologie: GIFT-framework

De auteurs stellen GIFT voor (Guided Interface Design for Financial Trading), een door LLM gestuurd framework dat is ontworpen om de state-reward interface voor PPO-gebaseerde financiële reinforcement learning te construeren en te verfijnen. Cruciaal is dat GIFT de LLM niet gebruikt als een directe handelsagent; in plaats daarvan fungeert de LLM als een beperkte interface-ontwerper, terwijl PPO verantwoordelijk blijft voor het leren van het handelsbeleid.

GIFT werkt in een offline ontwerpfase vóór de evaluatie en bestaat uit drie kerncomponenten:

1. Factor-gestuurde State-verbetering (FSE)

FSE beperkt de LLM tot het genereren van uitvoerbare state-features op basis van een vooraf gedefinieerde bibliotheek van financiële factor-primitieven ($\mathcal{B}$).

• Mechanisme: In plaats van willekeurige feature-constructie, selecteert de LLM, transformeert en combineert een compacte set factor-kanalen uit primitieven die momentum, volatiliteit, neerwaarts risico, liquiditeit, mean reversion en trendsterkte dekken.
• Output: De LLM genereert functies die de ruwe OHLCV-codering aanvullen met deze financiële factoren, waardoor een verbeterde state-representatie $\tilde{s}_t$ voor de PPO-agent ontstaat.

2. Risico-regel-gestuurde Reward Shaping (RRS)

RRS adresseert de ruis en mismatch van rendementen op korte termijn door de basisportefeuillebeloning aan te vullen met financiële risicobeheersignalen.

• Mechanisme: De LLM genereert een intrinsieke beloningsterm op basis van de verbeterde state en selecteert een kleine subset van risicoregels uit een bibliotheek ($\mathcal{R}$). Deze regels omvatten diversificatiecontrole, omloopsnelheid-straf (turnover penalties), drawdown-controle, volatiliteitsschaling en momentum-uitlijning.
• Output: Een gevormde beloningsfunctie $R_t$ die het basisrendement combineert met een door de LLM gegenereerde intrinsieke beloning en geselecteerde risicoregel-strafpunten.

3. Diagnostiek-gestuurde Verfijning (DGR)

DGR sluit de cirkel tussen de gegenereerde interfaces en de PPO-trainingsresultaten om het ontwerp iteratief te verbeteren.

• Mechanisme: Voor elke kandidaat-interface traint GIFT PPO op een historische ontwerpperiode en berekent diagnostieken. Deze diagnostieken meten:
  • State Informativiteit: Gebruikmakend van de kanaal Information Coefficient (IC) en critic-attributie.
  • Reward Stabiliteit: Het analyseren van belonings-trends, autocorrelatie en de signaal-ruisverhouding.
  • Portefeuillegedrag: Het evalueren van drawdown, rendement en risico-gecorrigeerde prestaties.
• Feedback: De diagnostische samenvatting wordt gecomprimeerd in een feedback-geheugen ($H_m$) en teruggevoerd naar de LLM om de volgende ronde van verfijning te sturen (bijv. het verwijderen van laag-IC factoren of het versterken van risicoregels).

Evaluatieprotocol

Na $M$ verfijningsrondes selecteert GIFT de beste uitvoerbare interface $(F^\star, R^\star)$ op basis van de rollout-prestaties op de historische ontwerpperiode. Deze interface wordt bevroren vóór de evaluatie. Tijdens de testfase gebruikt een nieuw geïnitialiseerde PPO-agent deze vaste interface om zich aan te passen en te evalueren op de tweede helft van de testperiode. Er vinden geen LLM-queries, prompt-updates of interface-modificaties plaats tijdens de evaluatie, wat datalekken voorkomt.

Belangrijkste Bijdragen

1. Nieuw Perspectief: Het artikel introduceert het eerste LLM-gestuurde state-reward interface design perspectief voor financiële RL, waarbij de LLM wordt gepositioneerd als een beperkte, kennisgestuurde ontwerper in plaats van een directe handelsagent.
2. GIFT Framework: Een PPO-gebaseerd framework dat Factor-gestuurde State-verbetering, Risico-regel-gestuurde Reward Shaping en Diagnostiek-gestuurde Verfijning integreert om uitvoerbare interfaces te genereren en te herzien.
3. Empirische Validatie: Uitgebreide rolling-window experimenten over diverse marktregimes (bull, bear, mixed, V-shaped) en portefeuille-sectoren tonen aan dat GIFT de kwaliteit van het leersignaal en de out-of-sample risico-gecorrigeerde prestaties verbetert vergeleken met baselines.

Experimentele Resultaten

De auteurs evalueerden GIFT op S&P 500-componenten over zes rolling test-windows (2020–2023) en zes portefeuille-panels (Technologie, Gezondheidszorg, Energie, Industrie, Light Mix, Heavy Mix).

• Prestaties vs. Pure PPO: De GIFT-verbeterde PPO presteerde beter dan de Pure PPO-baseline (die ruwe OHLCV en rendementen op korte termijn gebruikt) in 160 van de 180 metriek-niveau vergelijkingen. In 35 van de 36 panel-window cellen behaalde GIFT een overwinning op ten minste 4 van de 5 metrieken (Rendement, Sharpe, Sortino, MDD, Calmar).
• Risico-gecorrigeerde Winsten: De verbeteringen waren met name uitgesproken in stressvolle marktvensters (bijv. renteverhogingen, geopolitieke schokken), waar GIFT de drawdowns verminderde en de Sharpe/Sortino/Calmar-ratio's verbeterde terwijl het rendement behouden bleef.
• Trainingssignaal Kwaliteit: Diagnostische experimenten toonden aan dat door GIFT gegenereerde interfaces PPO voorzien van duidelijkere trainingsfeedback, gekenmerkt door hogere belonings-trendhellingen, sterkere autocorrelatie en betere signaal-ruisverhoudingen vergeleken met vrije LLM-generatie of vaste ontwerpen.
• Ablatie-studies: Het verwijderen van de Diagnostiek-gestuurde Verfijning (DGR) component veroorzaakte de grootste prestatiedegradatie, wat het belang van iteratieve feedback onderstreept. Het verwijderen van FSE of RRS verzwakte ook de prestaties, wat de noodzaak van zowel state-verbetering als reward-shaping bevestigt.
• Robuustheid: Het framework toonde transfereerbaarheid naar andere RL-backbones (A2C) en robuustheid over verschillende random seeds en zoekbudgetten.

Betekenis en Claims

Het artikel claimt dat GIFT een meer gecontroleerde rol voor LLMs ondersteunt in financiële reinforcement learning: het ontwerpen van de leerinterface terwijl de handelsbeslissingen aan het RL-beleid worden overgelaten.

De auteurs stellen dat de prestatiewinsten voornamelijk voortkomen uit gestuurd offline interface-ontwerp in plaats van vaste feature engineering of ongecontroleerde LLM-generatie. Door de LLM te beperken met financiële factor- en risicoregel-bibliotheken en ontwerpen te verfijnen via PPO-diagnostiek, creëert GIFT state-reward interfaces die informatiever en stabieler zijn over niet-stationaire marktregimes.

Het werk benadrukt dat deze aanpak de valkuilen van open-ended LLM-handel (zoals gehallucineerde rationales of look-ahead bias) vermijdt door de LLM te beperken tot de structurele ontwerplaag. De auteurs merken beperkingen op, waaronder de afhankelijkheid van historische dagelijkse data en de uitsluiting van real-world fricties zoals liquiditeitsrestricties en executievertragingen, en suggereren dit als gebieden voor toekomstig onderzoek.