When Valid Signals Fail: Regime Boundaries Between LLM Features and RL Trading Policies

Probleemstelling

Er is een toenemende interesse in het toepassen van Large Language Models (LLMs) voor financiële besluitvorming, vaak als modulaire sentimentanalyses die voeding geven aan downstream trading-algoritmen. Een fundamenteel probleem in deze aanpak is een doelwit-mismatch: LLMs worden doorgaans geoptimaliseerd op standaard NLP-metrics (zoals classificatie-accuraatheid of sentimentpolariteit), terwijl de downstream taak (handelsbeleid) een continu financieel nut vereist.

Het artikel adresseert de vraag of LLMs continue numerieke features kunnen genereren die de prestaties van Reinforcement Learning (RL) trading agents daadwerkelijk verbeteren. De kernhypothese is dat het hebben van "geldige" features (die correleren met toekomstige rendementen) niet automatisch leidt tot betere beleidsprestaties, vooral niet tijdens marktdistributieveranderingen (regime shifts).

Methodologie

De auteur heeft een modulaire pipeline ontworpen die strikte architecturale scheiding bewaart tussen de LLM en het handelsalgoritme:

1. Data Ingestie & Feature Extractie:

   • Een Go-based pipeline verzamelt ongestructureerde data (nieuws, SEC-filings, insider trades) per ticker.
   • Een bevroren LLM (Qwen3-235B) fungeert als een stateless feature extractor. Deze transformeert de tekst in een vast vector van 9 dimensies (4 LLM-features zoals sentiment en impact, en 5 macro-economische features zoals VIX en rentes).
   • De pipeline is "backfill-first" om look-ahead bias te voorkomen; de LLM ziet alleen data tot slot van de dag.

2. Prompt-Optimalisatie als Hyperparameter:

   • In plaats van de LLM te fine-tunen, wordt de prompt behandeld als een discrete hyperparameter.
   • Een geautomatiseerde loop (met Claude als meta-optimizer) past de prompt aan via mutaties (bijv. few-shot voorbeelden, counterfactuals).
   • Doelmetric: De optimalisatie richt zich niet op NLP-verliezen, maar op de Information Coefficient (IC) – de Spearman rangcorrelatie tussen de voorspelde features en de gerealiseerde rendementen.

3. RL Agent:

   • Een PPO-agent (Proximal Policy Optimization) consumeert de LLM-features, prijsdata (OHLCV) en macro-indicatoren om handelsacties (-1, 0, +1) te nemen.
   • Het model is getraind op data van 2023-2024 en getest op twee verschillende periodes in 2025: een volatiele validatieperiode (H1, met tarief-shocks) en een rustigere testperiode (H2).

Belangrijkste Bijdragen

1. Prompt-as-Hyperparameter Optimalisatie:

   • De auteur introduceert een mutatie-evaluatie-selectie cyclus die de prompt optimaliseert op financiële IC in plaats van tekstuele nauwkeurigheid.
   • Dit resulteerde in een prompt die de IC van -0.024 (baseline) verhoogde naar +0.104, wat aantoont dat de LLM echt voorspellende features kan genereren.

2. De Kluif tussen Feature-Validiteit en Beleidswaarde:

   • Het artikel toont aan dat validiteit op feature-niveau niet automatisch vertaalt naar succes op beleidsniveau.
   • Er is een regime-afhankelijkheid: tijdens een macro-economische shock (distributieverandering) voegen LLM-features ruis toe in plaats van signaal, waardoor de agent onderpresteert ten opzichte van een prijs-only baseline.

3. Multi-regime Ablatie-onderzoek:

   • Een gecontroleerd experiment met vier configuraties (Baseline, LLM-only, Macro-only, LLM+Macro) over twee verschillende marktfasen onthult dat macro-economische variabelen de meest robuuste driver zijn voor beleidsverbetering, terwijl LLM-features alleen nuttig zijn in stabiele markten.

Resultaten

• Feature Validiteit: De geoptimaliseerde prompt produceerde features met een significante IC (bijv. conflicting_signals met IC=0.233). Het signaal piekt echter bij een horizon van 3-10 dagen en vervaagt daarna, wat wijst op een vertragingseffect van nieuws.
• Validatie (H1 2025 - Volatiele Markt):
  • Tijdens een periode van tarief-shocks en hoge volatiliteit presteerde de LLM-only agent slechtst (Sharpe -0.411).
  • De LLM+Macro agent presteerde ook slechter dan de baseline (Sharpe -0.267 vs 0.010). De macro-features fungeerden als een "rem" (regime brake), maar de ruis van de LLM-features trok de totale prestatie omlaag.
• Test (H2 2025 - Rustige Markt):
  • In een calmer regime herstelde de LLM-agent zijn waarde. De LLM-only configuratie bereikte een Sharpe van 1.001 (vs 0.809 voor baseline).
  • Echter, de Macro-only configuratie bleef het sterkst (Sharpe 1.099).
  • De combinatie (LLM+Macro) was statistisch niet significant beter dan de baseline in deze periode.
• Feature Importance: Een gradient-boosted tree analyse toonde aan dat macro-features (VIX, Treasury, Credit Spread) 58% van de beslissingsgewicht van de agent uitmaken, ondanks dat ze geen cross-sectionele voorspellende kracht hebben (ze vertellen de agent wanneer te handelen, niet wat).

Betekenis en Conclusie

Het artikel benadrukt een kritieke kloof tussen feature-kwaliteit en beleidsrobustheid onder distributieveranderingen.

• Validatie is niet genoeg: Het hebben van features met een hoge Information Coefficient is noodzakelijk maar niet voldoende voor succesvol RL-handelen.
• Regime Sensitiviteit: LLM-afgeleide features zijn kwetsbaar voor macro-economische shocks. Ze werken goed in stabiele markten maar introduceren ruis tijdens stressperiodes.
• Rol van Macro-data: Macro-economische variabelen zijn essentieel als "regime brake" om de agent te waarschuwen voor veranderende marktomstandigheden, zelfs als ze geen specifieke aandelen selecteren.
• Aanbeveling: Toekomstige pipelines die LLM-representaties gebruiken, moeten multi-regime out-of-sample testen toepassen met expliciete stressperiodes, in plaats van alleen te vertrouwen op intermediate metrics.

De studie concludeert dat de integratie van LLMs in RL-trading systemen voorzichtig moet gebeuren, waarbij de focus ligt op de robuustheid van het beleid onder verschillende marktomstandigheden, en niet alleen op de voorspellende kracht van de geëxtraheerde features.