🤖 machine learning

CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach

Dit artikel presenteert een sentiment-geaugmenteerd deep reinforcement learning-systeem voor de CLaC@FinMMEval 2026 Task 3, waarmee wordt aangetoond dat een DDPG-agent die gebruikmaakt van LLaMA 3.2 nieuws-sentiment en alpha-gebaseerde beloningen aanzienlijk beter presteert dan buy-and-hold-strategieën op TSLA en BTC, terwijl het tegelijkertijd de uitdagingen benadrukt van het generaliseren van beleid van bull- naar bear-marktregimes.

Oorspronkelijke auteurs: Andrei Neagu, Eeham Khan, Leila Kosseim

Gepubliceerd 2026-07-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrei Neagu, Eeham Khan, Leila Kosseim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een heel lastig computerspelletje te spelen: de aandelenmarkt. Het doel van dit spel is namelijk niet alleen om punten te scoren; het doel is om de score te verslaan van een speler die nooit stopt met spelen, nooit van strategie verandert en zijn personage de hele tijd vasthoudt (een strategie die bekend staat als "buy-and-hold"). Het spel is chaotisch, vol met lawaaierige geluidseffecten, plotselinge plotwendingen en een constante stroom aan nieuwsberichten die de regels kunnen veranderen. Om te winnen heb je een slimme agent nodig die naar het scherm kan kijken, het nieuws kan lezen, het ritme van het spel kan voelen en kan beslissen of hij vooruit moet bewegen, stil moet staan of achteruit moet bewegen. Dit is de wereld van Deep Reinforcement Learning (DRL). Denk aan DRL als een methode waarbij een AI leert door middel van vallen en opstaan, waarbij het een "high-five" (beloning) krijgt als het een goede zet doet en een "boze blik" (straf) wanneer het een fout maakt. De wetenschappelijke paper die je nu gaat lezen, onderzoekt hoe je de ultieme handelsrobot kunt bouwen voor twee heel verschillende personages: het technologiebedrijf Tesla (TSLA) en de digitale munt Bitcoin (BTC).

De onderzoekers van Concordia University zetten zich in om een handelssysteem te bouwen dat niet simpelweg gokt, maar echt leert. Ze behandelden de aandelenmarkt als een complex level in een computerspel waarbij de speler (de AI) dagelijks een keuze moet maken: Long gaan (wedden dat de prijs stijgt), Flat gaan (aan de zijlijn blijven staan) of Short gaan (wedden dat de prijs daalt). Om de AI te helpen bij deze keuzes, voedden ze het met drie soorten informatie: Technische Indicatoren (zoals snelheidsmeters en trendlijnen afgeleid van eerdere prijzen), Kalendercycli (weten of het maandag is of het einde van de maand, omdat markten soms anders reageren op die dagen) en Sentiment Scores (een "mood ring" voor het nieuws, berekend door een superintelligente AI die artikelen leest om te zien of mensen blij of bang zijn over een activum).

Het team trainde vier verschillende soorten AI-"hersenen" om dit spel te spelen: Policy Gradient (PG), Proximal Policy Optimization (PPO), Deep Q-Learning (DQL) en Deep Deterministic Policy Gradient (DDPG). Maar hier komt het slimme gedeelte: in plaats van de AI alleen te belonen voor het maken van winst, gaven ze het een speciale "Alpha Reward". Stel je voor dat je tegen een vriend racet; in plaats van je alleen te belonen als je hard rent, krijg je alleen punten als je sneller rent dan je vriend. Dit dwong de AI om zich te concentreren op het verslaan van de "buy-and-hold" baseline, in plaats van alleen maar geluk te hebben omdat de hele markt omhoog ging. Ze zorgden er ook voor dat de trainingssessies op willekeurige momenten begonnen, zodat de AI niet gewoon het script van één specifief spel uit het hoofd zou leren, maar zou leren om elke situatie aan te kunnen.

Toen ze hun robots testten op echte data uit 2025, waren de resultaten een mix van triomf en een harde les over de toekomst. Voor Tesla was de DDPG-robot de ster; deze behaalde een enorm rendement van 54,96%, terwijl de DQL-robot met 52,62% een nauwe tweede werd. Beiden verpletterden de "buy-and-hold"-strategie, die slechts 16,45% maakte. De DDPG-robot was met name goed in het vermijden van problemen, waarbij het verliezen (drawdown) veel lager hield dan de anderen.

Echter, de Bitcoin-test was een veel moeilijker level. De markt veranderde in een "bear market", waarbij de prijzen instortten en de "buy-and-hold"-strategie een enorme klap kreeg met een verlies van 34,27%. In deze storm was de DDPG-robot de enige die het hoofd boven water kon houden, met een kleine maar positieve winst van 1,58%. De andere robots, waaronder de DQL die tijdens de training fantastisch had gepresteerd, hadden moeite om zich aan te passen aan de plotselinge verschuiving van een stijgende markt naar een dalende markt.

De paper suggereert dat hoewel deze AI-agenten effectief kunnen leren handelen, ze nog steeds gevoelig zijn voor het "weer" van de markt. Het DDPG-algoritme bleek de meest robuuste te zijn; het kon zowel de zonnige dagen van Tesla als de stormachtige dagen van Bitcoin beter aan dan de anderen. De onderzoekers ontdekten echter een verraderlijke kloof: de robot die er tijdens de training het beste uitzag (DQL), won niet altijd in de echte test, vooral wanneer het marktregieme veranderde van een bull-markt naar een bear-markt. Dit vertelt ons dat hoewel AI kan leren om de financiële zeeën te bevaren, het nog steeds voorzichtig moet zijn om niet te veel aan de rustige wateren te wennen, want de volgende golf kan een tsunami zijn. Uiteindelijk laat de studie zien dat het combineren van nieuws-sentiment met slimme leeralgoritmen kan helpen om de markt te verslaan, maar dat de "beste" robot sterk afhangt van het soort markt waar hij voor staat.

Technische Samenvatting: CLaC @ FinMMEval 2026 Taak 3

Probleemdefinitie

Dit paper behandelt Taak 3 van de CLEF 2026 FinMMEval Lab, een uitdaging die de ontwikkeling vereist van een geautomatiseerde handelsagent die in staat is tot dagelijkse beslissingen (Long, Flat, of Short) voor twee verschillende activa: Bitcoin (BTC) en Tesla (TSLA). De agent moet multi-modale data synthetiseren, waaronder historische marktprijzen, technische indicatoren en dagelijkse nieuwsartikelen, om prestatie-indicatoren zoals Cumulatief Rendement (CR), Sharpe Ratio (SR) en Maximale Drawdown (MDD) te maximaliseren. De kern van de moeilijkheid ligt in het navigeren door complexe, niet-lineaire marktdynamiek en het aanpassen aan regimeverschuivingen (bijv. de overgang van bull naar bear markten) terwijl overfitting op historische trainingsdata wordt vermeden.

Methodologie

1. Markov Beslissingsproces (MDP) Formulering

Het handelsprobleem wordt geformuleerd als een discrete-actie MDP $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$ :

Toestandsruimte ( $\mathcal{S}$ ): Een 15-dimensionale vector bestaande uit:
- Prijsdynamiek: Log-rendementen.
- Agent-toestand: Vorige positie ( $p_{t-1} \in \{-1, 0, 1\}$ ) om transactiekosten te verantwoorden.
- Kalender-encodings: Cyclische sine/cosine representaties van Dag-van-de-Week, Dag-van-de-Maand en Maand-van-het-Jaar om seasonaliteit te vangen.
- Technische Indicatoren: Genormaliseerde EMA (10, 50), RSI (14), MACD, Bollinger Bands en Log Volume Verandering.
- Sentiment: Een dagelijkse sentiment score afgeleid van nieuwsartikelen.
Actieruimte ( $\mathcal{A}$ ): Discrete set $\{-1 \text{ (short)}, 0 \text{ (flat)}, 1 \text{ (long)}\}$ .
Beloningsfunctie ( $\mathcal{R}$ ): Maakt gebruik van een Alpha Reward formulering (zie Bijdragen) in plaats van ruw portefeuille-rendement.
Transitie-dynamiek: Wordt beschouwd als exogeen (price-taker aanname), waarbij acties van de agent de marktprijzen niet beïnvloeden.

2. Dataprocessing en Feature Engineering

Databronnen: Historische prijs/volume data van Yahoo Finance (2010–2022 voor TSLA; 2014–2022 voor BTC) en nieuwsartikelen uit de Financial News Multi-Source dataset.
Sentimentanalyse: Dagelijkse nieuws-sentiment wordt gescoord met LLaMA 3.2 1B Instruct in een zero-shot setting. Artikelen worden afgekort tot de eerste 300 woorden (koptekst en lead) om te focussen op kernsignalen. Het model voert een enkele forward pass uit om logits te extraheren voor "positief", "negatief" en "neutraal". De sentiment score wordt berekend als $P(\text{positief}) - P(\text{negatief})$ , begrensd in $[-1, 1]$ .
Temporele Uitlijning: Om look-ahead bias te voorkomen, worden artikelen gepubliceerd na markt sluiting verschoven naar de volgende handelsdag voor TSLA, terwijl BTC (24/7) is verankerd aan UTC kalenderdata.
Dataset Splits: Chronologische splits werden gebruikt: Training (pre-2023), Validatie (2023–2024, een bull markt periode), en Testen (2025–2026, bevattende een bear markt voor BTC).

3. Deep Reinforcement Learning (DRL) Algoritmen

Vier algoritmen zijn geïmplementeerd en vergeleken:

Policy Gradient (PG): LSTM-gebaseerde actor met Monte-Carlo rendementen en entropie bonus.
Proximal Policy Optimization (PPO): LSTM-gebaseerde actor-critic met een clipped surrogate objectief en GAE.
Deep Q-Learning (DQL): Feed-forward netwerk met Double DQN updates en experience replay.
Deep Deterministic Policy Gradient (DDPG): Actor-critic met een continue actieruimte gediscretiseerd via drempelwaarden ( $\pm 0.33$ ) en Ornstein-Uhlenbeck ruis voor exploratie.

4. Trainingsstrategie

Alpha Reward: De beloning wordt gedefinieerd als het excess rendement ten opzichte van de markt: $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$ . Dit stimuleert het overtreffen van een buy-and-hold baseline in plaats van absoluut winst maken.
Random Episode Starts: Trainings-episodes beginnen op willekeurige dagen om memorisatie van vaste sequenties te voorkomen en generalisatie te verbeteren.
Hyperparameter Optimalisatie: Uitgevoerd via Ray Tune met 180 trials per algoritme-asset paar.
Modelselectie: Modellen werden geselecteerd op basis van de Validatie Sharpe Ratio, waarbij early stopping werd toegepast.

Belangrijkste Bijdragen

Multi-Modale Toestandsrepresentatie: Het paper toont aan dat het combineren van technische indicatoren, cyclische kalender-encodings en door LLM afgeleide sentiment scores een effectief toestandsignaal creëert voor DRL-agents.
Alpha Reward Formulering: De auteurs introduceren en analyseren een alpha reward die agents traint om het excess rendement ten opzichte van de markt te maximaliseren. Ze stellen drie theoretische eigenschappen vast:
- Het is gelijk aan de log-alpha van de strategie wanneer deze over een episode wordt opgeteld.
- Onder de price-taker aannames deelt het dezelfde optimale policies als ruwe log-rendement beloningen.
- Het fungeert als een variantievermengende control variate, wat de gradiënt-estimator variantie in omgevingen met hoge volatiliteit aanzienlijk vermindert.
Uitgebreide Algoritmische Vergelijking: Een rigoureuze evaluatie van PG, PPO, DQL en DDPG met hyperparameter optimalisatie laat zien dat DDPG de meest robuuste prestaties levert over beide activa, terwijl het de gevoeligheid van validatie-gebaseerde modelselectie voor marktregimes benadrukt.

Resultaten

Prestaties op TSLA (Testperiode)

Baseline (Buy-and-Hold): 16.45% CR, SR 0.61.
DDPG: Behaalde 54.96% CR en SR 1.44, met de laagste Maximale Drawdown (MDD) van 19.20%.
DQL: Behaalde 52.62% CR en SR 1.38, maar met een hogere MDD (35.76%).
PG en PPO: Presteerden onder de baseline of bleven aanzienlijk achter bij de topmodellen.

Prestaties op BTC (Testperiode)

Baseline (Buy-and-Hold): -34.27% CR, SR -0.87 (ernstige bear markt).
DDPG: Het enige model dat een positief rendement (1.58%) behaalde met een SR van 0.23 en MDD van 35.30%. Het slaagde erin de marktt verliezen te beperken door tijdens neerwaartse trends over te schakelen naar flat/short posities.
PG: Verminderde verliezen tot -14.53% maar bleef negatief.
DQL en PPO: Presteerden aanzienlijk slechter, waarbij DQL -23.22% behaalde en PPO -33.80%.

Generalisatiekloof

Er werd een significante validatie-naar-test generalisatiekloof waargenomen, met name voor BTC. De validatieperiode (2023–2024) was een aanhoudende bull markt, wat leidde tot overfitting op opwaartse momentum bij modellen zoals DQL (die de hoogste validatie SR had). Bij consequentie faalde DQL in het generaliseren naar de bear markt testcondities, terwijl de continue actieruimte en de actor-critic architectuur van DDPG een betere adaptiviteit boden aan regimeverschuivingen.

Betekenis en Claims

Het paper claimt dat de integratie van LLM-gebaseerde sentimentanalyse met Deep Reinforcement Learning een levensvatbare aanpak is voor algoritmische handel, mits:

Reward Shaping: Het gebruik van een alpha reward de trainingsdoelstelling afstemt op het competitieve doel om de markt te verslaan, wat overfitting op absolute prijsschommelingen vermindert.
Algoritme Selectie: DDPG demonstreert superieure robuustheid in het afhandelen van regimeverschuivingen vergeleken met recurrente on-policy methoden (PG, PPO) en puur off-policy waarde methoden (DQL), met name in volatiele, bearish omgevingen.
Beperkingen van Validatie: De studie benadrukt een kritieke beperking in financiële ML: modelselectie op basis van een enkele validatie-window (vooral een die samenvalt met een bull markt) kan leiden tot slechte generalisatie in daaropvolgende bear markten. De auteurs merken op dat hoewel DQL werd geselecteerd voor de live competitie op basis van validatie-metrieken, DDPG superieur bleek in de werkelijke testperiode, wat de moeilijkheid onderstreept om policies getraind in bull markten aan te passen aan bear markt condities.

De auteurs concluderen dat hoewel hun systeem aanzienlijke outperformance behaalde ten opzichte van de buy-and-hold baseline (vooral op TSLA en in het behoud van kapitaal op BTC), de geobserveerde generalisatiekloof suggereert dat toekomstig werk gericht moet zijn op walk-forward cross-validatie en hiërarchische RL om regime-afhankelijke strategieën beter te kunnen vangen.