💰 quantitative finance

FinSMART: Financial Sentiment Analysis for Algorithmic Trading through Market-Aligned Reinforcement Learning

FinSMART introduceert een nieuw op de markt afgestemd reinforcement learning-framework dat financiële sentimentanalyse optimaliseert door gebruik te maken van gerealiseerde marktafkomsten in plaats van statische menselijke annotaties, waarmee het bestaande methoden aanzienlijk overtreft op het gebied van winstgevendheid en continue adaptatie aan evoluerende marktdynamiek mogelijk maakt.

Oorspronkelijke auteurs: Giorgos Iacovides, Wuyang Zhou, Danilo Mandic

Gepubliceerd 2026-07-31

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giorgos Iacovides, Wuyang Zhou, Danilo Mandic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren het weer te voorspellen. Je zou hem duizenden oude, stoffige weerkaarten kunnen laten zien en hem kunnen vragen om te onthouden hoe de wolken eruitzagen voordat het regende. Dit is hoe de meeste computerprogramma's vandaag de dag leren: ze bestuderen een statische bibliotheek van voorbije voorbeelden en hopen dat de toekomst precies op het verleden lijkt. Maar wat als het weer plotseling verandert? Wat als er een nieuw type storm verschijnt die niet in de oude boeken stond? De robot zou vastlopen, gokkend op basis van verouderde regels. Dit is het probleem waar computers voor staan die proberen financieel nieuws te lezen om aandelenkoersen te voorspellen. Ze worden momenteel getraind op door mensen geannoteerde datasets—in essentie mensen die het nieuws lezen en "goed" of "slecht" opschrijven voor de aandelenmarkt. Maar mensen zijn traag, duur, en hun meningen komen misschien niet overeen met wat er daadwerkelijk gebeurt in de chaotische, snel bewegende aandelenmarkt.

Maak kennis met de wereld van "Reinforcement Learning" (versterkend leren). Denk hierbij niet aan het bestuderen van een tekstboek, maar aan het spelen van een videogame. In plaats van antwoorden te memoriseren, leert de computer door dingen uit te proberen, fouten te maken en punten (beloningen) te krijgen wanneer hij het goed doet. In het artikel dat je nu gaat lezen, introduceren de auteurs een nieuwe manier om een computer te leren het financiële nieuws te begrijpen. Ze noemen het FinSMART. In plaats van een mens te vragen om de antwoorden van de computer te beoordelen, laten ze de aandelenmarkt zelf de leraar zijn. Als de computer voorspelt dat een aandeel zal stijgen, en het aandeel stijgt ook echt, krijgt hij een hoge score. Als hij het fout heeft, krijgt hij een lage score. Dit stelt de computer in staat om direct te leren van de echte, rommelige en ruisachtige realiteit van de markt, in plaats van uit een stille, statische klas met oude gegevens.

Het Probleem: De Robot Die Alleen Tekstboeken Leest

Lama tijd lang waren computers die de aandelenmarkt proberen te voorspellen als studenten die alleen voor een examen studeren met de examenvragen van vorig jaar. Ze gebruiken "Large Language Models" (LLM's)—superintelligente AI die kan lezen en schrijven als mensen—om financieel nieuws te scannen. Maar deze AI's worden meestal getraind met behulp van "Supervised Learning" (begeleid leren). Stel je een leraar voor die een student een stapel nieuwsartikelen geeft met de antwoorden er al in rode inkt bij geschreven: "Dit is goed," "Dit is slecht." De student memoriseert deze antwoorden in rode inkt.

Het probleem is dat de aandelenmarkt een levend, ademend ding is dat elke seconde verandert. De antwoorden in "rode inkt" van vorig jaar kunnen vandaag volkomen onjuist zijn. Bovendien is het vragen aan mensen om die antwoorden te schrijven traag en duur. Het artikel betoogt dat het vertrouwen op deze statische, door mensen gemaakte labels is alsof je probeert te navigeren op een stormachtige oceaan met een kaart van een kalm meer. De modellen zijn "markt-agnostisch", wat betekent dat ze er eigenlijk niet om geven wat er in de echte markt gebeurt nadat ze hun voorspelling hebben gedaan; ze willen alleen overeenkomen met het menselijke label.

De Oplossing: Laat de Markt de Leraar Zijn

De auteurs introduceren FinSMART, een nieuw framework dat het scenario omdraait. In plaats van een mens te vragen om de AI te beoordelen, vraagt FinSMART aan de aandelenmarkt om dat te doen.

Zo werkt de magie, stap voor stap:

De Opzet: De AI leest een financieel nieuwsartikel en raadt of het aandeel zal stijgen (Positief), dalen (Negatief) of gelijk blijft (Neutraal).
De Realiteitscontrole: Het systeem wacht af om te zien wat er die dag daadwerkelijk met de aandelenkoers gebeurt.
De Score: Als de AI "Positief" voorspelde en de aandelenkoers steeg daadwerkelijk (specifiek: als het de algemene markt met een bepaalde hoeveelheid versloeg), krijgt de AI een grote beloning. Als de AI "Negatief" voorspelde en de aandelen crashten, krijgt hij ook een beloning. Maar als de AI "Positief" voorspelde en de aandelen crashten, krijgt hij een zware straf.
De Filter: De markt is ruisachtig. Soms stijgt een aandeel alleen maar omdat de hele economie het goed doet, niet vanwege het nieuws. Om dit op te lossen, gebruikt FinSMART een slim "dual-filter"-systeem. Het geeft alleen een beloning als het aandeel in de juiste richting beweegt én als die beweging sterk genoeg is om als een echt signaal te worden beschouwd, en niet slechts als willekeurige ruis. Het is als een leraar die alleen een gouden ster geeft als je het antwoord goed hebt én je berekening duidelijk hebt laten zien, waarbij de momenten dat je puur geluk had, worden genegeerd.

Dit proces wordt Market-Aligned Reinforcement Learning genoemd. De AI leert door keer op keer het spel van de handel te spelen, waarbij hij zijn brein (zijn "weights") aanpast op basis van de score die de markt hem geeft.

Het Geheime Ingrediënt: GRPO en het "Groepsspel"

Je vraagt je misschien af: "Als de markt zo ruisachtig is, zal de AI dan niet in de war raken?" De auteurs gebruiken een speciale trainingsmethode genaamd Group Relative Policy Optimization (GRPO).

Stel je een klaslokaal voor waar de leraar een student niet vertelt of hun antwoord absoluut "goed" of "fout" is. In plaats daarvan vraagt de leraar aan acht studenten om dezelfde vraag te beantwoorden. Vervolgens zegt de leraar: "De student met de hoogste score krijgt een bonus, en degene met de laagste score verliest punten." De AI doet dit door acht verschillende gokken te genereren voor hetzelfde nieuwsartikel. Het vergelijkt ze met elkaar. Als één gok tot een beter marktafloop leidt dan de andere, leert de AI om dat soort gokken vaker te doen. Dit helpt de AI om het beste signaal te vinden, zelfs wanneer de marktdata rommelig en verwarrend is.

De Resultaten: De Oude Kampioenen Verslaan

De auteurs hebben FinSMART getest tegenover de huidige beste modellen (zoals FinDPO en FinBERT) en enkele ouderwetse methode gebaseerd op woordenboeken. Ze simuleerden een handelsstrategie waarbij ze aandelen kochten die de AI leuk vond en verkochten (shorten) die de AI haatte.

De resultaten waren spectaculair:

Winst: De FinSMART-strategie behaalde een cumulatief rendement van 264,9% over de testperiode. Het op één na beste model, FinDPO, maakte slechts 109,8%. Dat is een enorm verschil.
Risico: FinSMART maakte niet alleen meer winst, maar deed dat ook veiliger. De "Sharpe Ratio" (een maatstaf voor hoeveel rendement je krijgt voor het risico dat je neemt) was 1,97, vergeleken met 1,12 voor het op één na beste model.
Aanpassingsvermogen: De auteurs probeerden ook iets unieks: ze lieten de AI zichzelf elke zes maanden opnieuw trainen met nieuw nieuws en nieuwe marktvormen. Deze "periodiek hertrainde" versie van FinSMART presteerde zelfs nog beter, met een cumulatief rendement van 406,2%.

Waarom Dit Belangrijk Is

Het artikel suggereert dat door de markt direct de AI te laten onderwijzen, we financiële tools kunnen bouwen die niet alleen het verleden memoriseren, maar zich ook daadwerkelijk aanpassen aan het heden. De auteurs ontdekten dat de oude methode (statische menselijke labels) beperkt is omdat het niet kan bijhouden met veranderende marktdynamieken. FinSMART kan echter continu leren van nieuwe artikelen en hun resultaten in de echte wereld.

Kortom, het artikel laat zien dat een robot die leert door het spel van de aandelenmarkt te spelen, in plaats van alleen het regelboek te lezen, een veel betere speler kan worden. Het suggereert dat de toekomst van financiële AI niet draait om grotere tekstboeken, maar om slimmere, realtime feedbackloops waarbij de markt zelf de ultieme leraar is.

Technische Samenvatting: FinSMART

Probleemstelling

Financiële sentimentanalyse heeft traditioneel vertrouwd op supervised learning-paradigma's met behulp van statische, door mensen geannoteerde datasets (bijv. FinBERT, FinLlama, FinDPO). Hoewel Generatieve AI en Large Language Models (LLMs) de verwerking van ongestructureerde financiële tekst hebben verbeterd, kampen deze bestaande benaderingen met kritieke beperkingen:

Markt-agnosticisme: Modellen zijn getraind op vaste datasets die geen reflectie vormen van evoluerende marktdynamiek of realtime condities.
Statische Supervisie: Ze zijn afhankelijk van schaarse, dure en handmatig gelabelde data, wat adaptatie aan nieuwe marktereignissen verhindert.
Gebrek aan Economische Afstemming: Sentimentvoorspellingen zijn geoptimaliseerd voor linguïstische consistentie of menselijke voorkeur, in plaats van voor gerealiseerde economische uitkomsten (handelsprofitabiliteit).

De kernuitdaging die wordt aangepakt, is hoe een framework voor sentimentanalyse te ontwikkelen dat verder gaat dan statische labels door sentiment direct af te stemmen op daaropvolgende marktacties, waardoor continue adaptatie mogelijk wordt in ruisgevoelige, niet-stationaire en multifactoriële financiële omgevingen.

Methodologie: FinSMART Framework

De auteurs introduceren FinSMART, het eerste framework voor financiële sentimentanalyse gebaseerd op Market-Aligned Reinforcement Learning (RL). Het systeem maakt gebruik van Group Relative Policy Optimization (GRPO) om een pre-trained LLM (Llama-3-8B-Instruct) direct te trainen op gerealiseerde marktuitkomsten.

1. Datapipeline en Signaalextractie

Om de ruis en niet-stationariteit van financiële rendementen te mitigeren, wordt een rigoureuze driefasige pipeline gehanteerd:

Dataverzameling: Financiële nieuwsartikelen (2015–2021) van The Motley Fool en MarketWatch worden gekoppeld aan dagelijkse aandelengegevens van S&P 500-componenten via Yahoo Finance.
Named Entity Recognition (NER): Een BERT-gebaseerd NER-model filtert artikelen om te garanderen dat ze expliciet naar een specifiek bedrijf verwijzen met een hoge mate van vertrouwen (>98%), wat misalignement tussen nieuws en aandelenrendementen voorkomt.
Sentiment Gating: Een "sentiment gate" gebruikt het bevroren referentiebeleid ( $\pi_{ref}$ ) om artikelen te verwerpen waar de modellen niet met voldoende vertrouwen een label (Positief, Neutraal, Negatief) kan toekennen, zodat alleen hoogwaardige inputs de RL-loop binnenkomen.

2. Dual-Filter Trading Reward

Een innovatieve beloningsfunctie, $R_{trade}$ , is ontworpen om economisch betekenisvolle signalen te extraheren uit ruisgevoelige marktdata. Het brengt de voorspelde sentiment $d \in \{-1, 0, +1\}$ in kaart tegen de werkelijke marktstatus $y$ , afgeleid van het idiosyncratische rendement van het aandeel ( $\alpha = r_{stock} - r_{SPY}$ ) en het ruwe rendement ( $r$ ).

Drempelwaarde: Een marktreactie wordt pas als "economisch betekenisvol" beschouwd als de alpha een drempelwaarde ( $\tau = 0,5\%$ ) overschrijdt en de richting overeenkomt met het ruwe rendement.
Asymmetrische Beloningen:
- +2,0: Correcte richting met significante alpha (Winstgevende Long/Short).
- +0,1: Correct geïdentificeerd Neutraal.
- -1,5: Tegenovergestelde richting (Verlies).
- -1,0: Gemiste trade of vals signaal.
Rationale: Deze structuur vermindert de gevoeligheid voor ruis door twee voorwaarden te vereisen voor positieve versterking en stimuleert exploratie door onjuiste voorspellingen zwaarder te bestraffen dan neutrale signalen.

3. GRPO Optimalisatie

Het framework maakt gebruik van GRPO, wat de noodzaak voor een apart waarde-model (critic) elimineert.

Group Sampling: Voor elk artikel worden $G=8$ sentimentvoorspellingen gesampled vanuit het huidige beleid.
Relatieve Voordeel (Relative Advantage): Beloningen worden binnen de groep genormaliseerd om relatieve voordelen ( $A_i$ ) te berekenen, waardoor het model kan leren van de rangschikking van outputs in plaats van absolute beloningswaarden.
Efficiëntie: Low-Rank Adaptation (LoRA) wordt gebruikt om slechts 13,6 miljoen parameters (0,17% van het basismodel) bij te werken, wat training op een enkele GPU mogelijk maakt.
Trainingsregime: Het model wordt getraind op artikelen tot en met dec 2018. Cruciaal is dat het framework ondersteuning biedt voor market-aligned retraining, waarbij nieuwe artikelen en hun gerealiseerde uitkomsten automatisch worden gekoppeld om het model bij te werken zonder handmatige annotatie.

Belangrijkste Bijdragen

Eerste Market-Aligned RL Framework: FinSMART is het eerste LLM-framework dat sentimentvoorspellingen direct afstemt op gerealiseerde marktfeedback, waardoor statische menselijke labels worden omzeild.
Continue Adaptatie: Het framework maakt continue adaptatie van pre-trained LLMs mogelijk direct vanuit ruisgevoelige financiële data, wat de afhankelijkheid van schaarse, markt-agnostische datasets elimineert.
Computationele Efficiëntie: Door gebruik te maken van GRPO en LoRA, bereikt de aanpak een hoge prestatie op standaard hardware (enkele NVIDIA A6000), wat de computationele kosten die gewoonlijk geassocieerd worden met post-training RL aanzienlijk verlaagt.
Innovatief Beloningsmechanisme: De introductie van een discrete, asymmetrische, dual-filter trading reward isoleert effectief economisch betekenisvolle signalen van marktruis.

Experimentele Resultaten

Het model werd geëvalueerd tijdens een out-of-sample periode (januari 2019 – juni 2021) met behulp van een 35% long-short portfolio constructiestrategie. De prestaties werden vergeleken met lexicon-gebaseerde methoden (VADER, LMD, HIV-4) en SOTA LLMs (FinBERT, FinLlama, FinDPO).

Winstgevendheid: FinSMART behaalde een cumulatief rendement van 264,9%, waarmee het de sterkste baseline (FinDPO met 109,8%) met 141% versloeg. Het verbeterde de geannualiseerde rendementen van 45,0% (FinDPO) naar 91,5%.
Risico-gecorrigeerde Prestaties: FinSMART demonstreerde superieure risicobeheersing met een Sharpe-ratio van 1,97 (vs. 1,12 voor FinDPO), een Sortino-ratio van 2,40 en een Calmar-ratio van 4,23.
Signaalkwaliteit: FinSMART behaalde de hoogste Rank Information Coefficient (RankIC) van 0,061, wat wijst op een sterkere cross-sectionele afstemming tussen sentimentsignalen en de volgende dag alpha-rendementen vergeleken met alle baselines.
Impact van Retraining: Een periodiek hertraind versie van FinSMART (bijgewerkt elke 6 maanden) verhoogde de cumulatieve rendementen verder naar 406,2% en het geannualiseerde rendement naar 125,7%, wat de waarde van continue adaptatie aan evoluerende marktdynamiek aantoont.

Betekenis en Claims

Het paper stelt dat FinSMART een volgende generatie paradigma vertegenwoordigt voor financiële LLMs. De primaire betekenis ligt in de verschuiving van de optimalisatie doelstelling van linguïstische consistentie of menselijke voorkeur naar economische nuttigheid.

De auteurs beweren dat door de lus tussen tekstuele sentiment en gerealiseerde marktuitkomsten te sluiten, FinSMART:

De "markt-agnostische" beperking van huidige SFT en DPO benaderingen oplost.
Modellen in staat stelt om continu te leren van marktgedrag in plaats van te vertrouwen op arbeidsintensieve, statische menselijke annotaties.
Aantoont dat reinforcement learning van marktfeedback kan leiden tot sentimentsignalen die niet alleen linguïstisch valide zijn, maar ook economisch acteerbaar, wat leidt tot aanzienlijk meer winstgevende en risico-efficiënte handelsstrategieën.

Het werk concludeert dat deze aanpak een praktisch pad biedt voor het ontwikkelen van adaptieve financiële AI die meebeweegt met de marktomstandigheden.