🤖 machine learning

Hindsight Preference Optimization for Financial Time Series Advisory

Dit paper introduceert "Hindsight Preference Optimization", een methode waarbij een taalmodel achteraf de kwaliteit van financiële adviezen beoordeelt op basis van de werkelijke uitkomsten, waardoor een kleiner model effectiever kan worden getraind om nauwkeurige en bruikbare signalen te geven voor aandelenmarkten zonder menselijke tussenkomst.

Oorspronkelijke auteurs: Yanwei Cui, Guanghui Wang, Xing Zhang, Peiyang He, Ziyuan Li, Bing Zhu, Wei Qiu, Xusheng Wang, Zheng Yu, Anqi Xin

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yanwei Cui, Guanghui Wang, Xing Zhang, Peiyang He, Ziyuan Li, Bing Zhu, Wei Qiu, Xusheng Wang, Zheng Yu, Anqi Xin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jonge, ambitieuze beurshandelaar bent die elke dag naar grafieken staart. Je probeert te voorspellen of de koersen gaan stijgen of dalen. Je bent nog niet zo ervaren als de "Grote Meesters" (de enorme, peperdure AI-modellen), maar je wilt wel leren van je fouten.

Dit wetenschappelijke artikel beschrijft een nieuwe manier om die jonge handelaar (een klein AI-model) razendsnel slim te maken door gebruik te maken van een slimme truc: "Hindsight Preference Optimization" (Optimalisatie op basis van achteraf-voorkeuren).

Hier is de uitleg in begrijpelijke taal:

Het Probleem: De "Gokker" vs. de "Analist"

Normaal gesproken leren AI-modellen voor de beurs door simpelweg te kijken naar getallen. Ze zeggen: "De prijs wordt morgen €152." Als het €151 wordt, krijgt de AI een klein tikje op de vingers. Maar dat is niet genoeg voor een echte investeerder.

Een echte investeerder wil niet alleen een getal; die wil een advies. Een advies bevat:

De richting: "Ik denk dat het omhoog gaat."
De reden: "Omdat de grafiek een specifiek patroon laat zien."
Het risico: "Maar pas op, als de koers onder dit punt zakt, moet je direct verkopen."

Het probleem is: hoe leer je een AI om een goed advies te geven als je pas na de voorspelling weet of het goed zat? Je kunt een AI niet direct vertellen of zijn redenering slim was, alleen of zijn getal klopte.

De Oplossing: De "Tijdreizende Scheidsrechter"

De onderzoekers hebben een systeem bedacht dat werkt als een tijdreizende scheidsrechter.

Stel je voor dat de jonge handelaar (de kleine AI) drie verschillende adviezen schrijft voor de dag van morgen. Op dat moment weet niemand wat de uitslag wordt. Maar de scheidsrechter heeft een superkracht: hij kan in de toekomst kijken.

Zodra de beursdag voorbij is en we weten wat de koersen echt hebben gedaan, komt de scheidsrechter (een heel groot, superintelligent AI-model) terug uit de toekomst. Hij kijkt naar de drie adviezen van de handelaar en de werkelijke uitslag, en zegt:

*"Kijk, Advies A was een gelukstreffer, maar de redenering was onzin. Advies B was bijna goed, maar negeerde het risico. Maar Advies C? Die handelaar zag precies de beweging aankomen én waarschuwde voor de daling die daarna kwam. Advies C is de winnaar!"*

Hoe werkt de training? (De DPO-methode)

In plaats van de AI alleen te straffen voor foute getallen, gebruiken ze deze "winnaars" en "verliezers" om de AI te trainen via een proces dat DPO heet.

Je kunt het vergelijken met een coach die een atleet traint. De coach zegt niet alleen: "Je bent 0,5 seconde te langzaam," maar zegt: "Kijk naar deze twee video's van jezelf. In video A rende je heel hard maar was je onhandig, in video B rende je met de perfecte techniek. Probeer video B na te doen."

Door constant te vergelijken wat "beter" was (gebaseerd op de werkelijkheid van gisteren), leert de kleine AI niet alleen de juiste getallen te raden, maar ook de logica van een expert te kopiëren.

Het Resultaat: Een kleine krachtpatser

Het meest indrukwekkende resultaat? De onderzoekers namen een klein, bescheiden AI-model (een "4B" model, zeg maar een slimme student) en trainden het met deze methode.

Aan het eind was deze kleine student beter in het geven van advies en het voorspellen van de markt dan de "Grote Meester" (een gigantisch model van 235B, de professor) waar hij oorspronkelijk van leerde!

Samenvatting in één zin:

In plaats van een AI alleen te leren wat er gebeurt, leert dit systeem de AI waarom het gebeurt door een slimme rechter de fouten en successen van het verleden te laten vergelijken met de werkelijke uitkomst.

Technische Samenvatting: Hindsight Preference Optimization voor Financiële Time Series Advisory

1. Het Probleem (Problem Statement)

Hoewel Large Language Models (LLM's) en Vision-Language Models (VLM's) uitstekend zijn in het voorspellen van numerieke tijdreeksen, schieten ze tekort in het bieden van advisory (advies). Besluitvormers hebben meer nodig dan alleen een getal (bijv. "de prijs wordt $152"); zij hebben behoefte aan gestructureerde informatie zoals:

Redenering (Reasoning): Waarom wordt deze voorspelling gedaan op basis van patronen?
Scenario's: Verschillende mogelijke paden (bijv. een 'V-shape' herstel).
Risicobeheer: Inschattingen van volatiliteit en maximale dalingen (drawdowns).

Het fundamentele probleem bij het trainen van modellen voor dit soort advies is dat de kwaliteit van het advies pas achteraf kan worden beoordeeld. Op het moment van de voorspelling is de uitkomst (de werkelijke koersbeweging) nog onbekend. Traditionele foutmarges (zoals MSE of MAE) kunnen wel numerieke nauwkeurigheid meten, maar kunnen de kwaliteit van de redenering of de risico-inschatting niet beoordelen.

2. Methodologie (Methodology)

De auteurs introduceren Hindsight Preference Optimization (HPO). Dit framework combineert twee concepten uit Reinforcement Learning: retrospective training signals (informatie gebruiken die pas na de uitvoering beschikbaar is) en preference alignment (het afstemmen van modellen op voorkeuren).

Het proces bestaat uit twee fasen:

Fase 1: Supervised Fine-Tuning (SFT): Een groot "teacher"-model (Qwen3-VL-235B) genereert kandidaten. Een "judge" (een ander LLM) selecteert de beste voorbeelden op basis van de werkelijke uitkomst. Een kleiner "student"-model (4B) wordt getraind om deze hoogwaardige voorbeelden na te bootsen.
Fase 2: Hindsight DPO (Direct Preference Optimization): Dit is de kerninnovatie. In plaats van alleen te leren van "juiste" antwoorden, leert het model door contrast.
1. Het student-model genereert meerdere advies-kandidaten.
2. Een LLM-as-a-Judge krijgt de kandidaten te zien samen met de werkelijke marktuitkomst (de "hindsight").
3. De judge rangschikt de kandidaten: welke redenering en welk scenario kwamen het dichtst bij de werkelijkheid?
4. Er worden voorkeursparen ( $y^+$ voor de beste, $y^-$ voor de slechtste) gemaakt.
5. Het model wordt geoptimaliseerd via de DPO-loss functie, waarbij het leert de waarschijnlijkheid van de betere adviezen te vergroten ten opzichte van de minder goede.

3. Belangrijkste Bijdragen (Key Contributions)

Hindsight Preference Optimization: Een nieuw framework dat de evaluatie van complexe, tekstuele voorspellingen koppelt aan de werkelijke uitkomst, waardoor menselijke annotatie overbodig wordt.
Multidimensionale Evaluatie: Het systeem beoordeelt niet alleen de richting (omhoog/omlaag), maar ook de kwaliteit van de redenering, scenario-kalibratie en risico-inschatting.
Efficiënte Distillatie: Het bewijst dat een klein model (4B) via dit proces superieur kan worden aan een gigantisch model (235B) door specifiek te trainen op de kwaliteit van het advies in plaats van alleen op de data.

4. Resultaten (Results)

De experimenten werden uitgevoerd op S&P 500-aandelen met behulp van candlestick-charts. De resultaten waren significant:

Nauwkeurigheid: Het getrainde 4B-model bereikte een Directional Accuracy van 57,9%, wat aanzienlijk hoger is dan de 235B teacher (51,9%) en het 4B-model zonder extra training (50,7%).
Scenario-voorspelling: De nauwkeurigheid van de top-1 scenario's steeg naar 27,1%.
Pairwise Win Rate: In vergelijking met de 235B teacher won het 4B-model in 56,8% van de gevallen op basis van de kwaliteit van het advies. Het versloeg zelfs de geavanceerde Claude Sonnet 3.7 in de evaluatie.

5. Betekenis (Significance)

Dit onderzoek is cruciaal omdat het de brug slaat tussen pure numerieke forecasting en menselijke besluitvorming. Het laat zien dat we AI-modellen kunnen trainen om niet alleen "rekenmachines" te zijn, maar "analisten" die begrijpen hoe ze complexe marktscenario's en risico's moeten communiceren. De methode is breed toepasbaar op elk domein waar voorspellingen worden gedaan en waar de uitkomst later kan worden geverifieerd (bijv. medische diagnoses of weersvoorspellingen).