🤖 machine learning

Do VLMs Truly "Read" Candlesticks? A Multi-Scale Benchmark for Visual Stock Price Forecasting

Deze paper introduceert een nieuw meer-schaal benchmark voor het evalueren van visueel-taalmodellen in de aandelenmarktvoorspelling en concludeert dat deze modellen, ondanks hun veelbelovende toepassing, moeite hebben met het integreren van kort- en langetermijnsignalen en slechts beperkt effectief zijn in complexe marktsituaties.

Oorspronkelijke auteurs: Kaiqi Hu, Linda Xiao, Shiyue Xu, Ziyi Tang, Mingwen Liu

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kaiqi Hu, Linda Xiao, Shiyue Xu, Ziyi Tang, Mingwen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, geavanceerde robot hebt die alles kan lezen en begrijpen: van nieuwsberichten tot complexe grafieken. Deze robot is een VLM (Vision-Language Model), een soort "super-geleerde" die beelden en tekst tegelijk kan verwerken.

De auteurs van dit onderzoek wilden weten: Kan deze robot echt "lezen" op een beursgrafiek, of raadt hij gewoon?

Hier is het verhaal van hun onderzoek, vertaald in alledaags taal:

1. Het Probleem: De "Zwarte Doos"

Tot nu toe hebben onderzoekers deze robots getest met datasets die een enorme rommel waren. Het was alsof je iemand een test gaf met een foto van een grafiek, maar er ook een krantenartikel en een lijst met cijfers bij stopte. Als de robot het goed deed, wist je niet of hij de grafiek echt begreep of dat hij gewoon de krant las.

Bovendien kijken echte beleggers niet naar één plaatje. Ze kijken naar een korte termijn (vandaag en morgen) én een lange termijn (de afgelopen maanden). Het is alsof je een auto bestuurt: je kijkt naar de weg direct voor je (om een stoeprand te vermijden) én naar de horizon (om te zien of je de snelweg oprijdt). De oude tests keken alleen naar één momentopname.

2. De Oplossing: Een Schone Test

De onderzoekers (Kaiqi Hu en zijn team) bouwden een nieuwe, schone testomgeving:

Alleen beelden: Ze gaven de robots alleen kaarsdiagrammen (candlestick charts) te zien. Geen tekst, geen cijferlijsten. Alleen de groene en rode kaarsjes die de prijsbewegingen tonen.
Twee lenzen: Voor elke beursdag gaven ze de robot twee plaatjes: één daggrafiek (korte termijn) en één weekgrafiek (lange termijn).
De vraag: "Kijk naar deze twee plaatjes. Wat denk je dat de prijs doet over 30 dagen?"

Ze noemen dit een "Multi-Schaal Benchmark". Het is alsof je een student twee foto's van een storm geeft: één close-up van een tak die breekt, en één foto van de hele hemel. Kunnen ze samen een voorspelling doen?

3. Wat Vonden Ze? (De Verassende Resultaten)

De resultaten waren een mix van goed nieuws en teleurstelling:

De robot is goed in "achteruitkijken": De robots waren verrassend goed in het herkennen van duidelijke trends. Als de markt al maandenlang steeg (een "stiermarkt") of daalde (een "beersmarkt"), deden ze het prima. Ze konden de "stijgende trap" of de "dalende lift" zien.
Ze zijn slecht in het voorspellen van het "nu": In de normale, rustige markten (waar de prijs heen en weer wiebelt) faalden ze vaak. Ze konden de kleine draaiingen niet goed voorspellen.
Ze kijken naar het verkeerde tijdstip: Dit is de belangrijkste ontdekking. De onderzoekers gaven de robots de opdracht om te voorspellen wat er 30 dagen later zou gebeuren. Maar de robots bleken eigenlijk te kijken naar wat er 5 dagen later zou gebeuren.
- De analogie: Het is alsof je vraagt: "Wat is het weer over een maand?" en de robot antwoordt: "Het regent nu, dus morgen ook." Ze zijn goed in het zien van wat er nu gebeurt, maar slecht in het plannen voor de verre toekomst.
De "XGBoost" (de oude school): Ze vergelijkingen de robots met een traditionele rekenmachine (XGBoost). Deze oude methode was stabieler en minder "gevoelig", maar de robots hadden een hoger potentieel om complexe patronen te zien die de rekenmachine miste.

4. De Conclusie: Een Hulpmiddel, geen Orakel

De robots kunnen de grafieken "lezen", maar ze zijn nog geen perfecte beleggers.

Ze zijn geweldig als assistent voor korte termijn: "Kijk, die grafiek ziet er gevaarlijk uit, wees voorzichtig!"
Ze zijn nog niet klaar voor lange termijn strategieën: Ze verliezen het overzicht als het te lang duurt.

Samenvattend:
Stel je voor dat je een zeer slimme student hebt die je een foto van een weersvoorspelling geeft. Hij kan perfect zien of het nu regent of zonnig is (korte termijn), en hij kan zien of er een orkaan aankomt als de wolken heel donker zijn (duidelijke trend). Maar als je vraagt of het over een maand zonnig zal zijn, raadt hij gewoon op basis van wat hij nu ziet.

Dit onderzoek zegt ons: Gebruik deze slimme robots om je te helpen bij het zien van de huidige situatie, maar vertrouw ze niet blindelijk voor je pensioenplanning. We moeten ze nog leren om echt naar de horizon te kijken, niet alleen naar de neus van de auto.

Probleemstelling

Bestaande benchmarks voor het voorspellen van aandelenprijzen met Vision-Language Models (VLMs) vertonen ernstige tekortkomingen:

Gebrek aan isolatie van visuele vaardigheden: Veel studies gebruiken heterogene multimodale datasets (combinatie van tekst, nieuws en grafieken). Hierdoor is het onduidelijk of een model de grafische patronen daadwerkelijk begrijpt of dat de prestaties voornamelijk worden gedreven door tekstuele signalen.
Verwaarlozing van multi-schaal analyse: Professionele analisten gebruiken systematisch meerdere tijdschalen (bijv. dag- en weekgrafieken) om zowel macro-trends als korte-termijn inflectiepunten te identificeren. Bestaande datasets en evaluaties richten zich echter vaak op enkelvoudige periodes of tabulaire data, waardoor het vermogen van VLMs om korte- en langetermijndynamiek te integreren niet systematisch wordt getest.
Ontbrekende robuuste evaluatie: Er is een gebrek aan gestandaardiseerde frameworks die specifiek de visuele redenering over technische grafieken (candlesticks) meten, los van andere databronnen.

Methodologie

De auteurs hebben een nieuw, gestandaardiseerd benchmark-framework ontwikkeld dat zich volledig richt op visuele input.

1. Dataset Constructie:

Bronnen: Historische OHLCV-data (Open, High, Low, Close, Volume) van de Chinese HS300-index en de Amerikaanse S&P500-index (periode 2015–2025).
Visuele Modus: Er zijn candlestick-grafieken gegenereerd op twee schalen: dagelijks en wekelijks.
- Grafieken bevatten 50 kaarsjes, met overlappende moving averages (MA5, MA20, MA90) en een volumepaneel.
- Er is strikt voorkomen dat toekomstige informatie in de input terechtkomt (cutoff-datum).
Doelvariabele: De voorspelling is de 30-daagse toekomstige rendement ( $r_{30}$ ), berekend als het relatieve prijsverschil over 30 handelsdagen.
Uniek kenmerk: De dataset elimineert tekstuele bias; het model moet puur op basis van de visuele patronen in de dag- en weekgrafieken voorspellen.

2. Taakdefinitie en Prompt Engineering:

Input: Twee grafieken per steekproef (dag- en weekgrafiek van dezelfde stock op dezelfde datum).
Output: Een continu getal in het bereik $[-0.5, 1.0]$ dat het verwachte rendement voorstelt.
Prompt: Een gestructureerde prompt die het model de rol van "aandelenanalist" geeft en instrueert om patronen, moving averages, volume en inflectiepunten te analyseren zonder voorkeur voor een richting (geen bias).

3. Evaluatiemetrics:

Confusiematrix: Analyse van True Positives (TP), True Negatives (TN), False Positives (FP) en False Negatives (FN) om metrics zoals precisie, recall, specificiteit en F1-score te berekenen.
Information Coefficient (IC): Meet de lineaire correlatie tussen voorspelde en werkelijke rendementen (inclusief Rank IC voor rangschikking).
Bias-analyse: Meet de systematische afwijking in de voorspelde richting (optimistisch vs. pessimistisch).
Baseline: Een XGBoost-model op numerieke data dient als vergelijkingspunt.

Belangrijkste Bijdragen

Eerste Multi-Schaal Visuele Benchmark: De eerste dataset die candlestick-grafieken als "eersteklas" visuele input behandelt en expliciet multi-periode redenering (dag vs. week) eist voor technische analyse.
Isolatie van Visuele Vaardigheden: Door tekstuele data volledig te elimineren, kunnen onderzoekers nu met zekerheid zeggen of een VLM grafieken "leest" of dat het succes berust op andere modaliteiten.
Gedetailleerd Evaluatiekader: Een combinatie van klassieke classificatiemetrics, IC-tijdreeksen en bias-analyse om gedrag in verschillende marktomstandigheden (stijgend, dalend, zijwaarts) te kwantificeren.

Resultaten

De studie heeft zeven representatieve VLMs (zoals GPT-4o, Claude-3.5/4, Gemini, Qwen) getest en vergeleken met XGBoost:

Algemene Prestaties: De meeste VLMs presteren goed in duidelijke trendomstandigheden (sterke stijgende of dalende markten), maar tonen zwakke voorspellende capaciteit in de meest voorkomende zijwaartse markten.
Bias en Kalibratie: Er zijn significante voorspellingsbiases geconstateerd. Sommige modellen zijn systematisch te optimistisch, andere te pessimistisch.
Tijdsgevoeligheid (Time Sensitivity): Een cruciale bevinding is dat VLMs sterk correleren met korte-termijn rendementen (5 dagen) maar veel zwakker presteren op de voorspelde lange-termijn horizon (30 dagen). Dit suggereert dat modellen voornamelijk korte-termijn technische signalen "lezen" en moeite hebben met langetermijnredenering.
Vergelijking met XGBoost:
- XGBoost toont over het algemeen een hogere stabiliteit en een betere gemiddelde rangschikking (Rank IC).
- Echter, bepaalde VLMs (zoals Claude-sonnet-4-5 en Qwen) tonen potentie in specifieke scenario's en hebben een hogere mediane IC dan XGBoost, wat wijst op betere stabiliteit in de "staart" van de verdeling en minder extreme fouten.
- VLMs blijken beter in het identificeren van neerwaartse risico's dan in het vangen van opwaartse kansen.
Geen "Peeping": Een experiment met twee versies van GPT-4o toonde aan dat de nieuwere versie niet significant beter presteerde op data die na de release-datum ontstond, wat suggereert dat de modellen geen "peeking" (gebruik van toekomstige data) toepassen binnen de testperiode.

Betekenis en Conclusie

De studie concludeert dat VLMs de visuele structuur van candlestick-grafieken wel degelijk kunnen interpreteren, maar dat hun vermogen om langetermijntrends te voorspellen beperkt is.

Visuele Superieure Structuur: Grafieken bieden een "voor-gecodeerde" domeinkennis (visuele syntaxis) die VLMs makkelijker kunnen overnemen dan tabulaire data, die pure statistische patronen moet afleiden. Dit verklaart waarom VLMs vaak een hogere mediane IC behalen dan tabulaire baselines.
Toekomstige Toepassing: VLMs zijn momenteel meer geschikt als hulpmiddel voor korte-termijn handelsignalen dan als primaire tool voor langetermijn beleggingsbeslissingen.
Ensemble Potentieel: Vanwege de verschillende biases en sterke punten van verschillende modellen (bijv. sommige zijn goed in dalende trends, andere in stijgende), biedt de studie een sterke basis voor het bouwen van ensemble-systemen die deze complementaire krachten combineren voor robuustere voorspellingen.

Kortom, dit werk legt de basis voor een nieuw vakgebied waarin visuele redenering in de financiën objectief wordt gemeten, los van tekstuele bias, en identificeert zowel de sterke punten als de fundamentele beperkingen van huidige AI-modellen in de financiële analyse.