🤖 machine learning

Do VLMs Truly "Read" Candlesticks? A Multi-Scale Benchmark for Visual Stock Price Forecasting

Cette étude présente un nouveau benchmark multi-échelle pour évaluer la capacité des modèles vision-langage à interpréter les graphiques en chandeliers pour la prévision boursière, révélant que ces modèles excellent principalement dans les tendances persistantes mais manquent de précision et de sensibilité temporelle dans des scénarios de marché plus courants.

Auteurs originaux : Kaiqi Hu, Linda Xiao, Shiyue Xu, Ziyi Tang, Mingwen Liu

Publié 2026-04-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaiqi Hu, Linda Xiao, Shiyue Xu, Ziyi Tang, Mingwen Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective financier. Votre mission : prédire si le prix d'une action va monter ou descendre dans les 30 prochains jours. Traditionnellement, les experts regardent des tableaux remplis de chiffres (des graphiques en lignes et des colonnes). Mais aujourd'hui, nous avons des "super-intelligences" artificielles appelées VLMs (Modèles Vision-Langage), capables de "voir" des images.

La question de cette recherche est simple : Ces intelligences artificielles savent-elles vraiment "lire" les graphiques en chandeliers (candlesticks) comme un humain, ou sont-elles juste en train de deviner ?

Voici l'explication de l'étude, servie avec quelques analogies pour rendre les choses claires.

1. Le Problème : On ne peut pas savoir ce qu'elles pensent

Jusqu'à présent, les tests sur ces IA étaient comme un examen où l'on mélangeait tout. On donnait à l'IA une image du graphique, mais aussi le nom de l'entreprise, des nouvelles du journal et des tableaux de chiffres.

L'analogie : C'est comme demander à un élève de résoudre un problème de mathématiques, mais en lui donnant la réponse écrite sur son bureau en même temps. Si l'élève réussit, on ne sait pas s'il a compris les maths ou s'il a juste lu la réponse !
Le manque de "multi-échelle" : Les traders humains ne regardent pas juste une image. Ils regardent une vue d'ensemble (la semaine, le mois) pour voir la direction générale, et un zoom (le jour) pour trouver le moment précis d'entrer. Les anciens tests ne vérifiaient pas si l'IA savait combiner ces deux vues.

2. La Solution : Un "Laboratoire de Contrôle"

Les chercheurs ont créé un nouveau jeu très strict pour tester les IA :

Le "Jeux de l'Image Pure" : Ils ont donné aux IA uniquement des images de graphiques (des chandeliers verts et rouges) sans aucun texte ni chiffre. C'est comme si on montrait une photo d'une tempête à un marin et qu'on lui demandait de prédire la météo, sans lui donner les données de pression atmosphérique.
La vue double : Pour chaque action, l'IA a reçu deux photos : une vue "Zoom" (journalière) et une vue "Grand Angle" (hebdomadaire). L'objectif était de voir si l'IA pouvait comprendre que le "Grand Angle" montre une tendance à la baisse, même si le "Zoom" montre une petite hausse temporaire.

3. Les Résultats : Des IA qui ont du mal avec la nuance

Après avoir testé plusieurs modèles célèbres (comme GPT, Claude, Gemini, etc.), voici ce qu'ils ont découvert :

Elles sont bonnes quand tout est évident : Si le marché est en pleine "montagne russe" (tout le monde monte) ou en chute libre (tout le monde descend), les IA devinent bien.
- Analogie : C'est comme un chien qui peut facilement suivre un ballon qui roule tout droit, mais qui perd le ballon s'il fait des zigzags.
Elles sont perdues dans le "brouillard" : Dans les marchés normaux (qui oscillent un peu), les IA font beaucoup d'erreurs. Elles ne comprennent pas bien les signaux subtils.
Elles sont court-termistes : Même si on leur demande de prédire dans 30 jours, elles se concentrent sur ce qui s'est passé hier ou avant-hier.
- Analogie : C'est comme un conducteur qui regarde uniquement le pare-brise immédiat pour conduire sur l'autoroute, au lieu de regarder l'horizon. Elles voient les petits détails, mais ratent la route globale.

4. La Surprise : L'IA vs L'Humain (XGBoost)

Les chercheurs ont aussi comparé les IA à un algorithme mathématique classique (XGBoost) qui lit les chiffres bruts.

Le verdict : L'algorithme mathématique est plus stable et moins sujet aux erreurs "bizarres".
Mais... Les IA ont un potentiel caché. Quand elles réussissent, elles sont parfois plus précises que les maths pures. Pourquoi ? Parce que les graphiques sont comme un langage visuel. Les IA, entraînées à reconnaître des chats, des voitures ou des visages, sont naturellement douées pour voir des "formes" dans les graphiques (comme une forme de "T" ou de "M" qui indique un retournement), là où les maths doivent tout calculer de zéro.

5. Conclusion : À quoi ça sert ?

Cette étude nous dit deux choses importantes :

Ne faites pas confiance aveuglément : Les IA actuelles ne sont pas des oracles magiques capables de prédire l'avenir lointain en regardant juste une image. Elles sont souvent biaisées et imprévisibles dans les marchés calmes.
Le potentiel est là : Si on arrive à les entraîner correctement, leur capacité à "voir" les patterns visuels pourrait être un super-pouvoir pour les traders, à condition de les utiliser comme un aide-de-camp pour les signaux à court terme, et non comme un chef d'orchestre pour les décisions à long terme.

En résumé : Les IA savent "voir" les graphiques, mais elles ne savent pas encore vraiment "penser" comme un analyste humain expérimenté. Elles voient les couleurs, mais elles ont du mal à comprendre l'histoire complète derrière le dessin.

1. Problématique et Contexte

L'application des Modèles Vision-Langage (VLM) à la prévision des cours boursiers connaît un essor rapide. Cependant, les benchmarks existants souffrent de limitations méthodologiques critiques qui empêchent d'évaluer la véritable compréhension des modèles :

Manque d'attribution de capacité : Les études précédentes utilisent souvent des ensembles de données multimodaux complexes (texte + images + données tabulaires). Il est donc impossible de déterminer si les performances proviennent de la compréhension des motifs graphiques (chandeliers) ou simplement de l'analyse des signaux textuels.
Absence d'analyse multi-échelle : Les analystes humains s'appuient sur une hiérarchie temporelle (échelles journalières pour les points d'inflexion, échelles hebdomadaires pour les tendances macro). La plupart des benchmarks actuels se concentrent sur des périodes uniques ou des données tabulaires, ne testant pas la capacité des VLMs à intégrer dynamiquement des horizons temporels courts et longs.
Biais d'évaluation : Les métriques traditionnelles ne capturent pas suffisamment les biais de prédiction ni la sensibilité temporelle des modèles.

2. Méthodologie

Pour combler ces lacunes, les auteurs ont conçu une approche rigoureuse minimisant les interférences informationnelles tout en préservant les éléments d'analyse essentiels.

A. Construction de l'Ensemble de Données (Dataset)

Sources de données : Données historiques OHLCV (Open, High, Low, Close, Volume) provenant de TuShare (marché chinois, indice HS300) et de Yahoo Finance (marché américain, indice S&P500) de janvier 2015 à juillet 2025.
Modélisation Visuelle : Génération de graphiques en chandeliers à deux échelles temporelles pour chaque échantillon :
- Journalier (Daily) : Pour capturer les signaux à court terme.
- Hebdomadaire (Weekly) : Pour capturer la tendance de fond.
- Représentation : Chaque image inclut les chandeliers, des moyennes mobiles (MA5, MA20, MA90) et un sous-graphique de volume. La limite est fixée à 50 bougies pour assurer la cohérence visuelle.
Objectif de prédiction : Prédire le rendement futur sur 30 jours ( $H=30$ ).
Contrôle : Les données sont purement visuelles pour les VLMs, tandis qu'un pipeline numérique (OHLCV bruts) est utilisé pour les modèles de base (XGBoost), permettant une comparaison équitable.

B. Tâche et Ingénierie des Prompts

Tâche : Régression continue pour prédire le rendement futur ( $\hat{r} \in [-0.5, 1.0]$ ).
Prompting : Un prompt structuré définit le rôle du modèle comme « analyste de tendance boursière ». Il impose une analyse multidimensionnelle :
1. Analyse des motifs de chandeliers (corps et mèches).
2. Analyse du système de moyennes mobiles.
3. Analyse du volume.
4. Détection des points d'inflexion.
5. Synthèse multi-échelle : Confrontation des signaux journaliers et hebdomadaires pour vérifier la cohérence.
Contraintes de sortie : Le modèle doit produire un seul score numérique sans texte additionnel, évitant ainsi les biais de langage.

C. Cadre d'Évaluation

L'évaluation combine des métriques traditionnelles et des diagnostics avancés :

Matrice de Confusion : Analyse des taux de Vrais Positifs (TP), Vrais Négatifs (TN), Faux Positifs (FP) et Faux Négatifs (FN) pour évaluer la précision, le rappel et la spécificité.
Coefficient d'Information (IC) : Mesure la corrélation linéaire entre les prédictions et les rendements réels.
- ICIR (Information Coefficient Ratio) : Rapport entre la moyenne et l'écart-type de l'IC (mesure de la stabilité).
- Rank IC : Corrélation de Spearman pour une robustesse accrue face aux valeurs aberrantes.
Analyse de Biais : Mesure de l'écart entre la distribution des prédictions (hausse/baisse) et la réalité du marché.

3. Contributions Clés

Premier Benchmark Multi-échelle Visuel Pur : Création d'un dataset isolant la modalité visuelle (chandeliers journaliers + hebdomadaires) pour évaluer spécifiquement la compréhension des motifs graphiques par les VLMs, sans confusion avec le texte.
Cadre d'Évaluation Multidimensionnel : Introduction d'une analyse combinant matrices de confusion, séries temporelles d'IC et analyse des biais, permettant de caractériser finement le comportement des modèles dans différents régimes de marché.
Analyse Fine des Limites : Identification de biais systématiques et de la sensibilité temporelle des modèles, démontrant que les VLMs actuels peinent à raisonner sur des horizons longs malgré des instructions explicites.

4. Résultats Expérimentaux

Les expériences ont été menées sur sept VLMs commerciaux (Claude, Gemini, GPT, Qwen) et comparées à un modèle XGBoost.

Performance Globale : La plupart des VLMs fonctionnent bien uniquement dans des tendances persistantes (marchés haussiers ou baissiers forts), mais montrent une capacité prédictive faible dans les scénarios de marché les plus courants (marchés latéraux).
Biais de Prédiction :
- Les modèles présentent des biais directionnels significatifs. Par exemple, Claude-Haiku montre une haute précision (stratégie conservatrice), tandis que GPT5mini a un rappel élevé (stratégie agressive).
- Les modèles sont systématiquement meilleurs pour identifier les risques de baisse (marchés baissiers) que pour capturer les opportunités de hausse.
Sensibilité Temporelle (Time Sensitivity) :
- Une découverte majeure : Les VLMs sont beaucoup plus corrélés aux rendements à 5 jours qu'aux rendements à 30 jours, malgré les instructions. Cela suggère qu'ils capturent principalement des signaux techniques à court terme et peinent à intégrer la logique fondamentale à long terme.
Comparaison VLM vs XGBoost :
- XGBoost (basé sur des données tabulaires) offre une stabilité moyenne supérieure et un meilleur classement global.
- Cependant, certains VLMs (notamment Claude-sonnet-4-5 et Qwen) surpassent XGBoost sur des métriques spécifiques comme la stabilité médiane de l'IC et la capacité à éviter les échecs de queue de distribution (tail-risk), suggérant un plafond de performance potentiellement plus élevé grâce à la représentation visuelle.

5. Signification et Conclusion

Supériorité de la Représentation Visuelle : L'article soutient que les graphiques en chandeliers externalisent la structure du domaine (heuristiques techniques) dans une syntaxe visuelle. Cela permet aux VLMs de transférer des priors visuels (reconnaissance de formes, attention hiérarchique) appris sur des images naturelles vers les motifs financiers, contournant ainsi les contraintes de données éparses que rencontrent les modèles tabulaires.
Limites Actuelles : Les VLMs ne « lisent » pas encore parfaitement les chandeliers pour des prévisions à long terme. Ils agissent davantage comme des outils d'analyse de signaux à court terme que comme des systèmes de prise de décision d'investissement à long terme.
Implications Futures : Ce travail fournit une base méthodologique pour comprendre les mécanismes de prédiction multimodale et suggère que l'optimisation des stratégies de trading pourrait bénéficier de l'assemblage de modèles aux biais complémentaires (systèmes d'ensemble).

En résumé, cette étude établit un nouveau standard pour évaluer les VLMs en finance, révélant à la fois leur potentiel supérieur dans l'interprétation visuelle des structures de marché et leurs limites actuelles en matière de raisonnement temporel profond.