Generalized Stock Price Prediction for Multiple Stocks Combined with News Fusion

Cette étude propose un modèle de prédiction boursière généralisé pour plusieurs actions qui intègre des articles d'actualités filtrés par des mécanismes d'attention basés sur des embeddings de noms d'actions et un grand modèle de langage, réduisant ainsi l'erreur absolue moyenne de 7,11 % par rapport aux méthodes de référence.

L'essentiel

📈 Prédire l'avenir de la Bourse : Le "Super-Détective" qui lit les journaux

Imaginez que vous essayez de deviner le prix d'une action (comme Apple ou TSMC) demain. C'est un peu comme essayer de prédire la météo : vous regardez le ciel (les chiffres passés), mais vous savez aussi que si une tempête arrive (une mauvaise nouvelle), tout va changer.

Les chercheurs de cet article ont créé un nouveau système d'intelligence artificielle qui fait exactement cela : il combine les chiffres historiques avec la lecture de milliers d'articles de presse pour mieux prédire les cours de la bourse.

Voici comment cela fonctionne, expliqué avec des métaphores simples :

1. Le Problème : Trop de bruit, pas assez de signal

Imaginez que vous êtes dans une pièce remplie de 200 personnes qui parlent toutes en même temps (c'est la presse financière quotidienne). Vous voulez savoir ce qui va arriver à l'action "TSMC".

• L'ancienne méthode : Les chercheurs prenaient un filtre (comme un chercheur d'information) pour essayer de trouver les phrases contenant le mot "TSMC". Mais souvent, ils rataient des infos importantes cachées dans des phrases complexes, ou ils se faisaient piéger par du bruit.
• Le problème : Si vous écoutez tout le monde sans filtre, vous devenez fou (trop de bruit). Si vous ne cherchez que le mot exact, vous ratez le contexte.

2. La Solution : Le "Super-Détective" avec une loupe magique

Les auteurs ont créé un modèle qui agit comme un chef d'orchestre ou un super-détective. Voici ses trois super-pouvoirs :

• A. La Loupe Magique (L'IA qui lit tout) :
  Au lieu de chercher juste le mot "TSMC", le modèle utilise une intelligence artificielle très puissante (un "Grand Modèle de Langage" ou LLM, comme un cerveau qui a lu tout internet) pour comprendre le sens des articles. Il sait qu'un article parlant de "pénurie de puces" concerne TSMC, même si le mot "TSMC" n'est pas écrit.

• B. Le Tri Sélectif Intelligent (Le Pooling Attentionné) :
  C'est le cœur de leur invention. Imaginez que le détective a une carte d'identité de l'action qu'il surveille (par exemple, une carte avec écrit "TSMC").

  • Il prend les 200 articles du jour.
  • Il utilise sa "carte d'identité" comme une clé pour trier les articles.
  • Il ne garde que les articles qui "résonnent" avec cette carte.
  • L'analogie : C'est comme si vous aviez un aimant spécial. Si vous passez cet aimant sur un tas de ferraille (les nouvelles), il ne colle que les pièces de monnaie qui vous intéressent, et laisse tomber les clous et les vis inutiles.

  Ils ont testé trois façons de faire ce tri (comme trois types d'aimants différents) et ont découvert que l'un d'eux, appelé SAP, fonctionnait le mieux pour garder le calme et la précision.

• C. La Fusion des Mondes (Mélanger Chiffres et Mots) :
  Une fois qu'il a trié les nouvelles importantes, il les mélange avec l'historique des prix. C'est comme si vous preniez une carte météo (les nouvelles) et que vous la superposiez à une carte de la route (les prix passés) pour voir où vous allez.

3. Le Résultat : Un seul modèle pour toutes les actions

Avant, il fallait entraîner un détective différent pour chaque action (un pour TSMC, un autre pour Foxconn, etc.). C'était long et inefficace.

• L'innovation : Ils ont entraîné un seul modèle capable de gérer plusieurs actions à la fois. C'est comme avoir un détective polyvalent qui peut passer d'une enquête sur une voiture à une enquête sur un avion sans perdre sa tête, grâce à la "carte d'identité" de l'action qu'il surveille à l'instant T.

4. Les Résultats : Moins d'erreurs, plus de confiance

• Sur le marché taïwanais : Leur méthode a réduit les erreurs de prédiction de 7,11 % par rapport aux méthodes classiques. C'est énorme en finance !
• Sur le marché américain : Ça marche aussi, mais il y a un petit hic. Aux USA, on utilise souvent des surnoms courts pour les entreprises (ex: "F" pour Ford). L'IA a parfois du mal à savoir que "F" veut dire "Ford" et pas "Ford" le prénom. C'est comme si le détective avait une carte d'identité floue. Ils prévoient de corriger cela à l'avenir en reliant automatiquement les surnoms aux vrais noms.

En résumé 🎯

Cette recherche nous dit que pour prédire la bourse, lire les journaux est crucial, mais il faut savoir trier le bon grain de l'ivraie.

Leur méthode utilise une intelligence artificielle avancée pour :

1. Lire des milliers d'articles en une seconde.
2. Garder uniquement ceux qui concernent vraiment l'action du jour (comme un filtre intelligent).
3. Mélanger ces infos avec les chiffres pour faire une prédiction plus précise.

C'est comme passer d'un détective qui cherche un mot-clé dans un dictionnaire à un détective qui comprend le contexte, l'humour et les sous-entendus d'une conversation entière. Résultat : on se trompe moins souvent sur le prix de demain.

Résumé technique

1. Problématique

La prédiction des cours boursiers reste un défi majeur en finance. Les approches traditionnelles (ARIMA, RNN) sont souvent limitées par leur incapacité à intégrer efficacement les données textuelles non structurées (actualités financières). Les méthodes existantes souffrent de plusieurs lacunes :

• Bruit informationnel : L'agrégation de toutes les actualités quotidiennes sans filtrage introduit un bruit significatif qui dégrade la précision du modèle.
• Dépendance à la récupération (Retrieval) : Les méthodes basées sur la recherche d'information (retrieval) préalable, souvent limitées aux noms d'actions ou aux mots-clés, peuvent manquer d'informations implicitement pertinentes et séparent la phase de filtrage de la prédiction.
• Manque de généralisation : La plupart des modèles sont entraînés sur des actions individuelles, ce qui empêche la capture des dynamiques collectives du marché et nécessite un réentraînement pour chaque nouvel actif.

L'objectif de cet article est de développer un modèle généralisé capable de prédire les cours de multiples actions simultanément, en intégrant dynamiquement les actualités financières tout en filtrant le bruit sémantique sans étape de récupération externe.

2. Méthodologie

L'architecture proposée s'appuie sur le cadre Time-LLM (basé sur des modèles de langage pré-entraînés comme LLaMA ou GPT-2) et se compose de quatre modules principaux :

A. Encodage et Filtrage des Actualités (Attentive Pooling)

Au lieu de traiter chaque article individuellement ou de les filtrer par mots-clés, le modèle encode tous les articles d'une journée via un modèle de langage pré-entraîné (BERT pour le chinois, DeBERTa pour l'anglais). Pour réduire la dimensionnalité et filtrer le bruit, trois mécanismes de pooling attentif sont proposés, utilisant l'embedding du nom de l'action comme requête ou contexte :

1. Cross-attentive Pooling (CAP) : L'embedding du nom de l'action sert de Query dans un mécanisme d'attention croisée sur les embeddings des actualités (Keys/Values). Cela pondère les articles selon leur pertinence par rapport à l'action cible.
2. Self-attentive Pooling (SAP) : L'embedding du nom de l'action est concaténé à la séquence des actualités, et une attention auto-attentive est appliquée sur l'ensemble. Cela permet au modèle d'apprendre les interactions entre le nom de l'action et les articles.
3. Position-aware Self-attentive Pooling (PA-SAP) : Similaire au SAP, mais inclut des embeddings de position pour capturer l'ordre temporel des articles au sein d'une journée.

B. Fusion Actualités-Prix (News-Price Fusion)

Les représentations agrégées des actualités sont fusionnées avec les séries temporelles des prix historiques (sur 20 jours) via trois stratégies combinées :

• Attention Croisée Bidirectionnelle : Permet un échange d'informations entre les signaux de prix et les textes (Prix vers Actualités et Actualités vers Prix).
• Réseaux de Neurones à Convolution Graphique (GCN) : Modélise les dépendances structurelles entre les actions et les actualités au sein d'une fenêtre temporelle.
• Fusion pondérée : Une combinaison apprenable des sorties des modules d'attention, GCN et des embeddings originaux.

C. Reprogrammation de Patchs (Patch Reprogramming)

Pour combler le fossé entre les données numériques (prix) et le vocabulaire textuel des LLM, la technique de Patch Reprogramming de Time-LLM est utilisée. Elle projette les caractéristiques financières (fusionnées) dans l'espace d'embedding du LLM via des prototypes de vocabulaire, permettant d'utiliser un LLM figé (frozen) pour la prédiction temporelle.

D. Modèle Généralisé

Contrairement aux approches précédentes, un seul modèle unique est entraîné sur un mélange de données de plusieurs actions (6 actions sur le marché taïwanais TW21 et 42 actions sur le dataset BigData23 US). Cela force le modèle à apprendre des dynamiques de marché collectives plutôt que des patterns spécifiques à un actif.

3. Contributions Clés

1. Modèle de Prédiction Généralisé : Introduction d'un cadre unifié capable de prédire les cours de multiples actions simultanément, démontrant une transférabilité entre les marchés (Taïwan et États-Unis).
2. Mécanisme de Sélection Sémantique : Proposition d'un mécanisme de pooling guidé par les embeddings des noms d'actions. Cela permet au modèle d'utiliser la connaissance sémantique des LLM pour filtrer automatiquement le bruit dans les flux d'actualités, éliminant le besoin d'une étape de récupération externe.
3. Intégration Avancée Données/Prix : Combinaison innovante de GCN et d'attention croisée bidirectionnelle pour fusionner les données textuelles non structurées et les données numériques structurées.
4. Validation Empirique Large : Expérimentation sur deux marchés distincts (TW21 et BigData23) avec différents backbones de LLM (LLaMA, GPT-2) et différentes fenêtres temporelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur le marché boursier taïwanais (6 actions majeures : TSMC, MediaTek, etc.) et sur le dataset BigData23 (42 actions US).

• Performance Globale : La méthode proposée, en particulier avec le Self-attentive Pooling (SAP), a réduit l'Erreur Absolue Moyenne (MAE) de 7,11 % par rapport à la ligne de base Time-LLM (sans actualités) sur le dataset TW21.
• Comparaison des Mécanismes :
  • SAP a démontré une variance d'erreur plus faible et une performance plus cohérente sur l'ensemble des actions, y compris les petites capitalisations.
  • CAP a excellé sur les grandes capitalisations (ex: TSMC, Foxconn) mais a montré une plus grande variance.
  • PA-SAP n'a pas systématiquement surpassé les autres, suggérant que les relations causales entre articles d'actualité d'une même journée sont faibles.
• Impact du Prompt de Nom (SNP) : L'ajout explicite du nom de l'action dans le prompt du LLM n'a pas toujours amélioré les résultats par rapport à l'utilisation des embeddings dans le mécanisme de pooling seul, indiquant que le filtrage par attention suffit.
• Défi des Symboles (Tickers) : Sur le dataset BigData23 (basé sur des symboles boursiers abrégés comme "F" ou "T"), le mécanisme CAP a échoué en raison de l'ambiguïté sémantique des symboles courts. Le SAP, moins dépendant de la précision sémantique explicite du nom, a mieux résolu ce problème.
• Coût vs Performance : Bien que l'utilisation d'un LLM augmente considérablement le temps d'entraînement (2 jours contre 30 min pour un LSTM), la réduction du MAE de 56 % par rapport aux modèles LSTM classiques justifie le coût pour des applications nécessitant une haute précision.

5. Signification et Perspectives

Cet article démontre que l'intégration de mécanismes d'attention guidés par le contexte (noms d'actions) permet de transformer les LLM en outils puissants pour la finance, capables de gérer le bruit informationnel sans étapes de prétraitement complexes.

Limites et Travaux Futurs :

• Généralisation aux petites capitalisations : Le modèle doit être testé sur des actions moins connues où les données textuelles sont plus rares.
• Liaison d'Entités (Entity Linking) : Pour les marchés utilisant des symboles boursiers (comme les US), il est nécessaire de mapper les abréviations vers les noms complets des entreprises avant l'entrée dans le LLM pour améliorer la précision sémantique.
• Horizons Temporels : Exploration de fenêtres d'entrée plus longues (60-120 jours) pour prédire les tendances à moyen terme.
• Backtesting : Évaluation des stratégies de trading réelles basées sur ces prédictions.

En conclusion, cette étude établit un nouveau standard pour la prédiction boursière multi-actifs en combinant la puissance des LLM avec des mécanismes de filtrage sémantique adaptatifs, offrant une approche robuste et généralisable face au bruit des données financières.