Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

Cet article présente un cadre novateur combinant un grand modèle de langage (LLM) et un modèle Transformer pour générer automatiquement des alphas formulaires basés sur le sentiment, améliorant ainsi la précision et l'interprétabilité des prévisions de prix boursiers.

L'essentiel

Imaginez que vous essayez de prédire le temps qu'il fera demain. Traditionnellement, les experts regardaient les nuages, la pression atmosphérique et l'humidité, puis ils écrivaient des formules mathématiques complexes pour deviner s'il pleuvrait. C'est ce qu'on appelle les "alpha" dans le monde de la bourse : des formules magiques qui essaient de deviner si une action va monter ou descendre.

Le problème ? Les humains sont lents à inventer ces formules, et le marché change si vite que les vieilles formules deviennent obsolètes (c'est ce qu'on appelle la "dégradation de l'alpha").

C'est là que cette recherche intervient avec une idée géniale : demander à une intelligence artificielle très intelligente (un "Grand Modèle de Langage" ou LLM) d'écrire ces formules pour nous.

Voici comment cela fonctionne, expliqué simplement :

1. Le Chef Cuisinier (Le LLM) et ses Ingrédients

Imaginez que le modèle d'IA est un chef cuisinier de génie. Au lieu de lui donner juste des tomates, on lui donne un panier rempli d'ingrédients variés :

• Les données de base : Le prix d'ouverture, de fermeture, le volume des échanges (comme le poids des légumes).
• Les indicateurs techniques : Des outils mathématiques qui disent si le marché est "trop chaud" ou "trop froid" (comme un thermomètre).
• Le "Sentiment" (L'ambiance) : C'est l'ingrédient secret. Le chef ne regarde pas seulement la pomme, il regarde aussi ce que disent les autres pommes autour d'elle. Si la pomme "Apple" est dans les news, le chef regarde aussi ce qu'on dit de "Google" ou "Amazon" (ses concurrents ou partenaires). Si tout le monde est optimiste sur Google, cela peut influencer le prix d'Apple.

2. La Recette Magique (Génération d'Alpha)

Le chef (le LLM) prend tous ces ingrédients et invente 5 nouvelles recettes (formules) pour chaque entreprise.

• Exemple : Au lieu de dire juste "Si le prix monte, achète", le chef dit : "Si le prix monte ET que l'ambiance sur Amazon est positive, alors c'est un signal d'achat fort !"
• Ce qui est cool, c'est que le chef explique pourquoi il a écrit cette recette. Il ne donne pas juste une boîte noire ; il dit : "J'ai combiné ces deux éléments parce que l'histoire montre qu'ils bougent souvent ensemble."

3. Le Prévisionniste (Le Modèle Transformer)

Une fois les recettes (les formules) écrites, on les donne à un autre robot, un prévisionniste (le modèle Transformer).

• Ce robot est comme un expert en lecture de l'avenir très rapide. Il prend les nouvelles recettes du chef, les mélange avec l'histoire des prix, et prédit le prix de l'action pour le lendemain.
• Le but est de voir si ces nouvelles recettes inventées par l'IA aident le prévisionniste à être plus précis que s'il utilisait les vieilles recettes humaines.

4. Les Résultats : Qui gagne ?

Les chercheurs ont testé cette méthode sur 5 grandes entreprises (Apple, Toyota, Pepsi, etc.) et l'ont comparée à d'autres méthodes :

• Les vieilles recettes humaines : Elles fonctionnent encore un peu, mais elles sont rigides et perdent de leur efficacité avec le temps.
• Les recettes automatiques classiques (Featuretools) : Elles font des mélanges mathématiques, mais c'est souvent du "bruit" difficile à comprendre.
• La méthode du Chef IA (LLM) + Prévisionniste : C'est le grand gagnant !
  • Les prédictions sont beaucoup plus précises.
  • Le système est plus stable (il ne fait pas d'erreurs folles d'un jour à l'autre).
  • L'ajout du "sentiment" (ce qu'on dit des entreprises liées) améliore encore la précision.

En résumé

Cette étude montre que nous n'avons plus besoin de passer des années à chercher des formules mathématiques complexes pour la bourse. Nous pouvons utiliser une IA créative pour inventer de nouvelles stratégies basées sur l'actualité et les relations entre les entreprises, puis laisser une IA prévisionnelle utiliser ces stratégies pour deviner les prix.

C'est comme passer d'un navigateur qui regarde une carte papier (l'humain) à un pilote automatique qui voit le trafic, la météo et les autres voitures en temps réel pour trouver le meilleur chemin. C'est plus rapide, plus précis, et surtout, on comprend mieux pourquoi le pilote a pris telle ou telle décision.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche en français, structuré selon les sections demandées.

Titre : Prédiction des cours boursiers sensible aux sentiments avec Transformer et Alpha Formule Généré par LLM

1. Problématique

La prédiction des cours boursiers reste un défi majeur en raison de la complexité des marchés financiers, influencés par des fondamentaux, des motifs techniques et des sentiments de marché.

• Déclin de l'Alpha (Alpha Decay) : Traditionnellement, les analystes quantitatifs créent manuellement des "alphas formule" (expressions mathématiques identifiant des signaux de trading). Cependant, ces alphas perdent rapidement leur pouvoir prédictif à mesure que les marchés s'adaptent et que de nouveaux acteurs les exploitent.
• Limites des approches actuelles : La conception manuelle est lente, coûteuse et limitée par la créativité humaine. De plus, les modèles d'apprentissage profond (Deep Learning) utilisant uniquement des données brutes (prix, volume) souffrent souvent de bruit et d'instabilité.
• Manque d'interprétabilité : Les modèles de "boîte noire" manquent de transparence, rendant difficile la compréhension des raisons derrière une prédiction.

L'article propose de résoudre ces problèmes en automatisant la génération d'alphas grâce aux Grands Modèles de Langage (LLM) et en intégrant des sentiments provenant non seulement de l'entreprise cible, mais aussi de ses entreprises liées (concurrents, fournisseurs).

2. Méthodologie

Le cadre proposé intègre trois composants principaux : l'extraction de données, la génération d'alphas par LLM et la prédiction par Transformer.

A. Collecte et Prétraitement des Données

• Données : Cinq entreprises (Apple, HSBC, Pepsi, Toyota, Tencent) sur la période du 1er mai 2016 au 8 mai 2024.
• Indicateurs Techniques : Calculés via pandas-ta (SMA, EMA, RSI, MACD, Bandes de Bollinger, OBV, Momentum).
• Analyse des Sentiments :
  • Extraction d'articles de news quotidiens.
  • Utilisation de la Reconnaissance d'Entités Nommées (NER) avec spaCy pour identifier les entreprises liées (co-occurrence dans les articles).
  • Calcul des scores de polarité (positif/négatif) via VADER.
  • Intégration des sentiments de l'entreprise cible et de ses 10 entreprises liées les plus fréquentes.

B. Génération d'Alphas Formules par LLM

• Modèle : Utilisation de deepseek-r1-distill-llama-70b via une approche par prompting.
• Processus : Le LLM reçoit les données structurées (prix, indicateurs, sentiments) et est invité à générer 5 formules d'alpha nouvelles et adaptatives.
• Avantage clé : Contrairement aux méthodes automatiques classiques (comme Featuretools) qui créent des combinaisons mathématiques aléatoires, le LLM utilise un raisonnement logique pour combiner des indicateurs techniques et des sentiments (ex: lier le sentiment d'Amazon à la performance de Pepsi en raison de la confiance des consommateurs).
• Interprétabilité : Les formules générées sont explicites et compréhensibles par l'humain, contrairement aux caractéristiques latentes des réseaux de neurones.

C. Modèle de Prédiction (Transformer)

• Architecture : Un modèle Transformer "vanilla" (encodeur-décodeur).
• Entrées : Les alphas générés par le LLM (normalisés) servent de caractéristiques d'entrée avec une fenêtre glissante de 5 jours.
• Fonctionnement :
  • Encodeur : Intègre les embeddings temporels (jour, semaine, mois) et les embeddings convolutifs 1D pour capturer les motifs.
  • Décodeur : Prédit le prix de clôture du jour suivant ($t+1$).
• Entraînement : Optimisation avec Adam, fonction de perte MSE (Erreur Quadratique Moyenne), et validation stricte pour éviter la fuite de données (data leakage).

D. Comparaison et Évaluation

• Modèles de référence : LSTM, TCN, SVR, Random Forest, XGBoost, et Informer.
• Métriques : MSE (Erreur Quadratique Moyenne), écart-type sur 10 runs, et test de Diebold-Mariano (DM) pour la significativité statistique des différences de performance.
• Scénarios : Comparaison avec et sans sentiments, et comparaison des sources d'alphas (LLM vs Featuretools vs Alphas humains définis).

3. Contributions Clés

1. Automatisation de la découverte d'Alpha : Introduction d'un cadre où un LLM génère dynamiquement des formules d'alpha adaptatives, atténuant le problème du déclin de l'alpha (alpha decay).
2. Intégration des Sentiments Relationnels : Démonstration que l'inclusion des sentiments des entreprises liées (partenaires, concurrents) améliore significativement la précision prédictive.
3. Interprétabilité et Transparence : Contrairement aux modèles purement neuronaux, les alphas générés par LLM offrent un raisonnement explicite (ex: "Le sentiment positif d'Amazon indique une confiance des consommateurs bénéfique à Pepsi"), facilitant la prise de décision financière.
4. Validation Statistique Rigoureuse : Utilisation du test Diebold-Mariano avec correction HLN et ajustement Holm-Bonferroni pour prouver que les améliorations ne sont pas dues au hasard.

4. Résultats Expérimentaux

• Performance du Modèle : Le modèle Transformer utilisant les alphas générés par LLM obtient les meilleurs résultats (MSE le plus faible) sur toutes les entreprises, surpassant significativement les modèles de base (LSTM, TCN, SVR, etc.).
  • Exemple : Pour Toyota, le MSE du Transformer est de 0.0001, contre 0.0015 pour le LSTM.
• Impact des Sentiments : L'ajout des données de sentiment (cible + entreprises liées) réduit systématiquement le MSE et l'écart-type, indiquant une meilleure précision et une plus grande stabilité du modèle.
• Comparaison des Sources d'Alphas :
  • LLM-Generated : Meilleure performance.
  • Featuretools (Auto) : Performance médiocre, formules peu interprétables et redondantes.
  • Human-Defined (101 Alphas) : Performance très dégradée (MSE élevé), confirmant que les alphas statiques souffrent fortement du déclin de l'alpha et ne s'adaptent pas aux conditions de marché actuelles.
• Significativité Statistique : Le test Diebold-Mariano confirme que la supériorité du Transformer par rapport aux autres modèles est statistiquement significative ($p < 0.01$).
• Analyse de Variance : La décomposition de la variance montre que les différences de performance sont dues principalement au choix du modèle (86-98% de la variance) et non au hasard de l'entraînement, prouvant la robustesse de l'approche.

5. Signification et Implications

• Pour la Finance Quantitative : Cette étude valide l'efficacité de l'utilisation des LLM non pas pour trader directement, mais pour générer des caractéristiques de haut niveau (features) riches en sémantique. Cela ouvre la voie à une génération continue de nouveaux signaux pour contrer le déclin de l'alpha.
• Pour la Prise de Décision : La capacité du LLM à fournir un raisonnement naturel (ex: expliquer pourquoi un alfa combine le sentiment d'un concurrent et un indicateur technique) rend l'IA plus transparente et digne de confiance pour les investisseurs.
• Limites et Perspectives : L'étude se concentre sur 5 entreprises. Les travaux futurs devraient élargir l'échantillon, tester d'autres architectures temporelles (N-BEATS) et explorer l'impact du nombre d'alphas générés sur la performance.

En résumé, ce papier démontre qu'une synergie entre la capacité de raisonnement des LLM pour la création de features et la puissance de modélisation séquentielle des Transformers offre une approche supérieure pour la prédiction des cours boursiers, en particulier lorsqu'elle intègre une analyse de sentiments contextuelle et relationnelle.