Résumé Technique : GS-Fuse

Énoncé du Problème

Prévoir avec précision l'impact d'événements financiers saillants (par exemple, publications macroéconomiques, décisions politiques) sur les prix des actifs est crucial pour les investisseurs et les décideurs politiques. Bien que les récentes avancées des Modèles de Langage à Grande Échelle (LLM) et des Modèles Fondamentaux de Séries Temporelles aient amélioré la prévision unimodale, les approches multimodales existantes pour la prévision financière pilotée par des événements font face à trois limitations principales :

1. Fusion Invariante aux Événements : Les méthodes actuelles fusionnent généralement les données textuelles et les prix de manière symétrique en utilisant des couches partagées, en supposant un équilibre stable entre les modalités. Cela échoue à s'adapter à la nature hétérogène des marchés financiers, où certains événements sont pilotés par le sentiment tandis que d'autres suivent des schémas techniques préexistants.
2. Absence de Fusion Consciente de la Causalité : Les modèles existants manquent de mécanismes explicites pour déterminer quand le texte d'un événement apporte une valeur prédictive incrémentale au-delà des prix historiques. Ils fusionnent souvent les modalités de manière symétrique, risquant la surutilisation de textes bruyants ou non informatifs.
3. Alignement à Granularité Grossière : Les mécanismes d'alignement standards opèrent au niveau de l'instance (embedding global d'événement vs embedding global de série temporelle). Cela ignore le fait que seuls des passages spécifiques dans les publications financières (par exemple, l'orientation future dans les déclarations du FOMC) entraînent des réactions du marché, conduisant à des signaux dilués provenant de contenus non pertinents.

Méthodologie

Les auteurs proposent GS-Fuse, un cadre multimodal conçu pour répondre à ces limitations grâce à un mécanisme de fusion à porte supervisé par Granger, conscient de la causalité, et à un alignement multi-granulaire. L'architecture se compose de quatre composants principaux :

1. Encodeurs

• Encodeur de Texte : Utilise un LLM pré-entraîné (par exemple, LLaMA, Phi-3) pour encoder les scripts d'événements ($E_i$) en représentations au niveau des tokens, qui sont projetées dans un espace d'embedding partagé.
• Encodeur de Séries Temporelles : Utilise un Modèle Fondamental de Séries Temporelles pré-entraîné (par exemple, MOMENT, Kronos) pour encoder les segments de marché pré-événement ($X_i$) en représentations étape par étape.
• Stratégie de Gel : Les modèles de base LLM et TS restent gelés ; seuls les têtes de projection et les modules en aval sont entraînés.

2. Alignement Intermodal Multi-Granulaire

Pour combler le fossé entre les modalités, GS-Fuse impose un alignement à deux niveaux :

• Alignement Global au Niveau de l'Instance : Utilise une attention croisée bidirectionnelle pour entrelacer les représentations de tokens et d'étapes, suivi d'une perte contrastive InfoNCE pour aligner les embeddings globaux d'événement et de série temporelle.
• Alignement Fin au Niveau Token/Étape : Alignement des tokens de texte individuels avec des étapes spécifiques de la série temporelle. Un scoreur de saillance identifie les $K$ tokens "ancres" principaux, et une perte contrastive encourage ces tokens saillants à s'aligner avec leurs motifs temporels correspondants tout en repoussant les étapes non liées d'autres instances.

3. Porte Causale Supervisée par Granger

Il s'agit de l'innovation centrale. Le modèle emploie un mécanisme de porte qui décide d'intégrer ou non le texte de l'événement en fonction de son utilité prédictive incrémentale :

• Signal d'Utilité Granger : Pendant l'entraînement, le modèle compare un prédicteur "restreint" (utilisant uniquement les données de séries temporelles, $\hat{Y}_{ts}$) à un prédicteur "non restreint" (utilisant à la fois le texte et les séries temporelles, $\hat{Y}_{full}$).
• Supervision : La différence de perte ($\Delta_i = \ell(Y_i, \hat{Y}_{ts}) - \ell(Y_i, \hat{Y}_{full})$) sert de proxy pour la causalité de Granger. Si l'intégration du texte réduit l'erreur de prévision, le texte est jugé utile.
• Entraînement de la Porte : Un réseau de porte prédit un score d'ouverture scalaire ($\alpha_i$) pour chaque instance. Ce score est supervisé via une perte de distillation pour correspondre à une cible de "responsabilité" douce ($r_i$) dérivée de l'utilité de Granger. La porte s'ouvre ($\alpha_i \approx 1$) uniquement lorsque le texte apporte une valeur mesurable et se ferme sinon.

4. Décodeur

Un décodeur Transformer léger prend la représentation fusionnée (pondérée par la porte) et génère la trajectoire future du marché sur l'horizon de prévision $H$.

Schéma d'Entraînement

Le modèle est entraîné en trois étapes pour assurer la stabilité :

1. Pré-entraînement uniquement TS : Entraînement de la branche de séries temporelles pour établir une base solide.
2. Échauffement uniquement Texte : Entraînement de la branche de texte pour s'assurer que les représentations d'événements sont pertinentes pour la prévision.
3. Affinement Multimodal : Entraînement conjoint des modules de fusion et d'alignement avec un objectif combiné de perte de prévision, de perte d'alignement et de supervision de porte.

Contributions Clés

1. Fusion à Porte Supervisée par Granger : Un module novateur qui apprend à faire confiance sélectivement au texte de l'événement uniquement lorsqu'il apporte une valeur prédictive incrémentale au-delà des prix historiques, modélisant efficacement la direction causale de l'événement vers le prix.
2. Alignement Multi-Granulaire : Un schéma d'alignement conjoint opérant à la fois au niveau de l'instance et au niveau fin token/étape, permettant au modèle de localiser les indices textuels spécifiques qui entraînent les réactions du marché.
3. Cadre Plug-and-Play : Un adaptateur agnostique au modèle capable d'envelopper des LLM et des modèles fondamentaux de séries temporelles arbitraires, le rendant flexible à travers diverses architectures de base et contextes de marché.

Résultats Expérimentaux

Les auteurs ont évalué GS-Fuse sur un ensemble de données curaté intégrant des publications macroéconomiques (CAMEF) et des actualités financières (FNSPID) par rapport à cinq actifs (S&P500, NASDAQ, INDU, USGG1M, USGG5YR) sur trois horizons de prévision ($H \in \{35, 70, 140\}$ étapes de 5 minutes).

• Performance : GS-Fuse a constamment surpassé les bases unimodales de l'état de l'art (ARIMA, DLinear, iTransformer, FEDformer) et les bases multimodales (GPT4MTS, TimeCMA, TEST). Il a obtenu le MSE et le MAE les plus faibles sur tous les actifs et horizons.
• Études d'Ablation : La suppression de la porte Granger ou de l'alignement multi-granulaire a entraîné des baisses de performance significatives, confirmant que les deux composants sont essentiels et complémentaires.
• Généralité de l'Architecture de Base : Le cadre a démontré une robustesse à travers différentes combinaisons de LLM (LLaMA vs Phi) et de modèles fondamentaux TS (MOMENT vs Kronos), bien que des associations spécifiques aient produit des variations marginales de performance.
• Analyse Causale : L'ouverture moyenne de la porte était d'environ 51 % pour les indices boursiers mais plus élevée (60,68 %) pour les rendements des bons du Trésor, indiquant que le modèle ajuste dynamiquement sa dépendance au texte en fonction de la classe d'actifs et de l'utilité spécifique du récit de l'événement.

Signification et Revendications

L'article revendique que GS-Fuse adresse le défaut fondamental des prévisions multimodales existantes : l'hypothèse selon laquelle les données textuelles et les prix devraient toujours être fusionnés de manière symétrique. En introduisant une porte supervisée par Granger, le modèle apprend explicitement la dépendance conditionnelle des prix au texte de l'événement, évitant le bruit des récits non informatifs. L'alignement multi-granulaire assure en outre que le modèle se concentre sur les parties spécifiques d'un script d'événement qui entraînent les mouvements du marché.

Les auteurs positionnent GS-Fuse non seulement comme une amélioration des performances, mais comme un changement méthodologique vers une fusion multimodale consciente de la causalité et adaptative en finance. Le cadre est présenté comme une solution flexible, plug-and-play, pouvant être instanciée avec divers modèles fondamentaux, offrant une approche robuste pour la prévision financière pilotée par des événements où la valeur prédictive de l'information est hétérogène et non stationnaire.