Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

Résumé Technique : Prévision de Séries Temporelles Basée sur un Grand Modèle de Langage avec Augmentation par Récupération pour l'Analyse Boursière Trans-Marchés

Énoncé du Problème
L'article traite du défi de la prévision des rendements boursiers dans des marchés financiers bruités et partiellement non stationnaires. Bien que les modèles de fondation de séries temporelles comme Lag-Llama offrent des noyaux de prévision probabilistes réutilisables capables de généralisation zero-shot, il reste incertain si la récupération explicite de fenêtres historiques analogues peut réduire de manière constante les erreurs de prévision à travers différents régimes de marché, actifs et horizons. La littérature existante se concentre souvent sur des modèles spécifiques à une tâche ou sur des études de cas à marché unique, laissant une lacune dans la compréhension de la manière dont les mécanismes d'augmentation par récupération fonctionnent comme des corrections de mémoire externe pour les modèles de fondation pré-entraînés dans des contextes boursiers trans-marchés.

Méthodologie
L'étude introduit le Cross-Market Retrieval-Augmented Lag-Llama (CM-RAF-Lag-Llama), un cadre contrôlé qui augmente un prévoyeur probabiliste Lag-Llama fixe par une couche de récupération sans réentraîner le noyau.

• Données et Panels : L'évaluation utilise trois panels équilibrés de sept actifs provenant de marchés émergents et développés : IDX7 (Indonésie), US7 (États-Unis) et JP7 (Japon). Les données consistent en des prix de clôture quotidiens de Yahoo Finance (2019–2025), prétraitées par remplissage vers l'avant (forward-filling), moyennes mobiles à 5 jours et transformation en rendements en pourcentage.
• Flux de Travail Hybride :
  1. Prévision de Base : Lag-Llama génère une prévision probabiliste basée sur une fenêtre de contexte.
  2. Récupération (Retrieval) : Les fenêtres d'entraînement historiques sont intégrées (embedded) à l'aide de descripteurs statistiques (moyenne, écart-type, extrema, quantiles, résumés de fenêtres récentes) et indexées via FAISS.
  3. Recherche de Similitude : Le contexte actuel est interrogé par rapport à la banque de mémoire via la distance euclidienne pour récupérer les continuations historiques les plus proches.
  4. Fusion : Le signal de continuation récupéré est fusionné avec la prévision de base par une moyenne pondérée : $\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$.
• Design Expérimental :
  • Grille Trans-Marchés : Une évaluation en grille complète à travers 48 configurations (3 panels × 4 longueurs de contexte [32, 64, 128, 256] × 4 horizons de prédiction [30, 60, 90, 120 jours]).
  • Variantes de Récupération : L'étude compare "Lag-Llama-only" contre "RAF-raw" (fusion fixe) et "RAF-sel." (fusion sélectionnée par validation, où la clé de récupération optimale et l'échelle de fusion sont choisies sur la base des fenêtres de validation).
  • Extension par Caractéristiques Boursières : Une expérience secondaire évalue les cibles dérivées de l'OHLCV (log-prix, log-volume, plage-volatilité, volatilité réalisée à 20 jours) pour tester si des représentations boursières plus riches améliorent l'efficacité de la récupération.
  • Ablation au Niveau du Mécanisme : Évaluations détaillées zero-shot et basées sur un scheduler (taux d'apprentissage de 0,0005) sur une série unique (BBCA.JK) pour isoler les sensibilités de l'horizon et de la longueur du contexte.
• Métriques : La performance est mesurée par l'Erreur Quadratique Moyenne (MSE) pour la précision de la prévision ponctuelle et le Score de Probabilité Classé Continu (CRPS) pour la qualité probabiliste.

Résultats Clés

• Validation Trans-Marchés : Dans l'expérience de rendement pur, au moins une variante de récupération a réduit la MSE dans toutes les 48 configurations. Les réductions de MSE agrégées étaient de 28,85 % (IDX7), 27,27 % (US7) et 33,60 % (JP7) par rapport à Lag-Llama-only. La variante de récupération sélectionnée par validation a systématiquement surpassé la récupération brute dans 41 des 48 configurations.
• Extension par Caractéristiques Boursières : Pour les cibles dérivées de l'OHLCV, la RAF sélectionnée par validation a réduit la MSE par rapport à Lag-Llama-only dans 68 des 72 configurations. Elle a obtenu la MSE la plus faible parmi tous les systèmes comparés (y compris des bases externes comme Random Forest, KNN et PatchTST) dans 22 configurations, dominant notablement dans les cibles de volatilité et de volume de l'US7 (17 sur 18 des contextes non-log-prix).
• Aperçus au Niveau du Mécanisme :
  • Sensibilité de l'Horizon : La récupération a été plus efficace pour les horizons de moyen à long terme (60–120 jours). En réglages zero-shot, les prévisions à 30 jours ont souvent vu une augmentation de l'erreur, suggérant que la récupération introduit du bruit lorsque la dynamique locale domine.
  • Longueur du Contexte : Les longueurs de contexte modérées (32 et 64) ont donné les meilleurs résultats. La longueur de contexte 256 a souvent dégradé la performance, particulièrement pour le CRPS, impliquant que des fenêtres trop longues diluent les représentations de requête avec des régimes de marché hétérogènes.
  • Adaptation : Le réglage basé sur un scheduler a stabilisé la performance, réduisant la MSE dans 14 des 16 configurations par rapport à 12 des 16 en zero-shot, bien que le zero-shot ait montré des réductions moyennes légèrement plus élevées lorsque la récupération était bien alignée.
  • MSE vs CRPS : La récupération a systématiquement amélioré la précision de la prévision ponctuelle (MSE) de manière plus fiable que la calibration probabiliste (CRPS), indiquant que le mécanisme corrige principalement la moyenne de la prévision plutôt que de remodeler la distribution complète de l'incertitude.

Signification et Revendications
L'article affirme fournir des preuves contrôlées que l'augmentation par récupération sert de correction par mémoire externe efficace pour la prévision de modèles de fondation dans les marchés boursiers. Ses principales contributions sont :

1. Validation de la Récupération comme Couche de Correction : Démontrer qu'une récupération historique explicite peut réduire les erreurs pour un noyau Lag-Llama pré-entraîné et fixe sans nécessordre de réentraînement complet ou de changements architecturaux.
2. Généralisabilité Trans-Marchés : Établir que ces réductions d'erreur ne sont pas des artefacts d'un marché unique mais persistent à travers des panels boursiers émergents (IDX) et développés (US, JP).
3. Utilité Dépendante de la Configuration : Préciser que la récupération n'est pas universellement bénéfique ; sa valeur est contingente sur l'horizon de prévision (plus utile pour 60+ jours) et la longueur du contexte (optimale à 32–64 étapes).
4. Efficacité Spécifique à la Cible : Montrer que le système hybride est particulièrement compétitif lors de la prévision de cibles possédant des structures de volatilité ou de volume réutilisables (ex: volatilité réalisée) plutôt que des niveaux de prix bruts.

Les auteurs positionnent ce travail comme une alternative transparente et légère au réentraînement de grands modèles, adaptée aux scénarios où les ressources computationnelles sont limitées ou lorsqu'on préfère des corrections de type inférence interprétables plutôt que des mises à jour de modèles opaques. Ils notent explicitement qu'une amélioration de l'erreur de prévision ne garantit pas des stratégies de trading rentables en raison des coûts de transaction et de l'impact de marché non modélisés, cadrant l'utilité principalement comme un outil d'aide à la décision pour l'analyse de scénarios et la planification des risques.