💰 quantitative finance

Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

Cet article introduit un cadre d'évaluation sensible aux fuites de données pour les LLM avec génération augmentée par récupération dans le classement de facteurs d'actions, démontrant que si les prévisions d'inflation en temps réel et la récupération par similarité macroéconomique tirent la performance médiane à des niveaux comparables aux bases de référence non fondées sur les LLM, les LLM apportent une valeur marginale en améliorant les rendements moyens et la précision du classement extrême, essentielle à la formation de portefeuilles long-court.

Auteurs originaux : Mao Guan, Qian Chen

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mao Guan, Qian Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un coach financier essayant de choisir les sept meilleures équipes sportives (représentant différents styles d'investissement) sur lesquelles parier pour le mois à venir. Vous voulez être juste, précis et, surtout, vous ne voulez pas tricher en jetant un coup d'œil au score final avant le début du match.

Ce document traite de la construction d'un « coach » utilisant un cerveau informatique intelligent (un grand modèle de langage, ou LLM) pour faire ces prédictions, mais avec une règle très stricte : vous ne pouvez utiliser que les informations qui étaient réellement disponibles le jour où vous deviez passer le pari.

Voici le détail de ce qu'ils ont fait et de ce qu'ils ont trouvé, en utilisant des analogies simples :

1. Le problème : La « triche du voyageur temporel »

Dans de nombreuses études financières, les chercheurs trichent accidentellement. Ils pourraient utiliser un rapport (comme le chiffre de l'inflation mensuelle) qui est étiqueté « janvier », mais qui, en réalité, n'est publié qu'à la mi-février. Si un modèle informatique utilise ce chiffre de janvier pour faire un pari en janvier, c'est comme si un voyageur temporel pariait sur une course de chevaux après avoir vu qui a gagné.

Les auteurs disent : « Arrêtez de faire cela. » Ils ont construit un système où l'ordinateur lui est strictement interdit de voir quoi que ce soit qui ne s'est pas encore produit.

2. La solution : Le coach « sans fuite de données »

Pour correr le problème de la triche, ils ont créé un terrain d'entraînement spécial pour leur coach IA :

Les entrées : Au lieu d'utiliser le rapport d'inflation officiel et tardif, ils ont utilisé une « prévision » de l'inflation qui était disponible le jour de la décision (comme la prévision quotidienne d'un météorologue avant que le rapport officiel sur la tempête ne soit publié).
La mémoire : L'IA regarde en arrière dans l'histoire pour trouver des mois qui ressemblent à aujourd'hui (ex : « Ce mois ressemble à 1990 quand le chômage augmentait »).
L'équipe : Ils ont utilisé une équipe d'IA en deux parties :
- Le Critique : Une IA intelligente qui examine les « mois similaires » historiques et rédige une règle simple pour le mois (ex : « Quand l'inflation est basse et que les emplois sont rares, pariez sur l'Équipe A »).
- L'Acteur : Une autre IA qui prend les données d'aujourd'hui, la règle du « Critique » et les résumés d'actualités récents pour choisir les scores finaux des sept équipes.

3. L'expérience : Le test des 36 mois

Ils ont fait passer ce coach à travers un test de 3 ans (36 mois) de 2023 à 2026. Chaque mois, le coach devait classer les sept équipes de la meilleure à la moins bonne.

Les résultats :

Cela a-t-il fonctionné ? Oui, mais pas parfaitement. Le coach a réussi les classements plus souvent qu'un choix aléatoire. Si l'on regarde la performance « médiane », le coach était plutôt bon.
Était-ce de la magie ? Pas vraiment. Lorsqu'ils ont comparé leur coach IA sophistiqué à une méthode beaucoup plus simple et non-IA (un modèle mathématique de base qui regardait simplement les mois passés similaires), le modèle simple a fait presque aussi bien pour obtenir les classements « du milieu ».
Où l'IA a-t-elle brillé ? L'IA était légèrement meilleure pour les « extrêmes ». Elle était plus apte à dire avec confiance : « Cette équipe est certainement la meilleure » ou « Cette équipe est certainement la pire ». C'est important car, en investissement, on veut souvent parier lourdement sur les options les meilleures et les moins bonnes.

4. La grande conclusion

Le document conclut que la « recette secrète » n'était pas le cerveau d'IA sophistiqué en soi, mais plutôt d'avoir la bonne information au bon moment.

Le « Nowcast » est la clé : Le plus grand gain de performance du coach est venu de l'utilisation de la prévision d'inflation en temps réel (le « nowcast ») plutôt que du chiffre officiel retardé. Cela a corrigé la « triche du voyageur temporel ».
Le rôle de l'IA : L'IA n'a pas inventé une nouvelle façon de prédire l'avenir. Au lieu de cela, elle a agi comme un éditeur qualifié capable de prendre un ensemble de faits historiques et d'actualités récentes, de rédiger une stratégie claire et d'appliquer la situation actuelle légèrement mieux qu'une simple calculatrice — surtout lorsqu'il s'agit de faire des paris audacieux sur les meilleures et les moins bonnes équipes.

Résumé en un coup d'œil

Les auteurs ont construit un système de prédiction financière qui refuse de tricher en regardant le futur. Ils ont découvert que si vous donnez à une IA intelligente les informations réelles en temps réel (et non les données « parfaites » mais retardées), elle peut faire des prédictions décentes. Cependant, une grande partie de ce succès provient simplement du fait d'avoir les bonnes données, et non du fait que l'IA soit particulièrement « intelligente ». La véritable valeur de l'IA était de faire des paris plus forts et plus confiants sur les meilleures et les moins bonnes options, plutôt que de simplement deviner la moyenne.

Résumé Technique : Évaluation de la Performance des LLM en Prévision avec Prise en Compte des Fuites d'Information

Problématique

Les benchmarks actuels pour la génération augmentée par récupération (RAG) dans le domaine des prévisions financières souffrent fréquemment de fuites d'informations (information leakage). Dans les contextes financiers pilotés par la macroéconomie, les données étiquetées avec un horodatage spécifique (par exemple, l'indice des prix à la consommation pour le mois $t$ ) ne sont souvent pas observables au moment de la décision du système (généralement à la fin du mois), car les publications officielles accusent un retard de plusieurs jours ou semaines. Les tests de validation progressifs (walk-forward backtests) standards, qui ingèrent ces valeurs étiquetées dans le futur, consomment par inadvertance des informations d'anticipation (look-ahead information), gonflant ainsi artificiellement les mesures de performance. Ce problème est particulièrement aigu dans les pipelines de Grands Modèles de Langage (LLM), où les agents ingèrent des récits macroéconomiques et des résumés d'événements qui peuvent ne pas respecter les contraintes d'observabilité historiques.

Méthodologie

Les auteurs construisent un benchmark de validation progressive mensuelle contrôlé contre les fuites d'informations pour classer sept facteurs de style d'actions américaines (SMB, HML, RMW, CMA, UMD, BAB, QMJ) sur une période de 36 mois (avril 2023 – mars 2026).

1. Contraintes d'information au moment de la décision :
Pour garantir une observabilité stricte, le système ne reçoit que les données disponibles à la date de décision $t$ :

Variables macroéconomiques décalées : Les variables de la FRED (CPI, chômage) sont décalées d'un mois calendaire.
Nowcasts en temps réel : L'inflation du mois en cours non publiée est remplacée par le nowcast quotidien archivé du CPI de la Cleveland Fed interrogé à la date $t$ .
Résumés d'événements : Les résumés récents de l'FOMC et du CPI sont inclus.
Récupération d'analogues historiques : Un module de récupération sélectionne des états historiques à partir d'un pool restreint d'au moins 12 mois avant $t$ (un embargo strict) pour éviter la contamination des données.

2. Architecture du Modèle (Actor-Critic RAG) :
Le pipeline utilise un LLM open-source de 7 milliards de paramètres (Qwen2.5-7B-Instruct, quantifié en 4-bit) dans une configuration acteur-critique à deux étapes :

Récupération (Retrieval) : Un module d'analogue macroéconomique récupère les 4 mois historiques les plus similaires à l'état actuel (basé sur un vecteur macro de 4 dimensions scoré en z : impulsion de croissance, impulsion d'inflation, écart de taux, impulsion VIX).
Critique (Critic) : Un LLM « critique » lit les analogues récupérés et l'état macro actuel pour synthétiser une règle tactique unique (ex. : « Augmenter HML de 0,15 »).
Acteur (Actor) : Un LLM « acteur » projette l'état actuel en temps réel, les résumés d'événements récents et un tampon tournant des 6 dernières règles tactiques en scores pour les sept facteurs d'actions.

3. Références (Baselines) :
Le pipeline LLM est comparé à des références non-LLM utilisant exactement le même ensemble d'informations au moment de la décision :

kNN Macro Analog : Récupère les mêmes 4 analogues mais prédit les rendements des facteurs du mois suivant basés sur la moyenne de leurs rendements réalisés (sans LLM).
Régression Ridge : Modèles linéaires utilisant soit uniquement les nowcasts, soit les vecteurs complets macro/nowcast.

Résultats Clés

1. Métriques de Performance :

Le pipeline LLM complet atteint un rang de Spearman IC médian de +0,154 et un IC moyen de +0,131.
Le signal est directionnellement positif sur trois sous-fenêtres de 12 mois non chevauchantes (+0,111, +0,165, +0,117).
Cependant, l'IC moyen est statistiquement peu puissant : l'intervalle de confiance bootstrap à 95 % inclut zéro $[-0,02, +0,28]$ , et la valeur $p$ de permutation est de 0,11.

2. Ablation et Attribution :

Le rôle des Nowcasts : Le saut le plus significatif du médian IC (de +0,009 à +0,154) s'est produit lors de l'ajout du nowcast de la Cleveland Fed, indiquant que l'information sur l'inflation en temps réel est un moteur primaire du signal.
LLM vs kNN : La référence kNN macro-analog (non-LLM) a obtenu un IC médian comparable (+0,161) au pipeline LLM complet (+0,154). Cela suggère que le « signal médian » est principalement piloté par la récupération d'états macroéconomiques similaires et l'inclusion des nowcasts en temps réel, plutôt que par l'architecture LLM elle-même.
Contribution Marginale du LLM : Le pipeline LLM a surpassé la référence kNN en IC moyen (+0,131 contre +0,070) et lors d'un test de cohérence économique (portefeuille Long-Top-2/Short-Bottom-2). Le ratio de Sharpe du LLM était de +0,71 contre +0,29 pour le kNN. Les auteurs interprètent cela comme le fait que le LLM apporte des bénéfices marginaux spécifiquement dans les classements extrêmes (facteurs de tête et de queue), qui pilotent la formation de portefeuilles long-court, plutôt que dans la tendance centrale.

Signification et Revendications

Le papier ne prétend pas une percée dans le pouvoir prédictif ou une stratégie de trading déployable. Sa signification réside plutôt dans sa rigueur diagnostique :

Contrôle des Fuites : Il démontre que les benchmarks standards confondent souvent la capacité du modèle avec la fuite d'informations. En imposant des contraintes strictes au moment de la décision (notamment en remplaçant le CPI étiqueté dans le futur par des nowcasts), les auteurs isolent le véritable ensemble d'informations disponible pour un décideur.
Désagrégation des Sources de Signal : L'étude révèle que, dans cette tâche macroéconomique spécifique, les nowcasts d'inflation en temps réel et la récupération d'analogues macroéconomiques expliquent la majeure partie du signal prédictif médian. La contribution du LLM semble se concentrer sur l'affinement des classements extrêmes plutôt que sur la découverte de nouveaux signaux de novo.
Reproductibilité : Les auteurs publient l'intégralité du pipeline, y compris l'archive « gelée » des entrées au moment de la décision (nowcasts de la Cleveland Fed), les modèles de prompts et les 36 règles critiques reproductibles, permettant un audit rigoureux du comportement des LLM en prévision financière sans fuite de données.

Les auteurs concluent que bien que le LLM de récupération augmentée de 7B produise un signal positif, les preuves restent statistiquement modestes ( $n=36$ ), et la valeur marginale de l'architecture LLM est probablement confinée à la gestion des interactions non linéaires dans des conditions de marché extrêmes plutôt qu'à la prédiction générale des facteurs.