Detecting Lookahead Bias in LLM Forecasts

Résumé Technique : Détecter le Biais d'Anticipation (Lookahead Bias) dans les Prévisions des LLM

Énoncé du Problème
Les grands modèles de langage (LLM) sont de plus en plus utilisés en économie empirique et en finance pour générer des prévisions au niveau des entreprises à partir de textes non structurés, tels que les titres de presse et les transcriptions de conférences téléphoniques sur les résultats. Ces modèles font souvent preuve d'un pouvoir prédictif pour les résultats réalisés (par exemple, les rendements boursiers, les dépenses en capital) comparable ou supérieur aux références économétriques traditionnelles. Cependant, une préoccupation critique est que cette capacité prédictive peut ne pas découler d'un raisonnement économique authentique sur le texte d'entrée, mais plutôt de la « mémoire » du modèle concernant les résultats réalisés ingérés lors du pré-entraînement. Lorsqu'un modèle est évalué sur des dates comprises dans son corpus d'entraînement, le résultat réalisé pour une paire entreprise-date spécifique peut avoir été absorbé aux côtés de récits rétrospectifs, créant ainsi un « biais d'anticipation » (lookahead bias) où le modèle se contente de se rappeler la réponse plutôt que de raisonner à partir de l'invite (prompt). Les stratégies d'atténuation existantes, comme le masquage d'entités ou la restriction de l'évaluation à des données postérieures à la date de coupure (cutoff), sont soit partielles (laissant subsister des canaux de mémorisation subtils), soit statistiquement limitées (en raison de fenêtres hors échantillon courtes). Il manque un outil de diagnostic portable pour déterminer si la prévision d'un LLM repose sur la mémorisation ou sur le raisonnement pour une tâche spécifique.

Méthodologie
Les auteurs proposent une procédure statistique centrée sur une métrique nommée Propension à l'Anticipation (Lookahead Propensity - LAP), notée $LAP^{(known)}_{i,t+1}$.

1. Construction de la LAP :

   • La méthode utilise une « requête de rappel de date uniquement » contenant seulement le nom de l'entreprise, le ticker et la date cible (ou le trimestre), sans aucune information contemporaine (pas de titre, de transcription ou de fondamentaux).
   • Le modèle est invité à prédire la direction du résultat (par exemple, « haut » ou « bas ») ou à s'abstenir (« inconnu »).
   • $LAP^{(known)}$ est calculée comme la somme des probabilités du premier jet (first-token probabilities) attribuées aux étiquettes directionnelles : $P_{up} + P_{down}$.
   • Une valeur proche de 1 indique que le modèle « connaît » le résultat (haute mémorisation), tandis qu'une valeur proche de 0 indique une abstention (absence de rappel).

2. Cadre Économétrique :

   • Les auteurs modélisent la prévision du LLM ($\hat{\mu}_t$) comme la somme d'une espérance conditionnelle réelle et d'un terme de contamination : $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • Ici, $L_t$ représente la force de mémorisation de la période-entreprise (proxifiée par $LAP^{(known)}$), et $\gamma$ représente la propension du modèle à laisser fuiter le contenu mémorisé dans les prévisions conditionnées par le texte.
   • Le test de détection consiste en une régression de la précision du résultat réalisé ($Y_{t+1}$) sur la prévision du LLM ($\hat{\mu}_t$), la mesure de la LAP, et leur interaction :
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • Proposition 1 : Sous des conditions de base, un coefficient d'interaction positif et significatif ($\beta_3 > 0$) sert de diagnostic unilatéral pour $\gamma > 0$, indiquant que le pouvoir prédictif du modèle est amplifié par le contenu mémorisé.

3. Validation et Placebo :

   • Validation : La composante directionnelle de la requête de rappel ($(U-D) = P_{up} - P_{down}$) est testée par rapport aux résultats réalisés. Le pouvoir prédictif ici confirme l'existence de la mémorisation ($L_t > 0$).
   • Placebo : Le test est appliqué à un échantillon postérieur à la date de coupure d'entraînement (dates strictement postérieures à la limite de connaissance du modèle). Dans cette fenêtre, $LAP^{(known)}$ devrait s'effondrer vers zéro, et le terme d'interaction devrait devenir insignifiant, confirmant que l'amplification in-sample était pilotée par l'exposition lors de l'entraînement.

Résultats Empiriques Clés
Les auteurs appliquent ce cadre à deux tâches de prévision en utilisant Llama-3.3-70B (date de coupure : décembre 2023) :

1. Prédiction des Rendements par les Actualités Boursières :

   • Utilisation de titres Bloomberg pour prédire les rendements boursiers du lendemain (in-sample : 2012–2023).
   • Le signal de base du LLM prédit les rendements ($t=12,18$).
   • Le terme d'interaction ($LLM \times LAP$) est positif et hautement significatif ($t=3,64$). Une augmentation d'un écart-type de $LAP^{(known)}$ augmente l'effet marginal du signal LLM d'environ 32 %.
   • La requête de rappel seule (sans les titres) prédit les rendements avec un $t$-statistique de 3,53, mais uniquement pour les jours-entreprises présentant une $LAP^{(known)}$ élevée.
   • Hors-échantillon (2024) : La moyenne de $LAP^{(known)}$ s'effondre près de zéro, et le terme d'interaction devient statistiquement insignifiant ($t=1,06$), validant l'hypothèse du biais d'anticipation.

2. Prédiction des Dépenses en Capital par les Conférences Téléphoniques :

   • Utilisation de transcriptions pour prédire les dépenses en capital (capex) deux trimestres à l'avance (in-sample : 2006–2020).
   • Le signal de base du LLM prédit le capex futur ($t=16,69$).
   • Le terme d'interaction est positif et significatif ($t=2,01$). Une augmentation d'un écart-type de $LAP^{(known)}$ augmente l'effet marginal d'environ 12 %.
   • Hors-échantillon (2023Q3–2024Q1) : Le terme d'interaction perd sa significativité ($t=1,35$), et l'effet d'amplification disparaît car les dates de rappel tombent strictement après la date de coupure d'entraînement.

3. Comparaison avec la Confiance Interne :

   • Les auteurs testent la mesure $LAP$ contre la « Confiance Interne » (la probabilité du modèle pour sa réponse choisie dans l'invite principale).
   • Les deux termes d'interaction ($LLM \times LAP$ et $LLM \times Confiance\_Interne$) restent significatifs lorsqu'ils sont inclus conjointement, indiquant qu'ils capturent des composantes distinctes de la performance de prévision : $LAP$ capture la mémorisation, tandis que la confiance interne capture la certitude du modèle dans son raisonnement.

Signification et Revendications
L'article affirme fournir un diagnostic portable, rentable et au niveau du modèle pour évaluer la validité des prévisions générées par les LLM.

• Utilité Diagnostique : Il permet aux chercheurs de quantifier quelle part du pouvoir prédictif apparent d'un LLM est pilotée par la mémorisation plutôt que par le raisonnement, sans nécessien de réentraînement, d'accès aux données d'entraînement propriétaires ou de construction de modèles exempts de fuites.
• Nature Spécifique à la Tâche : Les auteurs soulignent que le biais d'anticipation n'est pas un échec universel des LLM mais est spécifique à la tâche, dépendant du domaine d'entrée, de la variable cible, du modèle et de l'invite.
• Application Pratique : Le test nécessite uniquement la capacité d'interroger un modèle et de lire les probabilités de ses étiquettes de premier jet. Il permet aux chercheurs de « neutraliser » les effets de mémorisation pour déterminer le véritable contenu économique d'une prévision.
• Limites : Le test identifie le signe de la charge de contamination ($\gamma > 0$) plutôt que sa magnitude précise. Il ne suggère pas de rejeter les prévisions des LLM, mais fournit plutôt un outil pour interpréter leur fiabilité dans des contextes spécifiques.

L'article conclut qu'une part non négligeable du contenu prédictif dans les prévisions financières basées sur les LLM reflète la mémorisation lors de l'entraînement, et que le test $LAP^{(known)}$ proposé offre une méthode rigoureuse pour détecter et tenir compte de ce biais.