Résumé technique : Prévision avec les LLM : Amélioration de la généralisation par le pilotage de caractéristiques (Feature Steering)

Problématique

L'application des modèles de langage de grande taille (LLM) aux tâches de prévision est confrontée à un défi critique : distinguer le raisonnement généralisable authentique de la simple récupération de résultats mémorisés à partir des données d'entraînement. Lorsqu'un LLM est sollicité pour prévoir un événement survenu durant sa fenêtre d'entraînement, le modèle peut simplement se remémorer le résultat historique plutôt que de raisonner sur la base des informations disponibles au moment où la prévision aurait dû être faite. Ce phénomène, connu sous le nom de biais d'anticipation (look-ahead bias ou LAB), produit des réponses correctes qui manquent de généralisabilité et échouent à performer sur des observations hors échantillon.

Les stratégies de mitigation existantes, telles que les modèles à restriction chronologique ou l'anonymisation au niveau des entrées, se font souvent au détriment des capacités du modèle ou s'avèrent insuffisantes face aux paradigmes d'entraînement modernes. De plus, bien que la conscience temporelle puisse être induite via des prompts système ou du réglage fin (fine-tuning), les représentations internes soutenant ces comportements — et la question de savoir si elles correspondent à des caractéristiques distinctes et causales — restent mal comprises.

Méthodologie

Les auteurs utilisent des auto-encodeurs clairsemés (Sparse Autoencoders ou SAE) pour décomposer les activations denses des transformeurs en caractéristiques (features) clairsemées et interprétables par l'humain. Cette approche permet l'identification et l'intervention causale sur des représentations internes spécifiques associées au raisonnement temporel.

1. Découverte de caractéristiques :

   • Les auteurs utilisent des données de marchés de prédiction (spécifiquement de Kalshi) comme vérité de terrain pour les attentes historiques.
   • Ils construisent des prompts avec des dates de « coupure de connaissances » spécifiques (ex: « Aujourd'hui est le {Date}... ») et demandent au modèle de prédire des résultats.
   • Ils identifient deux modes comportementaux contrastés :
     • Raisonnement conscient du temps (Time-Aware Reasoning) : Le modèle sélectionne le favori du marché disponible à la date de coupure.
     • Biais d'anticipation (Look-Ahead Bias - LAB) : Le modèle sélectionne le résultat final réalisé, impliquant un accès aux informations post-coupure.
   • En contrastant les taux d'activation des caractéristiques SAE entre ces deux modes, ils font émerger des caractéristiques candidates associées à chaque comportement.

2. Intervention causale (Pilotage/Steering) :

   • En utilisant la formule $\hat{x}_{steered} = W_{dec} (z + \alpha e_j) + b_{dec}$, les auteurs amplifient les activations de caractéristiques spécifiques ($z$) en ajoutant une magnitude de pilotage ($\alpha$) avant le décodage.
   • Cette intervention est appliquée pendant la génération pour tester si l'amplification d'une caractéristique déplace causalement le comportement du modèle.

3. Évaluation :

   • Contexte de découverte : Questions de marchés de prédiction (Kalshi).
   • Contexte de généralisation : Deux tâches de prévision en texte libre, hors domaine, où le biais d'anticipation est identifiable par le texte naturel plutôt que par des réponses à choix multiples fixes :
     • Prévisions de Fusions-Acquisitions (M&A) : Prédire les cibles d'acquisition un an avant l'annonce publique.
     • Prévisions Pharmaceutiques : Prédire les moteurs de croissance pour des entreprises spécifiques sur la base des informations disponibles jusqu'à une date précise.
   • Vérification de l'utilité : Les auteurs surveillent les performances sur MMLU-CoT et MMLU-Pro CoT pour s'assurer que le pilotage ne dégrade pas les capacités de raisonnement général.

Contributions clés et résultats

1. Identification de caractéristiques temporelles interprétables

L'étude identifie avec succès des caractéristiques SAE spécifiques qui corrèlent avec les comportements de raisonnement temporel.

• Caractéristiques de conscience temporelle : Des caractéristiques telles que L40:24283 (associée à « d'ici et avant ») et L53:9448 (associée à « années et dates ») ont été identifiées.
• Caractéristiques de biais d'anticipation (LAB) : Des caractéristiques telles que L31:2450 et L53:9987 ont été initialement identifiées comme candidates pour le LAB.

2. Réduction causale du biais d'anticipation

La conclusion principale est que l'amplification des caractéristiques de conscience temporelle réduit causalement le biais d'anticipation.

• Lorsque les caractéristiques comme L40:24283 (Gemma 3) ou L48:28961 (Qwen 3.5) étaient amplifiées, les modèles réduisaient significativement leur dépendance aux connaissances post-coupure dans les tâches de prévision M&A et pharmaceutique.
• Les modèles passaient de la citation d'événements futurs (ex: « Goldcorp a été acquise en 2019 ») à un raisonnement basé sur le paysage stratégique de la date du prompt (ex: « Kinross est une cible logique sur la base des données de 2018 »).
• Crucialement, cette réduction du biais s'est produite sans dégrader l'utilité générale, comme le démontre la stabilité des performances sur les benchmarks MMLU.

3. Asymétrie du pilotage de caractéristiques

Le papier rapporte une asymétrie notable dans l'efficacité du pilotage :

• L'amplification des caractéristiques de conscience temporelle supprime efficacement le LAB.
• L'amplification ou la suppression des caractéristiques candidates au biais d'anticipation n'a pas produit d'effet comparable. Les auteurs suggèrent que le LAB peut être un état par défaut du modèle lorsqu'il n'est pas activement contraint par des caractéristiques de conscience temporelle, plutôt qu'une caractéristique distincte qui peut être facilement « éteinte ».

4. Généralisation inter-tâches

Les caractéristiques identifiées via les données de marchés de prédiction se sont généralisées efficacement à des domaines entièrement différents (M&A et Pharma), démontant que ces représentations temporelles ne sont pas des artefacts de jeu de données mais des composantes fondamentales du processus de raisonnement du modèle.

Signification et affirmations

Le papier affirme faire progresser la compréhension de la prévision par les LLM en dépassant le traitement du biais d'anticipation comme une simple conséquence de la mémorisation. Au lieu de cela, il cadre le LAB comme une tendance comportementale interne qui peut être identifiée et modifiée causalement par le pilotage de caractéristiques.

• Interprétabilité : Le travail démontre que le raisonnement temporel est soutenu par des caractéristiques spécifiques et interprétables au sein de l'espace latent du modèle.
• Contrôle causal : Il fournit la preuve que ces caractéristiques peuvent être manipulées pour induire un raisonnement plus ancré historiquement, offrant un mécanisme potentiel pour améliorer la fiabilité des modèles de prévision.
• Limites et directions futures : Les auteurs sont modestes dans leurs affirmations, précisant que le pilotage de caractéristiques n'est pas une « solution autonome complète ». Ils notent que des interventions trop fortes finissent par dégrader la qualité du modèle. Ils proposent que la voie la plus prometteuse consiste à combiner un pilotage interne de force modérée avec d'autres méthodes, telles que le réglage fin supervisé (SFT), l'apprentissage par renforcement (RL) pour la conscience temporelle, les approches d'oubli (unlearning) et l'amélioration de la construction des prompts.

En résumé, l'article établit que des caractéristiques temporelles interprétables existent dans les LLM et que l'amplification de ces caractéristiques peut réduire causalement le biais d'anticipation, améliorant ainsi la généralisation des modèles de prévision aux observations futures.