Résumé Technique : De l'actualité longue aux prévisions précises

Problématique

L'incorporation de preuves textuelles externes, particulièrement les actualités, dans la prévision de séries temporelles est une approche prometteuse pour capturer des événements exogènes abrupts (ex. : changements de politiques, annonces de marché) que les seules données numériques historiques ne peuvent refléter. Cependant, les pipelines existants basés sur les grands modèles de langage (LLM) font face à deux limitations critiques en conditions réelles :

1. Contraintes de la fenêtre de contexte : Les articles d'actualité pertinents (ex. : transcriptions de résultats financiers, briefings de politiques) dépassent souvent les limites de contexte des modèles de prévision. Une troncature naïve élimine des détails causaux, tandis que les méthodes de résumé génériques ne sont pas optimisées pour préserver l'information spécifiquement utile à la prévision.
2. Raffinement itératif non supervisé : Les pipelines itératifs actuels reposent souvent sur une récupération supplémentaire « aveugle ». Lorsqu'un signal de réflexion indique une information manquante, la récupération suivante est généralement acceptée sans contrôle de qualité. Cela entraîne des mises à jour redondantes, une sensibilité au bruit et une convergence lente.

Méthodologie

Les auteurs proposent un nouveau cadre qui sépare le raffinement hors ligne (où la vérité terrain est disponible) du déploiement en ligne (inférence). Le système se compose de quatre composants principaux : un noyau de prévision LLM, un agent de raisonnement, un module de fusion sensible à l'importance et un Modèle de Récompense de Processus (PRM).

1. Fusion sensible à l'importance (Entraînement hors ligne et Inférence en ligne)

Pour traiter les documents longs, le cadre introduit un module qui compresse les actualités en fonction de l'utilité de prévision estimée plutôt que de l'importance générique.

• Modèle de Récompense ($R_\theta$) : Un modèle de récompense est entraîné pour estimer un score d'importance $\rho \in [0, 1]$ pour chaque article. Le signal de supervision est dérivé en comparant l'RMSE de prévision lorsqu'un article est compressé de manière agressive par rapport à une compression légère.
• Fusion séquentielle par paires : Les articles sont traités séquentiellement. Le ratio de rétention pour chaque article est déterminé par une fonction monotone de son score d'importance. Cela garantit que les articles à haute utilité conservent plus d'informations dans un budget de contexte fixe, tandis que le contenu de faible utilité est compressé plus agressivement.
• Déploiement : Lors de l'inférence, le modèle de récompense entraîné et la logique de fusion sont gelés et appliqués de manière déterministe sans recherche itérative.

2. Sélection d'actualités supplémentaires guidée par le PRM (Raffinement hors ligne uniquement)

Pour remédier à la récupération incontrôlée, le cadre remplace les mises à jour aveugles par un mécanisme de classement contrôlé par la qualité.

• Modèle de Récompense de Processus (PRM) : Un PRM est entraîné pour classer plusieurs articles candidats en fonction de leur contribution attendue à la réduction de l'erreur. Le modèle prend en entrée le contexte actuel de la tâche, l'historique des articles précédemment sélectionnés et l'article candidat lui-même.
• Trajectoire d'entraînement : Le PRM est entraîné sur des trajectoires hors ligne où le « gain » ($\Delta_t$) de l'ajout d'un candidat est mesuré par la réduction de l'RMSE de validation. Le modèle apprend à prédire la probabilité qu'un candidat soit bénéfique ($P(\text{bénéfique} | \dots)$).
• Boucle de raffinement : Lors de l'entraînement hors ligne, un agent de raisonnement génère une réflexion sur les informations manquantes, récupère un ensemble de candidats, et le PRM sélectionne l'article ayant le score le plus élevé pour mettre à jour l'ensemble des actualités et affiner la logique de filtrage persistante de l'agent.
• Déploiement : Crucialement, aucune boucle de réflexion ou score de PRM ne se produit lors de l'inférence en ligne. Le système utilise la logique de filtrage raffinée et les modules de compression gelés pour récupérer et traiter les actualités en une seule passe directe (forward pass).

Contributions clés

L'article résume ses contributions comme suit :

• Formulation : Il formule la prévision augmentée par les actualités comme un pipeline raffiné hors ligne qui traite explicitement la compression de documents longs et la récupération supplémentaire incontrôlée.
• Fusion sensible à l'importance : Il propose un module qui apprend les utilités d'articles orientées vers la prévision pour adapter les taux de compression lors de la fusion séquentielle par paires, permettant l'incorporation d'actualités longues sous des budgets de contexte limités.
• Raffinement guidé par le PRM : Il introduit une stratégie de sélection d'actualités supplémentaires qui remplace la récupération en une seule étape par un classement de candidats basé sur une supervision au niveau du processus issue de trajectoires pilotées par l'erreur.

Résultats expérimentaux

La méthode a été évaluée sur quatre domaines : Électricité, Bitcoin, Trafic et Change (Exchange).

• Précision de la prévision : La méthode proposée a obtenu la meilleure RMSE sur les quatre domaines.
  • Bitcoin : A atteint une RMSE de 886,58, soit une amélioration de 23,3 % par rapport au deuxième meilleur baseline (LightGBM à 1156,65).
  • Change : A atteint une RMSE de 5,86, surpassant le plus fort baseline (LightGBM à 7,09) de 17,3 %.
  • Électricité et Trafic : Ont montré des améliorations marginales, que les auteurs attribuent à la forte périodicité et régularité de ces domaines, les rendant moins sensibles aux événements d'actualité externes par rapport aux marchés financiers.
• Efficacité de la convergence : La sélection guidée par le PRM a considérablement réduit le nombre d'itérations de raffinement nécessaires pour atteindre la précision cible par rapport à la sélection naïve.
  • Réduction moyenne : 24,8 % d'étapes en moins sur tous les domaines.
  • Bitcoin : L'amélioration la plus significative, avec une réduction de 37,6 % des étapes de convergence.
• Études d'ablation :
  • Supprimer les actualités externes (« w/o News ») a provoqué une dégradation significative des performances, confirmant la valeur des signaux exogènes.
  • Supprimer le modèle de récompense (« w/o Reward Model ») a également dégradé les performances, démontrant qu'une compression non guidée introduit du bruit et écarte des signaux prédictifs clés.

Signification et affirmations

L'article affirme que son cadre comble efficacement le fossé entre le besoin d'un contexte externe riche et les contraintes des fenêtres de contexte des LLM. En découplant la recherche et la supervision coûteuses (hors ligne) du déploiement (en ligne), le système atteint une haute précision sans la surcharge computationnelle de la réflexion itérative lors de l'inférence.

Les auteurs soulignent que leur approche est particulièrement efficace pour les domaines où les événements exogènes pilotent la dynamique (ex. : finance), tout en reconnaissant que pour les domaines hautement périodiques (ex. : trafic), les gains marginaux sont moindres. Ce travail se positionne comme une solution au « goulot d'étranglement » de la prévision augmentée par les actualités, traitant spécifiquement le compromis entre l'efficacité du contexte et la pertinence de la tâche, ainsi que le risque de mises à jour itératives bruyantes. Des travaux futurs sont proposés pour étendre le cadre aux données multimodales et à des ensembles d'actualités plus vastes.