Résumé technique : Repenser les recettes de post-entraînement pour la prévision de séries temporelles multimodales (POSTTIME)

Formulation du problème

Les modèles de fondation pour séries temporelles (TSFM) ont atteint des performances de pointe en prévision zero-shot sur des benchmarks unimodaux en exploitant d'immenses corpus de données numériques historiques. Cependant, la prévision dans le monde réel est rarement unimodale ; les trajectoires futures sont fréquemment façonnées par des facteurs exogènes non numériques tels que l'actualité en temps réel, les changements de politiques et les descriptions textuelles spécifiques à un domaine. Les TSFM sont structurellement contraints à des entrées numériques et ne peuvent pas consommer directement ce contexte multimodal.

Inversement, les grands modèles de langage (LLM) excellent dans le traitement de données multimodales complexes et l'exécution de raisonnements sophistiqués, mais il a été démontré qu'ils sous-performent les TSFM sur les tâches de prédiction numérique brute. Le défi central abordé dans ce travail consiste à unifier systématiquement la stabilité numérique des TSFM avec les capacités de raisonnement multimodal des LLM pour une prévision robuste. Les approches existantes tentent souvent de convertir les modalités temporelles ou d'entraîner des modèles à partir de zéro sur des corpus multimodaux, mais cet article propose un paradigme différent : entraîner en post-entraînement des LLM prêts à l'emploi pour agir comme des réviseurs guidés par le contexte sur de forts a priori numériques de TSFM.

Méthodologie : La recette POSTTIME

Les auteurs introduisent POSTTIME, une recette de post-entraînement en deux étapes conçue pour enseigner à un LLM à générer des interventions de prévision conditionnées par le contexte. La thèse centrale est que le LLM ne doit pas agir comme un prévisionniste autonome, mais plutôt comme un « réviseur » qui décide de préserver, d'ignorer ou de réviser une prévision de base générée par un TSFM (par exemple, TimesFM-2.5) en fonction du contexte multimodal.

1. Le rôle du LLM : Réviseur plutôt que prévisionniste

L'analyse empirique démontre que traiter le LLM comme un prévisionniste direct (en injectant l'historique et le contexte pour générer une prévision) donne des résultats sous-optimaux par rapport à l'utilisation du LLM comme réviseur (en injectant l'historique, le contexte et un a priori TSFM pour générer une prévision révisée). Le rôle de réviseur simplifie la tâche de raisonnement, permettant au LLM de se concentrer sur l'intégration d'informations textuelles et la réalisation d'ajustements calibrés tout en ancrant les prédictions sur le fort a priori numérique du TSFM.

2. Étape un : Affinement supervisé (SFT) avec des traces diversifiées

L'étape SFT vise à enseigner au LLM des stratégies de révision efficaces. Les auteurs identifient des choix de conception critiques qui distinguent POSTTIME des pratiques standard :

• Génération de traces de raisonnement : Au lieu d'utiliser l'horizon observé (vérité terrain) comme cible d'imitation — ce qui introduit un biais de rétrospection et est bruyant pour la prédiction future —, les auteurs utilisent un LLM de pointe (Gemini-3.1-Flash-Lite) pour générer des traces au moment de la prévision. Ces traces raisonnent sur le contexte sans voir le futur, produisant plusieurs chemins de raisonnement « valides » où la validité est définie par le fait que la prévision révisée améliore l'a priori TSFM.
• Échantillonnage des données et cas difficiles : Contrairement aux pratiques qui filtrent les échantillons « faciles », POSTTIME préserve les cas difficiles et ambigus. L'ensemble de données inclut des échantillons où le contexte est faible ou trompeur, obligeant le LLM à apprendre quand ne pas réviser (c'est-à-dire revenir à l'a priori TSFM). Cela est réalisé en générant cinq révisions indépendantes par échantillon et en conservant des traces couvrant le spectre complet des résultats : améliorations claires, interventions ambiguës et cas où l'a priori doit être préservé.
• Mécanisme de repli : Si aucune révision générée n'améliore l'a priori TSFM, une cible de repli est insérée où le LLM est entraîné à déclarer explicitement que le contexte ne justifie pas une révision et à émettre l'a priori original.

3. Étape deux : Apprentissage par renforcement avec récompenses vérifiables (RLVR)

L'étape RL affine la politique pour maximiser l'efficacité de la révision.

• Conception de la récompense : Les approches RL standard utilisent souvent la précision absolue de la prévision (par exemple, ExpMAE) comme récompense. Les auteurs soutiennent que cela est insuffisant pour un réviseur, car cela ne distingue pas une bonne révision d'un bon a priori. À la place, POSTTIME utilise une récompense de Ratio d'amélioration (ImpRatio), qui mesure l'amélioration relative de la prévision révisée par rapport à l'a priori TSFM de base.
• Avantages : Cette fonction de récompense fournit des signaux de préférence plus forts, réduit l'effondrement de la récompense (où plusieurs complétions reçoivent des scores similaires) et encourage le modèle à apprendre quand une révision est réellement bénéfique par rapport au moment où elle est préjudiciable.

Contributions clés

1. Changement de paradigme : L'article plaide pour et valide un paradigme de « réviseur guidé par le contexte » par rapport à la prévision multimodale directe, montrant que les LLM sont mieux positionnés pour intervenir sur de forts a priori TSFM plutôt que pour générer des prévisions à partir de zéro.
2. Recette POSTTIME : Un cadre de post-entraînement novateur combinant un SFT avec des traces de raisonnement diversifiées au moment de la prévision et un RL avec des récompenses basées sur l'amélioration.
3. Construction automatisée des données : Une méthodologie pour générer des traces de raisonnement et des exemples de repli de haute qualité et automatisés sans annotation humaine, gérant efficacement le spectre de l'utilité de la révision (des cas faciles aux cas impossibles).
4. Innovation en matière de récompense : L'introduction de la fonction de récompense ImpRatio, qui aligne l'objectif du RL sur le but spécifique d'améliorer un a priori plutôt que d'atteindre une précision absolue.

Résultats expérimentaux

Les auteurs ont évalué POSTTIME sur le benchmark de prévision multimodale TimesX en utilisant Gemma-3-4B comme LLM et TimesFM-2.5 comme a priori TSFM.

• Performance : Le modèle POSTTIME (SFT + RL) surpasse nettement les TSFM autonomes, les bases de référence LLM uniquement, la révision zero-shot LLM+TSFM et les modèles de prévision multimodaux existants (y compris TimeOmni, Aurora et ChatTS).
  • Sur l'ensemble de test In-Domain (ID), POSTTIME a amélioré le nMAE de TimesFM-2.5 de 6,38 % et le nMSE de 12,43 %.
  • Sur l'ensemble de test Out-of-Domain (OOD), il a amélioré le nMAE de 3,93 % et le nMSE de 11,24 %.
• Études d'ablation :
  • Réviseur vs Prévisionniste : La révision d'un a priori TSFM a systématiquement surpassé la prévision directe sur 8 LLM différents.
  • Diversité des traces : L'inclusion de traces de raisonnement diversifiées et de cas difficiles (replis) était cruciale ; le filtrage pour ne garder que les cas « faciles » dégradait les performances de la queue (métriques p99).
  • Conception de la récompense : La récompense ImpRatio a considérablement réduit l'effondrement de la récompense par rapport aux récompenses ExpMAE standard, conduisant à une optimisation de politique plus stable et efficace.
  • Généralisation : La recette s'est révélée robuste lorsqu'appliquée à différents LLM de base (par exemple, Qwen3-4B) et différents générateurs de traces.

Importance et affirmations

L'article affirme que POSTTIME fournit une recette évolutive et efficace pour combler le fossé entre les TSFM numériques et les LLM multimodaux. En redéfinissant le rôle du LLM comme réviseur guidé par le contexte et en optimisant le processus de post-entraînement avec des stratégies spécifiques de construction de données et de récompense, l'approche atteint une précision de prévision multimodale supérieure sans nécessiter d'entraînement à partir de zéro.

Les auteurs soulignent que leur méthode enseigne au LLM à être « calibré » — sachant non seulement comment réviser, mais aussi quand préserver l'a priori numérique lorsque le contexte est insuffisant. Cette capacité est cruciale pour un déploiement robuste dans le monde réel où le contexte textuel peut être bruyant ou non pertinent. Le travail suggère que pour les tâches de séries temporelles multimodales, le mécanisme d'interaction le plus efficace pourrait ne pas être la fusion des modalités à l'entrée ou à la sortie d'un modèle unique, mais plutôt l'utilisation d'un LLM pour évaluer de manière critique et intervenir sur les sorties de modèles numériques spécialisés.