Résumé Technique : ForecastCompass (FOCO)

Problématique

La prévision agentique implique des agents de modèles de langage étendu (LLM) qui formulent des prédictions probabilistes calibrées sur des événements futurs en utilisant des preuves incomplètes et à temps limité. Bien que les agents LLM excellent dans la recherche d'informations et le raisonnement, ils sont confrontés à des défis importants dans les environnements de prévision dynamiques. Plus précisément, les agents doivent raisonner à partir de preuves évolutives et produire des probabilités calibrées avant que les résultats ne soient résolus.

Les mécanismes de mémoire existants pour les agents LLM sont principalement conçus pour des tâches de questions-réponses ou de résolution de problèmes. Ces méthodes stockent généralement des interactions passées, des réflexions ou des associations factuelles. Cependant, elles sont mal adaptées à la prévision car elles ne parviennent pas à représenter explicitement des facteurs prédictifs réutilisables ou des connaissances de calibration. Une mémoire générique peut stocker qu'une application possède une « forte reconnaissance de marque », mais elle ne parvient pas à distinguer si ce signal statique est informatif pour des changements de classement à court terme ou s'il doit être traité comme un signal trompeur nécessitant une confiance moindre. La prévision nécessite une mémoire capable d'abstraire les facteurs prédictifs, de filtrer les signaux trompeurs et de calibrer l'incertitude avant que les issues ne soient connues, plutôt que de simplement récupérer des réponses passées ou des trajectoires au niveau de l'événement.

Méthodologie : ForecastCompass (FOCO)

Les auteurs proposent ForecastCompass (FOCO), un cadre de mémoire adaptatif basé sur des facteurs, conçu spécifiquement pour la prévision agentique. FOCO organise l'expérience de prévision selon une structure hiérarchique et la met à jour de manière chronologique en utilisant des analyses rétrospectives comme signaux d'apprentissage.

1. Représentation de la mémoire de prévision hiérarchique

FOCO organise la mémoire en utilisant une taxonomie de prévision composée de catégories et de sous-catégories fines. Pour chaque sous-catégorie $s$, le système maintient un état de mémoire verbale $M_s = (F_s, R_s)$ comprenant deux composantes complémentaires :

• Mémoire de Facteurs ($F_s$) : Un ensemble d'entrées décrivant des dimensions prédictives réutilisables. Chaque entrée inclut le nom du facteur, des vérifications de preuves spécifiques, des modes de défaillance courants et l'effet typique du facteur sur les probabilités de prévision. Cela guide l'agent dans l'identification des preuves pertinentes et l'évitement de schémas trompeurs.
• Mémoire de Raisonnement ($R_s$) : Une collection de principes orientés vers la calibration. Cette composante encode la manière dont la confiance doit être ajustée sous différentes conditions de preuve, gérant l'incertitude, les signaux conflictuels et les informations incomplètes. Elle guide l'estimation de probabilité plutôt que la simple sélection de facteurs.

2. Inférence augmentée par la mémoire

Lors de l'inférence, une question non résolue est classée dans une sous-catégorie spécifique. L'agent récupère la $F_s$ et la $R_s$ correspondantes pour guider son processus :

• La Mémoire de Facteurs dirige la recherche de preuves et la sélection de facteurs, en mettant l'accent sur les signaux prédictifs et en mettant en garde contre les schémas trompeurs.
• La Mémoire de Raisonnement fournit des principes de calibration pour traduire la force des preuves en prévisions probabilistes, aidant à gérer la surconfiance ou la sous-confiance.

3. Révision itérative de la mémoire via l'apprentissage contrastif

FOCO met à jour sa mémoire de manière chronologique en utilisant des tâches de prévision résolues. Le processus de mise à jour implique une procédure de diagnostic–agrégation–révision :

1. Génération de trajectoire rétrospective : Une fois qu'une question est résolue, l'agent génère une trajectoire rétrospective ($z^{retro}$) en utilisant les preuves post-résolution. Cela sert de signal d'apprentissage de type « vérité terrain ».
2. Diagnostic contrastif : Le système confronte la trajectoire de prévision originale ($z$) avec la trajectoire rétrospective ($z^{retro}$) pour identifier les écarts ($\Delta$).
   • $\Delta^F$ : Écarts au niveau des facteurs (ex: facteurs manquants, signaux trompeurs surutilisés).
   • $\Delta^R$ : Écarts au niveau du raisonnement (ex: mauvaise calibration, mises à jour de probabilité incorrectes).
3. Agrégation et Révision : Le système agrège ces écarts à travers plusieurs événements au sein d'une sous-catégorie pour filtrer le recul spécifique à l'événement (bruit) et identifier les schémas récurrents. Il révise ensuite les entrées de mémoire verbale pour incorporer ces facteurs prédictifs transférables et ces principes de calibration, en évitant explicitement le stockage des résultats ou des dates spécifiques aux événements.

Contributions Clés

1. Formulation de mémoire centrée sur les facteurs : Le papier introduit une architecture de mémoire organisée autour de facteurs prédictifs au niveau des sous-catégories et de schémas de raisonnement orientés vers la calibration, se distinguant des trajectoires au niveau de l'événement ou des réflexions génériques.
2. Révision de la mémoire de facteurs verbalisée : Les auteurs développent une procédure itérative qui traite les analyses rétrospectives comme des signaux d'apprentissage. Ce processus diagnostique les écarts entre les prévisions et les résultats, agrège ces écarts pour trouver des schémas récurrents, et révise la mémoire en abstractions transférables tout en excluant le recul spécifique aux événements.
3. Validation empirique : Le cadre est évalué sur des benchmarks de prévision dynamique (Prophet Arena et FutureX) en utilisant GPT-5-mini et Gemini-2.5-Flash.

Résultats Expérimentaux

Les expériences démontrent que FOCO améliore à la fois la précision probabiliste et la calibration par rapport à diverses lignes de base :

• Performance : FOCO obtient systématiquement les scores de Brier moyens et l'erreur de calibration attendue (ECE) les plus bas sur les deux ensembles de données et les deux modèles de base. Il surpasse les bases sans mémoire (BASE), les variantes de mémoire statique (FOCO Static) et les bases de mémoire d'agent général (MEM0, REFLEXION, A-MEM, GRAPHITI).
• Amélioration itérative : Le cadre complet FOCO surpasse la version statique, indiquant que la révision hebdomadaire de la mémoire affine efficacement les facteurs prédictifs et les schémas de raisonnement à mesure que de nouveaux résultats deviennent disponibles.
• Transférabilité :
  • À travers le temps : La mémoire construite à partir des semaines précédentes améliore la performance de prévision des semaines suivantes, démontrant que les facteurs appris et les principes de calibration restent pertinents à mesure que les sujets évoluent.
  • Entre modèles : La mémoire construite avec un modèle (ex: Gemini-2.5-Flash) améliore avec succès la performance d'un autre modèle de base (ex: GPT-5-mini), suggérant que les connaissances capturées ne sont pas sur-ajustées à une architecture de modèle spécifique.
• Qualité de la mémoire : Une évaluation par « LLM-as-a-Judge » montre que la mémoire de FOCO obtient des scores plus élevés en généralisabilité, nouveauté, complétude, précision et actionnabilité par rapport aux autres méthodes de mémoire, confirmant qu'elle capture des connaissances de prévision réutilisables plutôt que des détails d'événements spécifiques.

Signification et Revendications

Le papier affirme qu'une mémoire de prévision efficace doit aller au-delà du stockage des interactions ou des réponses passées. Elle doit plutôt abstraire des facteurs prédictifs réutilisables et des principes de calibration qui guident les agents dans des contextes de monde ouvert où les preuves sont non structurées et évolutives.

FOCO comble la lacune des conceptions de mémoire d'agents existantes en séparant explicitement les signaux prédictifs des schémas de raisonnement et en utilisant l'analyse rétrospective contrastive pour affiner itérativement ces abstractions. Les résultats suggèrent qu'organiser la mémoire autour des connaissances de niveau facteur et des règles de calibration permet aux agents d'accumuler une expertise de prévision transférable au fil du temps, menant à des prédictions probabilistes plus précises et mieux calibrées dans des environnements dynamiques. Ce travail souligne que la simple récupération des expériences passées de l'agent est insuffisante ; la structure même de la mémoire doit être adaptée aux demandes spécifiques de la prévision probabiliste sous incertitude.