技術要約: ForecastCompass (FOCO)

問題提起

エージェンティックな予測（Agentic forecasting）とは、大規模言語モデル（LLM）エージェントが、不完全かつ時間的に限定された証拠を用いて、将来の事象に関する較正された確率的予測を行うことを指す。LLMエージェントは情報の探索や推論には長けているが、動的な予測環境においては重大な課題に直面する。具体的には、エージェントは進化し続ける証拠から推論を行い、結果が判明する前に較正された確率を生成しなければならない。

既存のエージェント用メモリメカニズムは、主に質問回答や問題解決タスク向けに設計されている。これらの手法は通常、過去のインタラクション、内省、または事実的な関連性を保存するものである。しかし、これらは予測には適していない。なぜなら、**再利用可能な予測因子（reusable predictive factors）や較正知識（calibration knowledge）**を明示的に表現できていないからである。汎用的なメモリは、あるアプリが「強力なブランド認知度」を持っていることを保存できるかもしれないが、その静的なシグナルが短期的な順位変動に有益なものなのか、あるいは信頼度を下げるべき誤導的なシグナルとして扱うべきものなのかを区別できない。予測には、単に過去の回答やイベントレベルの軌跡を検索するのではなく、予測因子を抽象化し、誤導的なシグナルをフィルタリングし、結果が判明する前に不確実性を較正できるメモリが必要である。

手法: ForecastCompass (FOCO)

著者らは、エージェンティックな予測のために特別に設計された、適応型ファクターベース・メモリフレームワークである**ForecastCompass (FOCO)**を提案する。FOCOは、予測経験を階層構造へと整理し、遡及的分析を学習シグナルとして用いて時系列に従って更新を行う。

1. 階層的予測メモリ表現

FOCOは、カテゴリと詳細なサブカテゴリからなる予測タクソノミーを用いてメモリを整理する。各サブカテゴリ $s$ について、システムは2つの補完的なコンポーネントからなる言語的メモリ状態 $M_s = (F_s, R_s)$ を保持する：

• ファクターメモリ ($F_s$): 再利用可能な予測次元を記述するエントリの集合。各エントリには、ファクター名、具体的な証拠チェック、一般的な失敗モード、およびそのファクターが予測確率に与える典型的な影響が含まれる。これにより、エージェントは関連する証拠を特定し、誤導的なパターンを回避できるよう導かれる。
• 推論メモリ ($R_s$): 較正に特化した原理のコレクション。このコンポーネントは、異なる証拠条件下でどのように確信度を調整すべきかをエンコードしており、不確実性、相反するシグナル、および不完全な情報を処理する。これは、単なるファクターの選択ではなく、確率推定をガイドするものである。

2. メモリ増強推論

推論時には、未解決の問いは特定のサブカテゴリに分類される。エージェントは、プロセスを導くために対応する $F_s$ と $R_s$ を検索する：

• ファクターメモリは、予測シグナルを強調し、誤導的なパターンに対して警告を発することで、証拠探索とファクター選択を指示する。
• 推論メモリは、証拠の強さを確率的予測へと変換するための較正原理を提供し、過信や過小評価の管理を支援する。

3. 対照学習による反復的メモリ改訂

FOCOは、解決済みの予測タスクを用いて時系列に従ってメモリを更新する。更新プロセスには、**診断・集約・改訂（diagnose–aggregate–revise）**の手順が含まれる：

1. 遡及的軌跡の生成: 問いが解決された後、エージェントは解決後の証拠を用いて遡及的軌跡 ($z^{retro}$) を生成する。これが「グラウンドトゥルース（正解）」としての学習シグナルとなる。
2. 対照的診断: システムは、元の予測軌跡 ($z$) と遡及的軌跡 ($z^{retro}$) を対照させ、不一致 ($\Delta$) を特定する。
   • $\Delta^F$: ファクターレベルの不一致（例：欠落しているファクター、過剰に使用された誤導的シグナル）。
   • $\Delta^R$: 推論レベルの不一致（例：較正の誤り、不適切な確率更新）。
3. 集約と改訂: システムは、これら複数のイベントにおける不一致をサブカテゴリ内で集約し、イベント固有の後知恵（ノイズ）をフィルタリングして、繰り返されるパターンを特定する。その後、イベント固有の結果や日付を除外しつつ、転移可能な予測因子と較正原理を組み込むように言語的メモリのエントリを改訂する。

主な貢献

1. ファクター中心のメモリ定式化: 本論文は、イベントレベルの軌跡や汎用的な内省とは異なり、サブカテゴリレベルの予測因子と較正指向の推論パターンに基づいて構成されたメモリアーキテクチャを導入した。
2. 言語化されたファクターメモリの改訂: 遡及的分析を学習シグナルとして扱う反復的手順を開発した。このプロセスは、予測と結果の間の不一致を診断し、それらを集約して繰り返されるパターンを見出し、イベント固有の後知恵を排除しながら、転移可能な抽象概念へとメモリを改訂する。
3. 実証的検証: フレームワークは、GPT-5-miniおよびGemini-2.5-Flashを用い、動的予測ベンチマーク（Prophet ArenaおよびFutureX）において評価された。

実験結果

実験により、FOCOが様々なベースラインと比較して、確率的精度と較正の両方を改善することが示された：

• パフォーマンス: FOCOは、両方のデータセットおよびバックボーンモデルにおいて、一貫して最も低い平均ブライアスコア（Brier scores）と期待較正誤差（ECE）を達成した。これは、非メモリベースライン（BASE）、静的メモリバリアント（FOCO Static）、および汎用エージェントメモリベースライン（MEM0, REFLEXION, A-MEM, GRAPHITI）を凌駕している。
• 反復的改善: 完全なFOCOフレームワークは静的バージョンよりも優れた性能を示し、週単位のメモリ改訂が、新しい結果が利用可能になるにつれて予測因子と推論パターンを効果的に洗練させていることを示している。
• 転移可能性:
  • 時間軸にわたる転移: 前週に構築されたメモリは、後の週の予測性能を向上させており、学習されたファクターと較正原理がトピックの進化に伴っても関連性を保っていることを示している。
  • モデルをまたぐ転移: あるモデル（例：Gemini-2.5-Flash）で構築されたメモリが、別のバックボーン（例：GPT-5-mini）の性能を向上させることに成功しており、捉えられた知識が特定のモデルアーキテクチャに過学習していないことを示唆している。
• メモリの質: LLM-as-a-Judgeによる評価では、FOCOのメモリは他のメモリ手法と比較して、汎用性、新規性、完全性、正確性、および実行可能性において高いスコアを獲得しており、イベントの詳細ではなく、再利用可能な予測知識を捉えていることが確認された。

意義と主張

本論文は、効果的な予測メモリは、単に過去のインタラクションや回答を保存することを超えなければならないと主張している。代わりに、証拠が非構造的で進化し続けるオープンワールドの設定において、エージェントを導く再利用可能な予測因子と較正原理を抽象化しなければならない。

FOCOは、予測シグナルと推論パターンを明示的に分離し、対照的な遡及分析を用いてこれらの抽象化を反復的に洗練させることで、既存のエージェントメモリ設計のギャップに対処している。結果は、メモリをファクターレベルの知識と較正ルールに基づいて構成することで、エージェントが転移可能な予測専門知識を蓄積し、動的な環境においてより正確で、より良く較正された確率的予測を行うことが可能になることを示唆している。本研究は、単に過去のエージェント体験を検索するだけでは不十分であり、メモリ構造自体が不確実性下での確率的予測という特定の要求に合わせて調整される必要があることを強調している。