技術要約：多変量時系列におけるメモリメカニズム

問題提起

多変量時系列（MTS）予測モデルは、レジーム変化、コンセプトドリフト、および変数間の相関関係の進化といった非定常な環境下で動作する。現代のディープラーニングモデル（Transformer、状態空間モデル、基盤モデルなど）は、パラメータ、隠れ状態、またはアテンションパターンを通じて歴史的なダイナミクスを暗黙的に保持しているが、以下の3つの構造的な限界に直面している：

1. 容量の絡み合い（Capacity Entanglement）: メモリ容量がモデルサイズに紐付いており、拡張には再学習が必要となる。
2. 検査可能性（Inspectability）: 蓄積された経験を、学習後に検査、編集、または検証することが困難である。
3. デプロイ後の硬直性（Post-Deployment Rigidity）: 新しいレジームへの適応が、原理的なメモリ更新ではなく、場当たり的な正規化やフル再学習に依存することが多い。

既存の文献では、「メモリ」という言葉を、暗黙的なコンテキストモデリング（例：アテンションウィンドウ）と明示的なメモリシステムと混同するなど、緩やかに扱っている。情報をどこに保持し、どのようにアクセスし、どのように時間の経過とともに進化させるかを区別するための統一されたフレームワークが欠如している。

手法：メモリメカニズム・フレームワーク

著者らは、MTS予測文献をメモリメカニズムに基づいて整理するための正式な定義と3部構成のタクソノミを提案している。メモリメカニズムとは、予測を条件付け、適応させ、または検証するために、瞬時的な入力変換を超えて情報を保持する識別可能なコンポーネントとして定義される。

このフレームワークは、式(1)によって形式化される：
$$\hat{Y}_{t+1:t+H} = F_\theta(X_{t-L+1:t}, z_t)$$
$$z_t = \rho_\phi(q(X_{t-L+1:t}), M_t)$$
$$M_{t+1} = U_\psi(M_t, X_{t-L+1:t}, \hat{Y}_{t+1:t+H}, e_t)$$

ここで、$M_t$ は保持されたメモリ状態、$q$ はクエリ構築、$\rho_\phi$ はアクセス関数、$U_\psi$ は更新関数である。これに基づき、本サーベイはメカニズムを以下の3つの柱に分類している：

1. アーキテクチャ・レベルのメカニズム（表現）

これらは、外部からの検索を行わずに、モデルの計算内においてどこに情報が格納されるかを定義する。

• 暗黙的なパラメータ／状態メモリ: 情報は学習されたパラメータ、隠れ状態（RNN、xLSTMなどの状態空間モデル、Neural ODE）、またはパッチ埋め込み（PatchTST）へと圧縮される。
• 構造化／プロトタイプ・メモリ: 相関関係の情報が、明示的な行列、グラフ（FourierGNN）、周波数演算子、または相関構造の中に格納される。
• 基盤モデル／LLM コンテキスト・メモリ: 広範な時間的事前知識が、外部データベースへの保存ではなく、アダプター、プロンプト、または蒸留を通じて、学習済みモデル（TSFMs、LLMs）から継承される。
• 境界ルール: これらは、手法が明示的に永続的な外部ストアから読み込まない限り、アーキテクチャに分類される。

2. 検索メカニズム（アクセス）

これらは、モデルパラメータ（$\Theta$）とは異なる、永続的な外部ストア（$M$）からどのように情報を読み出すかを定義する。

• 時間的エグゼンプラー・ストア: 類似性に基づいた履歴時系列セグメントの検索（例：Nearest-Neighbor、TimeRAF）。
• RAGスタイルのヘテロジニアスな検索: 時系列データと共に、テキスト、メタデータ、イベント、または金融文書を検索する（例：TS-RAG）。
• 連合的検索およびルーティング: ホップフィールドネットワークや学習されたゲートを使用して、プロトタイプを検索したり、特定のアダプターへクエリをルーティングしたりする（例：STanHop、CABLE）。
• 境界ルール: 手法が「検索」として分類されるのは、以下の条件を満たす場合のみである：(i) $M \cap \Theta = \emptyset$（外部ストアである）、(ii) 予測が検索された内容に機能的に依存している、(iii) ストアが推論ステップを超えて持続する。

3. 進化メカニズム（更新）

これらは、ドリフトに対処するために、デプロイ後にメモリがどのように変化するか（書き込み、リフレッシュ、統合、忘却操作）を定義する。

• 書き込みと統合: 再生バッファ、スロー・ファスト適応パスウェイ、または正則化を用いて、可塑性と安定性のバランスを取る（例：CoSFan、Learning Fast and Slow）。
• ドリフト下でのリフレッシュ: フル再学習を行うことなく、内部統計、演算子、またはルーティングの選択を更新する（例：動的正規化、Koopmanベースの分解）。
• 忘却と保持: 再利用可能な季節パターンを保持しつつ、時代遅れのレジームや汚染されたエントリーを意図的に削除する。これは基盤モデルにおいて特に重要である。

主な貢献

1. 正式な定義: 本論文は、標準的なアテンションやコンテキストモデリングと区別される、MTS予測のためのメモリメカニズムの厳密な定義を確立した。
2. タクソノミと境界ルール: 明示的なメモリシステムと暗黙的なアーキテクチャの特徴を分離するための具体的な基準を用いて、3部構成（アーキテクチャ、検索、進化）の整理を導入した。
3. レビュー・プロトコル: 論文が識別可能なメモリコンポーネントを露出しているかどうかに基づいて分類するためのスクリーニング・プロトコルを提供し、「フレーミングの証拠」（ベンチマークやサーベイ）と実際のメカニズムの主張を分離した。
4. 課題からロードマップへの統合: 単なる文献レビューを超え、開かれた課題を具体的な設計の方向性へとマッピングした。

結果と統合

本サーベイは、新しい実験的ベンチマークや定量的な性能比較を提示するものではない。その「結果」は、この分野の合成されたランドスケープである：

• 分野における非対称性: アーキテクチャ・レベルのメカニズムは遍在しており成熟しているが、明示的な検索メカニズムやデプロイ後の進化メカニズムは、一貫した指定が少ない。
• インターフェースのギャップ: 現在の検索システムは、「時間的モダリティ・ギャップ」（連続的なマルチチャネル・クエリと記号的なRAGの仮定との不一致）および「レイテンシと有用性のトレードオフ」に苦慮している。
• 評価の欠如: 標準的な指標（MAE、MSE）では、メモリ固有の挙動を分離できない。本論文は、古いメモリ、メモリ汚染、更新の遅延、およびチャネル構造の変化に対するストレス・テストを含む、新しい評価プロトコル（表4）を提案している。

重要性と主張

本論文の主な価値は、焦点の対象を「どのバックボンド・モデルが最適か」から、「保持された情報がいかに表現され、アクセスされ、更新されるか」へとシフトさせることにある。

• 監査可能なメモリ: 著者らは、将来の進歩はメモリメカニズムを監査可能にすることにかかっていると主張している。システムは、読み取り、書き込み、リフレッシュ、およびメモリの削除のためのインターフェースを公開すべきであり、これにより実務家が「なぜその予測が行われたのか」「どのような歴史的証拠が影響を与えたのか」を検証できるようにする必要がある。
• 性能を超えて: その重要性は、堅牢性、安全性、および解釈可能性に対処することにある。メモリを、訓練の不透明な副産物としてではなく、制御可能なシステムコンポーネントとして扱うことで、分野はコンセプトドリフトをより適切に扱い、基盤モデルにおけるハルシネーションを防ぎ、メモリ汚染を軽減することができる。
• 研究ロードマップ: 本論文は、検証、鮮度スコアリング、および明示的な削除ポリシーを含む「監査可能なメモリメカニズム」の開発に向けたロードマップを提示しており、MTS予測の分野を、より信頼性が高くメンテナンス可能なシステムへと導こうとしている。