テクニカル・サマリー：Timeflies – 存在は価値に先行する

1. 問題提起

実世界の時系列予測は、センサーの休止、伝送遅延、イベント駆動型のサンプリングによって引き起こされる、高度な不完全性と不規則性に頻繁に阻まれます。既存の手法は、硬直的な「補完してから予測する」パイプラインから、履歴の不規則性をより適切に扱う連続時間モデル（Neural ODEsや連続時間グラフネットワークなど）へと進化してきましたが、これらは決定的な限界を抱えています。それは**完全な予見仮定（perfect foresight assumption）**です。

現在の最先端モデルは、推論時に将来の有効な観測値のタイムスタンプが事前に既知であることを前提としています。しかし、実際のシステムにおいては、特定の将来の瞬間に有効な観測が行われるかどうかは不明な場合が多いのです。存在を確認する前に数値的な値を予測することは、意思決定プロセスが情報の観測可能性に依存している以上、しばしば非現実的です。本論文は、欠損を単なる静的なデータの欠陥として補完すべき対象としてではなく、システムの行動パターンを反映する深い時間的信号として扱うべきであると主張しています。

2. メソドロジー：Timeflies フレームワーク

これに対処するため、著者らは、将来の観測可能性の推論（observability inference）と値の推定（value estimation）の結合問題として時系列予測を再定式化する、統一された予測フレームワークであるTimefliesを提案します。その核心となる哲学は「存在は価値に先行する（Existence Precedes Value）」です。すなわち、数値的な予測は、その観測が実際に実現される場合にのみ意味を持ちます。

アーキテクチャの概要

Timefliesは、**観測ストリーム（Observation Stream）と値ストリーム（Value Stream）**からなる対称的なデュアルストリーム・アーキテクチャを採用し、これらを3つの相乗的なモジュールによって結合しています。

1. 信頼性考慮型パッチ埋め込み（Reliability-Aware Patch Embedding）:

   • 入力シーケンスはパッチに分割されます。
     物
   • 値のシーケンスには**マスク考慮型正規化（Mask-Aware Normalization）**が適用され、欠損値による歪みを防ぐために、観測されたエントリのみに基づいて統計量を計算します。
   • 観測ストリームは、ゲート融合メカニズムを用いて、欠損位置と間隔をエンコードします。
   • 各パッチ内の観測比率と欠損間隔の期間に基づき、**パッチ信頼性スコア（$\rho$）**が計算されます。このスコアは、観測パターンの値の埋め込みへの注入を調整し、疎でノイズの多いパッチからの寄与を減衰させ、信頼性の高いパッチを強化します。

2. 観測ガイド型値アテンション（Observation-Guided Value Attention）:

   • 両方のストリームは、長距離の依存関係を捉えるために自己アテンションを利用します。
   • 極めて重要な点として、観測ストリームは孤立して動作するのではなく、**クロス・トラック条件付きアテンション（Cross-track Conditioned Attention）**メカニズムを介して値のストリームをガイドします。
   • アテンションマップは、値のストリームのセマンティックな相関、観測ストリームの構造的な相関、および信頼性で重み付けされた項の融合体です。これにより、信頼性の低い疎なキーから注意を逸らし、情報量の多いパッチへと注意を向けることが保証され、値の予測に歴史的な欠損パターンが反映されます。

3. デュアル予測ヘッド（Dual Prediction Head）:

   • 両ストリームの高レベル表現が予測ホライゾンへとマッピングされます。
   • 観測可能性予測（Observability Prediction）: 分類ヘッドが、各将来のタイムステップにおいて有効な観測が発生する確率（$\hat{O}$）を予測します。
   • 値予測（Value Prediction）: 回帰ヘッドが、将来の状態値（$\hat{Y}$）を予測します。
   • ゲート融合（Gated Fusion）: 予測された観測可能性が、値の予測に対するソフトゲートとして機能します。最終的な値の推定は、直接的な値ストリームの出力と、予測された存在確率によって重み付けされた観測ストリームの寄与との組み合わせとなります。これにより、存在確率が高い場合にのみ、観測特徴が予測に大きく影響するように制御されます。

学習目的

モデルは以下の結合損失関数を用いて学習されます：
$$\mathcal{L} = \mathcal{L}_{val} + \eta \cdot \mathcal{L}_{obs}$$

• $\mathcal{L}_{val}$: 正解の観測が存在するタイムステップに対してのみ計算される平均二乗誤差（MSE）。
• $\mathcal{L}_{obs}$: 観測された位置と欠損した位置の間のクラス不均衡を扱うための、Focal Binary Cross-Entropy（Focal BCE）。
• $\eta$: 2つのタスクのバランスを取るハイパーパラメータ。

3. 主な貢献

新しい予測パラダイム

本論文は、従来のモデルに蔓延している「オラクル・タイムスタンプ仮定（oracle timestamps assumption）」に異議を唱えます。モデルが、値を推定する前に、観測がいつ発生するかを明示的に予測するというパラダイムを切り開きました。これにより、焦点は単純な数値的外挿から、情報の生成メカニズムの推論へとシフトします。

技術的進歩（Timeflies）

Timefliesは、時系列を2つの相互作用するストリームに明示的に分解します。歴史的な観測のリズムを動的なコンテキストとして抽出することで、このアーキテクチャは、存在のパターンが状態予測をガイドし、洗練させることを可能にします。この深い相互作用は、情報の観測可能性とその基礎となる数値的価値との間の溝を埋めます。

実証的および実用的有用性

• シャドウ・ベンチマーク（Shadow Benchmark）: フレームワークを厳密に検証するため、著者らは、公開データセット（GIFT-Eval）からの自然な欠損ギャップと、実世界の産業用Eコマースデータを組み合わせた包括的なベンチマークであるShadowを構築しました。決定的なことに、独自のデータセットには、非ランダム（オフピーク時の活動停止などの構造的パターンを符号化している）な自然欠損が含まれており、欠損率は<0.1%から>89%まで多岐にわたります。
• OVJE メトリック: 著者らは、**観測・値結合エントロピー（Observation-Value Joint Entropy: OVJE）**メトリックを導入しました。従来の周辺誤差メトリック（MSE/MAE）とは異なり、OVJEは、結合分布 $P(y_t, o_t | x_t)$ の負の対数尤度を計算することにより、存在推論と値推定の結合能力を評価します。

4. 実験結果

Shadowベンチマークにおける広範な実験により、TimefliesがTransformerベース（PatchTST, iTransformer, FEDformer）、線形ベース（OLinear, DLinear）、CNNベースの手法を含む既存のベースラインを一貫して上回ることが示されました。

• パフォーマンス: Timefliesは、あらゆるスパース性領域（欠損なし、低、中、高）において、最先端の性能を達成しています。
• スパース性への感度: データのスパース性が高まるにつれ、性能差は顕著に拡大します。高スパース環境では、従来のベースラインは値を盲目的に外挿することで性能が低下しますが、Timefliesは真の信号を欠損によるノイズから効果的に分離します。
• 堅牢性: 極端な欠損シフト（例：欠損率<1%で学習し、>90%でテストする場合）を持つデータセットにおいて、Timefliesは堅牢な性能を維持しますが、競合モデルは壊滅的に失敗します。
• アブレーション研究: コアコンポーネント（マスク考慮型正規化、観測ガイド型アテンション、パッチ信頼性、またはFocal Loss）のいずれかを削除すると、性能の低下を招き、各モジュールの構造的な必要性が確認されました。

5. 意義と主張

本論文は、不規則な設定において、明示的に将来の観測可能性をモデル化することが、信頼できる数値予測のための不可欠なゲートであると主張しています。欠損を単なる欠陥ではなく構造化された事前情報として扱うことで、Timefliesは意思決定システムが観測の不確実性を組み込むことを可能にします。

著者らは、本研究が自然に発生する欠損パターンを持つGIFT-Evalベンチマークに焦点を当てており、定常的な欠損メカニズムを想定していることを控えめに述べています。また、完全に観測された設定であっても観測考慮型モジュールの計算オーバーヘッドが一定であることや、チャネル独立性の仮定といった限界も認めています。しかしながら、本研究は、観測可能性と数値回帰を橋渡しすることで、時系列予測の新たな道を切り開き、データの完全性が保証できない実世界のデプロイメントに対して、より現実的なアプローチを提供しています。