技術要約: DoTime

問題提起

時系列における因果推論の現在のベンチマークは、主に観測データに基づいているか、小規模であるか、あるいは特定のドメインに限定されている。これにより、ヘルスケア、政策評価、気候科学といった極めて重要なアプリケーションに不可欠な、**介入（interventional）および反事実（counterfactual）**推定を評価するための決定的なギャップが生じている。既存のツールには、主に以下の3つの限界がある：

1. 観測バイアス: Dream3やNetSimのような生成器は、効果推定（$p(Y|do(A))$）ではなく構造的発見に焦点を当てており、介入にさらされることのないデータでモデルを訓練している。
2. スケーラビリティの問題: 実世界の介入データセット（例：Causal Chambers）は、基盤モデルを訓練するには規模が小さすぎる。
3. 静的な限界: 静的なベンチマーク（ACIC、IHFD）は時間的ダイナミクスを無視しており、最近の動的なベンチマーク（CausalDynamics）は、観測データからのグラフ回復に焦点を当てており、介入効果の推定には焦点を当てていない。

その結果、$do(\cdot)$ クエリに答えるように訓練されたモデルが、純粋に観測的なデータ（$p(Y|A)$）に基づいて適合・スコアリングされることがあり、これが真の因果推論能力の検証を妨げる歪みを生んでいる。

手法: DoTime フレームワーク

DoTimeは、多変量**時間的構造因果モデル（TSCMs）**の、オープンでスケーラブル、かつ理論的に裏付けられた生成器である。これは、構造的事前分布をサンプリングし、観測条件および介入条件下での軌跡をシミュレートし、正確なグラウンドトゥルース（正解）ターゲットを提供するパイプラインを通じて動作する。

コアコンポーネント

1. 時間的構造因果モデル (TSCMs):

   • グラフの集合 $\mathcal{G} = (G_0, G_{1:K})$ によって定義される。ここで $G_0$ は瞬時的なDAGであり、$G_{1:K}$ はラグ付きの隣接関係である。
   • ダイナミクスは $X^i_t = f_i(Pa^0_i(X_t), Pa^{1:K}_i(X_{t-1:t-K})) + \varepsilon^i_t$ に従う。
   • 介入は、特定の時間窓におけるターゲットノードに対してメカニズム $f_i$ を上書きする。

2. グラウンドトゥルースのレベル (パールによる階層):

   • レベル2 (介入的): 介入された腕は、事前分布 $P(\varepsilon)$ から新しい外生ノイズを抽出する。
   • レベル3 (反事実的): 介入された腕は、観測された軌跡を生成したのと「同じ」ノイズストリーム $\varepsilon$ を再利用する。DoTimeの連続時間スイートは、構成上レベル3の反事実を生成し、離散時間スイートはレベル2の介入的ツインを提供する。

3. 既存の生成器を超えた主要な拡張:

   • 介入タイプ: ハード介入（$do(A_t=v)$）、ソフト介入（加法的シフト）、および時変介入をサポートする。
   • 連続時間ウィンドウ: 単一ステップの介入を、下層のSDE（確率微分方程式）のオイラー・マローマ法による積分を用いて、ウィンドウ $do(A[t_0, t_1]=v)$ へと一般化する。これにより、不規則な観測グリッド（ジッター付きまたはポアソン過程）が可能になる。
   • 反事実モード: 介入値を観測されたサポート範囲（$\hat{\mu} \pm 3\hat{\sigma}$）にクリップする「ポジティビティ・ガード」を含み、外挿的な反事実とインサポート（範囲内）の反事実を区別する。
   • レジームスイッチング: SCMパラメータ上のスティッキー・マルコフ・レジーム・チェーンを実装し、確率的なスイッチや複数のレジームを含む中断時系列（ITS）設計を一般化する。

4. グラフおよびメカニズムの事前分布:

   • グラフ: $G_0$ はエルデシュ・レーニィ・グラフであり、構成によって非巡回性が保証されている（上三角マスク）。ラグ付きのエッジは幾何学的減衰に従う。
   • メカニズム: 線形、tanh、sin、cos、ReLU、およびそれらの合成を含む多様な集合から一様にサンプリングされる。
   • ノイズ: スケールはシフトされた指数分布からサンプリングされる。

主な貢献

本論文では、以下のDoTimeエコシステムを公開する。

1. dotime PyPI パッケージ: 生成器、スイートローダー、および評価ハーネスを含む。
2. 4つの凍結された評価スイート:
   • dot-Identifiability-v1: 8つの名前付き識別構造（例：バックドア、フロントドア、操作変数、未観測の交絡因子）にわたる10,800の軌跡。
   • dot-RegimeSwitch-v1: レジーム密度が2、3、または5の10,000の軌跡。
   • dot-Continuous-v1: 連続時間介入ウィンドウと、変化するクエリオフセットを持つ10,000の軌跡。
   • dot-Generic-100k: 基盤モデルの事前学習用にサイズ調整された、多様な事前分布からの100,000の軌跡。
3. リファレンス・ベースライン: ヒューリスティック（TrajMean, AR1）、古典的手法（VAR, BackDoorOLS, IV2SLS）、および介入と観測の両方のコンテキストで訓練された Do-Over-Time-PFN (Prior-Fitted Network) の実装。

結果

論文では、Do-Over-Time-PFN をベースラインおよび同一容量の観測的ツインと比較評価している。

• 指標の限界: これらの非線形TSCMにおいて、標準的なRMSE指標はほぼ飽和状態にある（モデルが平均値付近に集まるため）。論文では、方向精度（direction accuracy）（効果の符号を予測すること）が、因果の質を判別する信号であると主張している。
• 介入的訓練 vs 観測的訓練:
  • 介入データで訓練されたモデル（$PFN_{int}$）は、同一容量の観測データのみで訓練されたモデル（$PFN_{obs}$）よりも、方向精度において一貫して高い性能を示す。
  • 格差の大きさ: Identifiability スイートにおいて、$PFN_{int}$ は 0.66 の精度を達成したが、$PFN_{obs}$ は 0.57 であった（+0.08の差）。Generic においては、その差は +0.04 である。
  • 堅牢性: この優位性は、3つの訓練シード、4つの軌跡長（$T \in \{200, 500, 1000, 2000\}$）、および3つの識別構造（バックドア、フロントドア、IV）にわたって持続した。統合された格差は +0.09 であり、シード間の標準偏差はわずか 0.005 であった。
• テスト時のコンテキスト: この優位性は、単にテスト時に介入値を見ていることではなく、介入的事前学習に起因するとされる。観測的モデル（TabPFN, Chronos-2）は、テスト時に介入値を与えられても、精度の差を示さなかった。
• ゼロショット転移: 合成データで訓練されたPFNは、実世界のドメイン（Causal Chambers 風洞および Warfarin 薬物動態学）に転移した。高周波の微細な振動は追跡できないものの、ナイーブなベースラインが失敗する中で、粗いレジームの再配置（regime relocation）（介入後の動作レベル）を正常に捉えることに成功した。

意義と主張

本論文は、DoTimeを、介入的および反事実的な時系列に特化した最初のオープンでスケーラブルなベンチマークとして位置づけている。その主要な主張は、一つの検証可能な仮説である：介入的訓練を行うことで、同一容量の観測モデルに対して、測定可能な方向精度の優位性を得ることができる。

著者らは以下を実証している：

1. 因果理解: このベンチマークは、従来の回帰指標が失敗する固定容量において、因果理解をうまく分離できる。
2. 合成データの必要性: 実世界の介入データは希少である。DoTimeは、基盤モデルの訓練のための、原理に基づいた理論的な代替手段を提供する。
3. 限界: 著者らはその範囲について謙虚である。現在のスイートは $N \le 10$ 変数および $K \le 3$ ラグを使用している（ただし、生成器はより多くの数に対応している）。合成データは、トレンドや季節性の交絡因子、あるいは隠れた交絡因子を除いた部分観測性をまだカバーしていない。実データへの転移結果は、ドメイン固有のツールに対する競争的な優位性というよりも、概念実証としての「レジーム再配置」として提示されている。

要約すると、DoTimeは、時系列の因果推論を、観測データに基づく構造的発見から、介入下での厳密な効果推定へと移行するためのインフラを提供し、介入的な合成データでの訓練が、より優れた因果推論能力を持つモデルを生み出すことを検証している。