Investigating simple target-covariate relationships for Chronos-2 and TabPFN-TS

技術的サマリー：Chronos-2 および TabPFN-TS における単純なターゲット共変量関係の調査

問題定義
時系列基盤モデル（TSFMs）は、最近、ゼロショット単変量予測において最先端の性能を示し、しばしば教師あり深層学習のベースラインを上回っています。しかし、実世界の応用では、動的な共変量（エネルギーや小売分野など）を活用することが頻繁に求められます。Chronos-2 や TabPFN-TS のような最近のアーキテクチャは共変量の統合を目指していますが、既存の大規模ベンチマーク（fev-bench など）は、これらのモデルが特定のターゲットと共変量の依存関係をどの程度効果的に捉えているかについての洞察を限定的にしか提供していません。本論文は、これらのモデルのベンチマークにおける高い性能が、ターゲットと共変量間の単純で制御された関係の正確なモデリングに転化するかという理解のギャップに対処します。

手法
著者は、ターゲットと共変量の依存関係を分離するために特別に設計された最小限のタスクを用いた一連の制御実験を設計しました。本研究では、2 つの主要な TSFM を比較します。

1. Chronos-2: 時間およびグループ注意層を利用し、合成多変量データで事前学習されたモデル。
2. TabPFN-TS: 数百万の合成回帰タスクで事前学習され、慎重に設計された特徴量を介して時系列用に適応された TabPFN 表形式基盤モデルの適応版。

実験設定には、実世界データセット（Electricity、Solar、Traffic）および合成データセット（Random Walk、KernelSynth）にわたる 4 つの異なるシナリオが含まれます。

• Identity（同一性）: 共変量はターゲットと同一である。
• Sum（和）: ターゲットは 2 つの合成時系列の和である（$Z = X + Y$）。
• Aggregate（集約）: ターゲットは実世界時系列の複雑な集約である（$Z = \sqrt{X} + Y - Z^2$）。
• Quadratic（二次）: ターゲットは合成入力との二次関係に従う（$Z = a + bX + cY^2$）。
• 自己回帰的拡張: 追加の実験として、二次タスクに時間依存項（$\phi Z_{t-1}$）を導入し、共変量依存に対する時間依存の増加に伴うモデル性能のシフトを観察する。

性能は、さまざまなルックバック（$L$）およびホライズン（$H$）ウィンドウにわたる正規化平均二乗誤差（NMSE）を用いて評価されます。

主要な結果
実験により、モデルが共変量情報を活用する能力に関するいくつかの重要な知見が得られました。

• 単純な関係における TabPFN-TS の優位性: Identity、Sum、Quadratic の実験において、TabPFN-TS は Chronos-2 を一貫して上回り、特に短い予測ホライズンにおいて顕著です。ターゲットが共変量として提供される Identity 実験では、Chronos-2 は単独ではより強力な単変量予測器であるにもかかわらず、TabPFN-TS は Chronos-2 よりも有意に低い誤差を達成します。
• 短期ホライズンにおける優位性: TabPFN-TS は短期ホライズンの設定で顕著な優位性を示します。著者は、短期ホライズンにおける入力と出力の特徴はより同様に分布しており、TabPFN の事前学習中に遭遇した独立同一分布（i.i.d.）回帰問題に類似しているためであると仮説を立てています。
• 共変量特徴の堅牢性: Aggregate 実験において、TabPFN-TS から時間埋め込みを除去し、共変量特徴のみに依存する（TabPFN(cov)）ことで性能が低下することはなく、むしろ短期設定において最も効率的なモデルとなりました。
• 時間依存に伴う性能のシフト: 自己回帰的拡張において、係数 $\phi$（時間依存を表す）が増加するにつれて、性能の差は狭まり、最終的に逆転します。タスクが純粋な非線形回帰問題から時間構造に支配される問題へと移行するにつれて、Chronos-2 は TabPFN-TS を上回り始めます。これは、モデルの有効性が、時間からターゲットへの関係対共変量からターゲットへの関係の相対的重要性に依存することを示唆しています。

意義と主張
本論文は、Chronos-2 が大規模な共変量ベースの予測ベンチマークを支配しているものの、この支配性が自動的に単純な共変量とターゲットの依存関係の最適モデリングを意味するわけではないと主張しています。結果は、表現力のある事前分布と広範な合成回帰タスクでの事前学習を活用する TabPFN-TS が、これらの特定の関係をより確実に捉えることを示しています。

著者は、Chronos-2 に見られる明示的な時間依存モデリングと、TabPFN-TS に着想を得たコンテキスト内回帰能力を組み合わせる、将来の TSFM を設計する上で大きな可能性があると結論付けています。このハイブリッドアプローチは、より効果的な共変量認識型時系列基盤モデルを開発するための有望な方向性として提示されています。