Improving Spatio-Temporal Residual Error Propagation by Mitigating Over-Squashing

技術概要：Teger – 過圧縮の緩和による時空間残差誤差伝播の改善

問題定義
多変量時系列予測、特にインテリジェント交通システム（ITS）における再帰モデルは、残差誤差の伝播に悩まされています。小さな予測誤差が時間とともに累積し、長期的な予測性能を低下させます。最近の深層学習モデルは時間変化する同時相関を効果的にパラメータ化しますが、誤差の時間的独立性を仮定し、観測ネットワーク全体にわたる空間的相関を無視する傾向があります。TCVAR などの既存手法は時間共分散をモデル化しますが、空間的相互作用を捉えることができません。さらに、これらのモデルはボラティリティを明示的に捉えるのに苦慮しており、較正されていない不確実性の推定をもたらします。

特定された核心的な理論的限界は、グラフニューラルネットワーク（GNN）における**過圧縮（Over-Squashing: OQ）**現象です。OQ は、長距離依存性が有界な表現に過度に圧縮され、情報伝播が歪む現象です。交通予測の文脈では、これは負の離散曲率によって特定されるボトルネックエッジとして現れ、遠く離れたノード間の情報流を著しく減衰させます。その結果、既存モデルは地域間相関を過小評価し、依存関係を細い鎖に沿って集中させ、予測残差の真の時空間共分散構造をモデル化できていません。

手法：Teger
著者は、動的グラフ上の時空間残差をモデル化するために設計された、バックボーンに依存しない確率論的フレームワークTegerを提案します。Teger は、Woodbury 恒等式を通じて計算可能な推論を維持しつつ、曲率を考慮した空間共分散メカニズムを低ランク＋対角（LRD）ノイズヘッドに統合します。

1. 確率論的定式化:
   モデルは時系列変数 $x_t$ を予測平均 $\mu_t$ と確率的誤差成分 $\eta_t \sim \mathcal{N}(0, \Sigma_t)$ に分解します。大規模なノード数 $N$ を扱うため、共分散行列 $\Sigma_t$ は低ランク＋対角形式としてパラメータ化されます：$\Sigma_t = L_t L_t^\top + \text{diag}(d_t)$。

2. 時間的相関:
   有限の時間範囲 $D$ における時間的依存関係は、残差をバッチベクトル $\eta^{bat}_t$ にスタックすることで捉えられます。時間相関行列 $C_t$ は、重みが softmax ネットワークを通じて学習される動的カーネル混合物（TCVAR に類似）としてモデル化されます。

3. 空間的相関と曲率を考慮した再配線:
   核心的な革新は、曲率を考慮した空間精度行列の再配線メカニズムです。

   • ボトルネックの特定: この手法は、情報ボトルネックとして機能するエッジ（曲率 $\kappa(i, j) \leq -2 + \delta$ を持つエッジ）を特定するためにバランス型 Forman 曲率を利用します。
   • 再重付け戦略: 新たな経路を作成するためにエッジを追加または削除する構造的再配線手法（LASER など）とは異なり、Teger は入力トポロジーを固定したままにします。これはエッジをその曲率に基づいて再重付けします。ボトルネックとして特定されたエッジは、学習可能な関数を用いて強化されます：$W'_{ij,t} = W_{ij,t}(1 + \lambda b_{ij,t})$。ここで、$b_{ij,t}$ は曲率から導出されたボトルネックスコアです。
   • 共分散の構築: 再重付けされたグラフラプラシアン $L'_t$ は、低次元因子空間（$R \ll N$）に射影され、空間精度行列 $Q_t = \alpha I_R + \beta L^{(R)}_t + \sigma_{min} I_R$ を構築します。空間因子共分散は $G_t = Q_t^{-1}$ となります。このアプローチは閉形式の低ランク射影を許容し、Woodbury 形式の共分散更新にシームレスに統合されます。

4. 推論時の精緻化:
   ボラティリティの過小評価と初期ステップ誤差の伝播に対処するため、Teger は精緻化ステップを採用します。これは、モデル共分散によって誘発されるガウス条件分布から次のステップの残差サンプルを抽出します。重要なのは、ノードごとのボラティリティスケーリングを導入し、条件付き共分散を次元のない相関行列と、二乗残差の指数移動平均による経験的ノードごとのボラティリティ推定値に分離することです。これにより、局所ボラティリティへの適応を維持しつつ、周辺分散の二重計上を防ぎます。

主要な貢献

1. 動的 LRD 共分散モデル: グラフを考慮した潜在因子による空間的依存性と、自己回帰構造による時間的依存性を捉える、時空間残差のための確率論的フレームワーク。
2. 曲率ベースの空間メカニズム: 状態依存ダイナミクスとボラティリティ適応を用いた動的グラフ上の誤差拡散をモデル化する新規アプローチ。特に過圧縮の緩和を目的としています。
3. 効率的な再重付けアルゴリズム: 共分散ヘッドに埋め込まれたエッジ再重付けステップ。再配線されたラプラシアンを $O(R^3)$ の計算量（$O(N^3$ 対比）で $R$ 次元因子空間にマッピングします。これは、確率論的時空間予測器への曲率ベース再配線の最初の統合を表します。
4. 統合フレームワーク: これらのコンポーネントを統合し、不確実性モデル化の表現力を拡大しつつ計算の扱いやすさを維持する、統一された自己回帰フレームワーク。

実験結果
著者は、LSTM、Transformer、xLSTM、MTGNN の 4 つの異なるバックボーンを使用して、4 つの実世界時空間データセット（PeMS03、PeMS04、PeMS07、ブリュッセル）で Teger を評価しました。

• 性能: Teger は、単純なアプローチ、時間相関のみを扱う TCVAR、構造的再配線を行う LASER などのベースラインを、ほとんどの予測時間範囲で一貫して上回りました。主要な指標は連続順位確率スコア（CRPS）でした。
• 定量的な改善: ブリュッセルデータセットにおいて、Teger は LASER に対して CRPS を 25.3% 改善しました。一般的に、空間誤差伝播をモデル化することで、TCVAR と比較して MAE の誤差規模が約 30% 減少しました。
• 理論的検証: 論文は、再配線プロセス後にスペクトル接続性（スペクトルギャップ）の向上、実効抵抗（キルヒホッフ指数）の減少、局所ボトルネック（カット伝導度）の緩和を報告しています。
• 解釈可能性: ブリュッセルデータセットにおける定性的分析により、Teger の再重付けはグラフトポロジーと物理的道路構造の対応を保持することが示されました。一方、LASER が追加するエッジは、物理的に非現実的な経路を導入することがありました。

意義と主張
本論文は、Teger が確率論的予測における重要なギャップ、すなわち過圧縮現象と本質的に結びついた残差における時空間共分散パターンの捉えきれなさを解決すると主張しています。

• 主張の範囲: 著者は明確に、エッジ再重付けは（LASER や SDRF のような）構造的再配線よりも「厳密に弱いツール」であると述べています。なぜなら、存在しない長距離経路を作成できないからです。しかし、彼らはこれが物理的グラフが固定されているがエッジの重要度が時間とともに変化する道路ネットワーク予測に適切であると論じています。
• 理論的リンク: この研究は、曲率を考慮した再配線と（i）過圧縮の緩和、（ii）改善されたスペクトル接続性、（iii）減少した実効抵抗、（iv）改善された共分散較正境界との間の理論的証拠を提供します。
• バックボーン非依存性: Teger は、任意の自己回帰エンコーダによって生成された潜在状態のみを必要とし、既存の広範なモデル（LSTM、Transformer、xLSTM など）に適用可能です。

著者は結論として、曲率を考慮した空間モデル化を通じて残差誤差伝播を緩和することで、Teger は複雑な時空間システムにおいてより信頼性の高い不確実性定量化と、改善された長期的予測性能を達成すると述べています。