技術要約：線形モデルを用いたオンライン予測再整合（Online Forecast Reconciliation）

問題提起

予測再整合（Forecast reconciliation）は、階層構造を持つ時系列の予測間で整合性を確保するための技術である。これらの構造は、線形制約（例：サブリージョンの負荷の合計はリージョンの総負荷と等しくなければならない）を課す。従来の再整合手法（Optimal Combinationなど）は、オフラインの設定では成功を収めているが、これらは多くの場合、過去のデータをバッチ処理する必要がある最小二乗法（OLS）や一般化最小二乗法（GLS）に依存している。

地区暖房の負荷予測のような実用的なアプリケーションでは、新しい観測値が得られるたびに予測を定期的に更新する必要がある。階層的予測における既存のオンラインおよび適応的手法は、特定の収縮推定（例：Ledit-Wolf収縮を用いたMinT）に依存していることが多いが、多変量設定における再帰的なパラメータ推定、不確実性の定量化、および誤差相関の明示的なモデリングのための統一されたフレームワークを欠いている場合がある。課題は、階層的時系列に対してオンラインかつ適応的な学習をサポートし、パラメータと予測の両方に対して厳密な不確実性の定量化を提供するフレームワークを開発することにある。

手法

1. グラフによる階層の定式化

著者らは、階層構造を、ノードがシステム状態を表し、エッジが加算制約を定義する有向木 $H = (Y, E)$ として定式化している。

• 加算行列 ($S$): トップレベルのノードからボトムレベルのノードへの到達可能性に基づいて定義される。階層制約は $Sy_{bot} = y_{top}$ と表現される。ここで、$y_{bot}$ と $y_{top}$ はそれぞれボトムレベルとトップレベルの状態を表すベクトルである。
• 再整合の目標: プロジェクション行列 $P$ を見つけることが目的であり、これにより、再整合された予測 $\tilde{y}_t = S P \hat{y}_t$ が階層制約を満たすようになる（$\hat{y}_t$ はベース予測を表す）。

2. 行列正規分布を用いた多変量線形モデル

提案されているフレームワークの中核は、予測再整合を線形モデル（LM）問題として扱うことである。

• モデルの定式化: 誤差が独立であると仮定する代わりに、著者らは誤差が行列正規分布に従う多変量線形モデルを利用する：
  $$Y = X\theta + E, \quad E \sim MN(0, U, V)$$
  ここで、$Y$ は応答行列（ボトムレベルのベース予測誤差）、$X$ はトップとボトムのベース予測の差から構築されたデザイン行列、$\theta$ は再整合の重み、$U$ は行共分散（時間的相関）、$V$ は列共分散（横断的相関）である。
• Møller et al. (2024a) との関連性: このフレームワークは、再整合がボトムレベルのベース予測誤差におけるLMとして記述できるという結果に基づいている。これにより、標準的なLM理論を階層的再整合に適用することが可能になる。

3. 正則化とリッジ回帰

パラメータ推定は、多重共線性に対処し安定性を確保するために、リッジ回帰問題として位置づけられる。

• 目的関数: 著者らは、重み付きマハラノビス型のノルムを最小化する：
  $$J(\theta) = \|X\theta - Y\|_{P,R}^2 + \|\theta - \theta_0\|_{Q,R}^2$$
  この定式化は、リッジ回帰、ベイズ推定（最大事後確率）、および収縮手法を結びつけるものである。
• 収縮の解釈: $\theta_0$ と $Q$ に対して特定の事前分布を選択することで、リッジ解はMinT収縮推定量を復元する。また、著者らは $\theta_0 = 0$ のようなより単純な事前分布も検討しており、これは強い正則化の極限においてボトムアップアプローチに対応する。

4. オンライン設定のための再帰的推論

オンライン予測を可能にするため、著者らは再帰最小二乗法（RLS）に着想を得た再帰的更新式を導出している。

• 仮定: この手法は、時間に対して誤差が独立であること（$U$ は対角行列）を仮定し、指数加重（$P$ は減衰重み $\lambda^{t-s}$ を持つ対角行列）を使用する。
• 更新式: 十分統計量（$K_t, L_t, H_t$）は、各ステップ $t$ において再帰的に更新される：
  $$K_{t+1} = \lambda K_t + x_{t+1}x_{t+1}^\top$$
  $$L_{t+1} = \lambda L_t + x_{t+1}y_{t+1}^\top$$
  $$H_{t+1} = \lambda^2 H_t + u_{t+1}x_{t+1}x_{t+1}^\top$$
  これにより、履歴全体を再処理することなく、効率的なパラメータ更新が可能となる。
• 不確実性の定量化: フレームワークは、行列正規の性質から導出される、再整合された予測の共分散を含む、新しい観測値に対する予測分布を提供する。

5. 実装

本手法は、オープンソースのPythonパッケージ PyOnlineForecast に実装されている。この実装では、再整合を以下の複合的な変換として扱う：

1. ベース予測をトップレベルとボトムレベルに分割する。
2. デザイン行列と応答行列を構築する（時間的階層のためのバックシフト処理を含む）。
3. 再帰的リッジ回帰を適用して、ボトムレベルの予測誤差を予測する。
4. 予測を集計・シフトして、整合性のある再整合予測を生成する。

主な貢献

1. 統一されたフレームワーク: 本論文は、行列正規分布を用いて残差を特徴付けることにより、階層的予測再整合を多変量線形モデルと統合するフレームワークを提示している。
2. オンラインおよび適応的アルゴリズム: リッジ回帰に基づく再帰的推論スキームを導出し、再整合パラメータと不確実性推定の効率的なオンライン更新を可能にしている。
3. グラフ理論による定式化: 階層をグラフ理論と推移的閉包を用いて形式的に定義し、加算行列を構築している。これは厳密な構造的定義を提供する。
4. オープンソースの実装: 著者らは、Rの onlineforecast パッケージに緩やかに基づいた、これらの手法を実装するための実用的なツールである PyOnlineForecast パッケージを提供している。
5. 理論的関連性: 本論文は、階層的再整合の文脈における、リッジ回帰、ベイズ推定、および収縮推定（MinT）の間のつながりについて明示的に議論している。

結果：地区暖能負荷予測ケーススタディ

提案された手法は、デンマークのオーフスにおける3つのエリアの地区暖房（DH）負荷予測（時間的階層：1時間、6時間、12時間、24時間の集計）を用いたケーススタディで実証された。

• 性能向上: 再整合は、ベース予測と比較して、すべての地域、集計レベル、および予測ホライゾンにおいて一貫して精度を向上させた。ルート平均二乗誤差の相対減少率（RRMSE）は、テストされたすべてのシナリオで正であった。
• 更新頻度: パラメータを毎時更新する場合（メインケース）と、24時間ごとに更新する場合（ケース1〜3）を比較した。
  • 毎時の更新: 最良の予測性能と安定した分散推定を提供した。
  • 日次の更新: 分散推定が不安定になり、一般的に精度も低くなった。著者らは、これをシステムの変化に対するパラメータ適応の頻度が減少したためと考えている。
• 正則化の効果:
  • 短いホライゾンの場合、より高い正則化（重みをゼロ／ボトムアップ方向に押し出す）が性能を向上させた。これは、短いホライゾンのベース予測がすでに正確で動的であるためと考えられる。
  • 長いホライゾンの場合、より低い正則化の方が良い結果をもたらした。これは、再整合プロセスが階層構造を利用してベース予測誤差を効果的に修正したためである。
• 不確実性: 再帰的スキームは予測誤差の分散を正常に追跡したが、著者らは、現在の実装では分散行列 $V$ 自体の推定不確実性が予測分布に完全には伝播されていないことを指摘している。

意義と主張

本論文の主な意義は、オンライン環境における多変量線形モデルを介した予測再整合の実装に関するリファレンスを提供することにあると主張している。

• 実用的有用性: このフレームワークは、データが逐次的に到着する動的なシステム（地区暖房など）において、予測を定期的に更新するという実用的なニーズに応えるものである。
• 柔軟性: 再整合を正則化された線形モデルとして定式化することで、標準的なMinTを超えた様々な正則化技術（Lasso、Elastic Netなど）や不確察性定量化手法の使用が可能になる。
• 謙虚な姿勢: 著者らは、再帰的導出における独立した残差の仮定や、繰り返される観測による時間的階層における人工的な自己相関の可能性といった限界を認めている。彼らは、将来の研究において、より一般的な共分散構造（例：テンソル正規分布）や、より洗練された分散推定事前分布を探索できることを示唆している。

本研究は、パラメータの更新が頻繁であり、正則化が予測ホライゾンや集計レベルに応じて調整される場合、オンライン階層予測が実現可能であり、かつ有益であることを示している。