Enhancing Deep Learning Air Quality Forecasting through Bayesian Kalman Filter Preprocessing

技術要約：ベイズ・カルマンフィルタによる前処理を用いたディープラーニングによる大気質予測の高度化

問題提起
大気汚染物質濃度の正確な短期予測は、公衆衛生の保護および政策介入において極めて重要である。しかし、GRU（Gated Recurrent Units）やLSTM（Long Short-Term Memory）ネットワークなどの標準的なディープラーニングモデルは、現実世界の環境データに適用される際、しばしば困難に直面する。これらのデータセットは、観測ノイズ、センサーの故障による欠損値、および気象変数との複雑な相互作用によって特徴付けられることが多い。カルマンフィルタをニューラルアーキテクチャに直接統合するハイブリッドモデルも提案されているが、本研究では、モデルが意味のある時間的パターンではなく、ノイズや不規則性に適合してしまうことを防ぐために、モデル学習の「前」に入力データの品質を向上させるという特定の課題に取り組む。

手法
本研究は、ディープラーニングアーキテクチャの学習前に、因果的かつ前方方向のみの（forward-only）前処理ステップとしてベイズ・カルマンフィルタを統合する、統一された予測フレームワークを提案する。手法は以下の5つの明確な段階で進行する：

1. 因果的カルマンフィルタリングと補完： 未来のデータを使用する従来の平滑化とは異なり、各汚染物質および気象変数に対して、前方方向のみのカルマンフィルタが独立して適用される。これらの変数は、単変量の局所レベル（ランダムウォーク）プロセスとしてモデル化される。このフィルタは、観測ノイズを低減すると同時に、欠損値を推定する。重要な点として、観測値が欠損している場合、更新ステップがバイパスされ、事前状態が伝播されるため、情報のリーク（漏洩）なしに効果的に値を補完できる。また、このプロセスは、補完の不確実性を表す動的な特徴量として機能する、フィルタリングされた状態分散（$\sigma^2_t$）を出力する。

   • パラメータ推定： プロセスノイズ（$Q$）および観測ノイズ（$R$）の分散は、因果性を確保するために、データセットの時系列的な学習部分（最初の80%）に対して厳密にEMアルゴリズムを用いて推定される。

2. 特徴量選択： 前処理の後、カルマンフィルタリングされた変数と対象汚染物質との間の絶対ピアソン相関（$|\rho| \ge 0.10$）に基づいて特徴量が選択される。予測変数がこの閾値を満たすものが2つ未満の場合は、入力の多様性を確保するために上位6つが選択される。対象となる汚染物質は、常に自己回帰的な予測因子として含まれる。

3. 入力構成： 選択されたカルマンフィルタリング済みの値と、それらに対応する不確実性分散は、正規化された後、ディープラーニングモデルの入力として重なりのあるルックバック・ウィンドウ（12時間または24時間）に組み合わされる。

4. アテンション機構を用いた再帰的エンコーディング： 本研究では、スタンドアロンのGRUおよびLSTM、ならびに時間的アテンション（temporal attention）メカニッチによって強化されたバリアントの計4つのディープラーニングアーキテクチャを評価する。アテンション層により、モデルは隠れ状態のシーケンス内の異なるタイムステップに対して適応的な重みを割り当てることが可能となり、最も情報量の多い履歴パターン（例：最近のピークや補完の不確実性が高い期間）にネットワークを集中させることができる。

5. 評価： モデルは、カナダの3つの都市（トロント、カルガリー、サスカトゥーン）の1時間ごとのデータを用いて学習およびテストされる。性能は、RMSE（平方根平均二乗誤差）、MAE（平均絶対誤差）、決定係数（$R^2$）、およびSE（標準誤差）を用いて、5つの汚染物質（CO、NO$_2$、O$_3$、PM$_{2.5}$、SO$_2$）について評価される。

主な結果
本研究では、7つのモデル（スタンドアロンのGRU、スタンドアロンのLSTM、スタンドアロンのカルマンフィルタ、および4つのハイブリッドモデル：Kalman-GRU、Kalman-LSTM、Kalman-Attention-GRU、Kalman-Attention-LSTM）を比較する。

• 全般的な改善： すべての汚染物質および場所において、カルマンフィルタリングされた入力を利用するモデルは、スタンドアロンのディープラーニングモデルを一貫して上回る性能を示した。これは、ノイズを低減し欠損値を処理するための前処理が、予測精度を大幅に向上させることを裏付けている。
• 汚染物質別の性能：
  • CO： Kalman-LSTMが、3つの都市すべてにおいて最も一貫した最良の性能を示した。
  • PM$_{2.5}$ および SO$_2$： アテンション強化型カルマンモデル（具体的にはPM$_{2.5}$に対するKalman-Attention-LSTM、およびSO$_2$に対するKalman-Attention-GRU/LSTMの混合）が最高の精度を達成しており、これらの汚染物質は特定の履歴タイムステップに重み付けを行う能力から恩恵を受けることが示唆されている。
  • NO$_2$ および O$_3$： 最適なアーキテクチャは都市によって異なる。NO$_2$については、トロントとカルガリーではKalman-LSTM/GRUが最も優れた性能を示したが、サスカトゥーンではKalman-Attention-GRUが優れていた。O$_3$については、カルガリーとサスカトゥーンではKalman-Attention-LSTMが最適であったが、トロントではKalman-GRUが最適であった。
• 視覚的検証： 時系列プロットは、カルマン前処理済みのモデルが短期間の変動や濃度ピークを効果的に追跡し、観測データの傾向に密接に従っていることを示した。

意義と主張
本研究の主要な貢献は、ディープラーニングに基づく大気質予測における、スタンドアロンの前処理技術としてのベイズ・カルマンフィルタリングの体系的な評価である。著者らは、フレームワークの主な利点は特定のニューラルネットワークのアーキテクチャにあるのではなく、よりクリーンで信頼性の高い入力を提供する前処理段階にあると主張している。

本研究は、カルマンフィルタリングがデータの品質を向上させる上で普遍的に効果的である一方で、「唯一の最良」と言えるディープラーニングアーキテクチャは存在しないと結論付けている。最適なモデル選択には、特定の汚染物質の種類と局所的な環境条件の両方を考慮する必要がある。例えば、Kalman-LSTMはCOに対して堅牢であるが、アテンション機構の追加は粒子状物質や二酸化硫黄に対して優れた結果をもたらす。これらの知見は、モデルの複雑さ（アテンションの追加など）は、普遍的に性能を向上させると仮定するのではなく、データの時間的特性に合わせて調整されるべきであることを示唆している。