技術的概要：仮想センサーのためのスケーラブルなマルチタスクモデル

問題定義

仮想センサーは、利用可能な測定値からターゲット信号を予測するために機械学習を活用し、自動運転や医療などの重要な応用分野において、高価な物理センサーに代わるコスト効果が高く信頼性の高い代替手段を提供する。しかし、既存のアプローチには以下の 4 つの主要な限界が存在する：

1. スケーラビリティの欠如：現在の手法は、各仮想センサーごとに個別に訓練・維持される、孤立したアプリケーション固有のモデルに依存しており、入力信号はドメイン専門家によって手動で選択されている。これにより、大規模なセンサーネットワークへの拡張が妨げられている。
2. 相乗効果の見逃し：孤立したモデルは、異なる仮想センサータスク間の相乗効果を活用することができない。
3. 一貫したベンチマークの欠如：評価基準の統一性が欠けており、標準的なベンチマークデータセットを利用する研究はほとんど存在しない。
4. 基盤モデルの限界：時系列基盤モデルは汎用的な解決策を提供するが、計算コストが高く、入力信号の予測に限定されている。他の測定値から新しい未見の信号を予測することはできず、仮想センサーのタスクとの互換性がない。

手法

著者は、因果的デコーダのみのトランスフォーマーアーキテクチャに基づいた、統合されたスケーラブルなマルチタスクモデルを提案する。中核的な革新は、計算効率を維持しつつタスク相乗効果を活用するように設計された 3 つのメカニズムにある：

1. 仮想センサーの選択的予測

入力セットに存在しない信号（仮想センサー）を予測するために、モデルはプロトタイプトークンを用いた自己回帰メカニズムを採用する。

• トークン化：入力時系列は正規化され、パッチ化され、トークンに埋め込まれる。
• プロトタイプの挿入：特定の仮想センサー $j$ を予測するために、ゼロベクトルのプロトタイプトークンが入力シーケンスに挿入される。
• 変量埋め込み：学習された変量埋め込みベクトル $v'_j$ がプロトタイプトークンに追加される。これにより、ニューラルネットワークは関連するターゲット情報を空のプロトタイプにマッピングするように誘導され、利用可能な入力信号に基づいて特定の仮想センサーを予測することが可能になる。
• 自己回帰：モデルは次の $p$ 時間ステップを予測する。後続のステップでは、モデル自身の以前の予測が仮想センサーの新しい入力として機能し、物理的入力は利用可能だが仮想出力は予測しなければならないという現実世界の展開を模倣する。

2. 関連する入力信号の学習

専門家によって選択された入力に依存するのではなく、モデルは各仮想センサーに関連する入力信号のセットをエンドツーエンドで学習する。

• 信号関連ベクトル：モデルは、各仮想センサーに対して学習可能な信号関連ベクトル $R' = \{r'_j\}$ を導入する。各ベクトルは、利用可能なすべてのセンサー（入力および他の仮想センサー）の関連性をエンコードする。
• 注意バイアス：関連ベクトルは外積を通じてクロス関連行列を計算するために使用され、時間全体に複製されて、各トランスフォーマー層の注意スコア計算において静的なバイアスとして適用される。これにより、モデルはグローバルで時間非依存の信号の重要性を学習できる。
• 説明可能性：これらのベクトルを分析することで、モデルはどの入力信号が特定の仮想センサーの予測を駆動しているかについて説明可能性を提供する。

3. 効率的なスパース化と選択

大規模なセンサーネットワークの計算制約に対処するために、モデルは構造化されたスパース性を利用する：

• 閾値処理：訓練の後期段階および推論中に、信号関連ベクトルは閾値 $r'_{thres}$ に基づいてスパース化される。重要でない信号は $-\infty$ でマスクされ、注意メカニズムから実質的に除去される。
• 動的センサー選択：モデルは、単一の生成ステップで予測する仮想センサーを柔軟に選択できる。センサーのサブセットを予測する場合、モデルはそれらの特定のセンサーに関連する入力信号セットのみをクエリし、処理されるトークンの数を最小化する。
• 訓練戦略：すべてのセンサーに対して同一の勾配が生じる（これにより入力セットが同一になる）ことを避けるため、モデルは反復ごとに仮想センサーのランダムなサブセット（$N_{train}$）で訓練される。さらに、メモリおよび計算コストを削減するために訓練中に教師強制が使用され、誤差蓄積を軽減するためのハイブリッドアプローチ（時間方向の逆伝播による微調整）も検討されている。

主要な貢献

1. 大規模ベンチマーク：著者は、3 つの標準的な時系列予測ベンチマーク（交通、電力、太陽光）および 180 億以上の時系列サンプルを含むアプリケーション固有の自動車 CAN バスデータセットを用いた、統合された仮想センサーモデルの初の大規模分析を提供する。
2. 統合マルチタスクアーキテクチャ：提案されたモデルは、多様な仮想センサーを同時に予測し、タスク相乗効果および基礎的な時系列知識を活用する。パラメータ数がほぼ一定であるまま、数百の仮想センサーに優雅にスケーリングする。
3. 学習された関連性と説明可能性：モデルは、入力信号をエンドツーエンドで学習することで、入力選択における専門家の知識の必要性を排除し、仮想センサー設計に説明可能性を追加する。
4. 効率化メカニズム：選択的予測、学習された関連性マスク、およびスパース化を通じて、アーキテクチャは計算時間とメモリ使用量の大幅な削減を達成する。

結果

評価は、予測品質を維持または向上させながら、大幅な効率向上を実証している：

• 孤立モデルとのパフォーマンス比較：単一のセンサーのために訓練された孤立モデルと比較して、統合アプローチは同様の推論速度で優れた予測を生成する。
• 効率性の向上：CAN バスデータセットにおいて、スパース化や選択的予測を利用しない標準的なマルチタスクアプローチと比較して、統合モデルは計算時間を最大415 倍、メモリ要件を951 倍削減する。
• スケーラビリティ：モデルは、数個から数百の仮想センサーにスケーリングする際に安定した予測品質（MSE の低い標準偏差）を維持するのに対し、孤立モデルはパラメータ数の線形増加を必要とする。
• 説明可能性：CAN バスデータセットにおける定性的評価は、学習された入力信号セットがドメイン専門家の知識（例えば、他の温度および流量信号に依存する温度センサーなど）と整合していることを確認する。
• 転移学習：モデルは、既存の訓練済みモデルに新しい仮想センサーを 10% の訓練データのみで効率的に導入でき、ゼロから訓練した場合と同等のパフォーマンスを達成する。

意義と主張

本論文は、アプリケーション固有の仮想センサーと時系列基盤モデルの間のギャップを成功裡に埋める、仮想センサーのための最初の統合モデルを提示すると主張している。その意義は以下の点にある：

• 実用的な展開：計算およびメモリ要件を劇的に削減することで、モデルは、現在の基盤モデルがリソース集約的すぎて展開できないエッジデバイスや大規模センサーネットワークにおける仮想センサーの展開を可能にする。
• 専門家のボトルネックの排除：入力関連性を自動的に学習することで、このアプローチは特徴選択におけるドメイン専門家への依存を排除し、仮想センサー設計をよりスケーラブルかつ堅牢にする。
• 相乗効果の活用：仮想センサータスクは共有知識から恩恵を受け、予測品質と効率性を同時に向上させることを実証している。

著者は、このマルチタスクモデルが仮想センサーに対する新たな応用を開拓し、大規模センサーネットワークの計算フットプリントを削減することで、より環境的に持続可能な時系列モデリングに貢献すると結論づけている。また、大規模モデルの訓練コストの高さによるハイパーパラメータ探索の限界を認め、さらなる最適化の可能性を示唆している。