技術要約：連続的な劣化表現学習による残存有用寿命予測

1. 問題提起

航空エンジンにおける残存有用寿命（RUL）の予測は、航空安全およびメンテナンススケジュールの策定において極めて重要である。ディープラーニングはRUL予測における支配的なパラダイムとなっているが、既存のアプローチには主に2つの制限がある：

1. 断片的な表現： 現在のディープラーニングモデルは、多変量センサデータから不連続または断片的な劣化表現を学習してしまうことが多い。これらは、劣化の進行的かつ連続的な性質を正確にモデリングすることに苦慮しており、多くの場合、時空間的な特徴抽出を個別に実行した後に融合を行う手法に依存しているが、それによって微細な相互作用を見逃す可能性がある。
2. 無秩序な特徴空間： 強力なバックボーンネットワークを備えていても、異なる劣化段階のサンプルは、特徴空間において弱い順序性や重複する分布を示すことがある。この連続的な劣化プロセスとの構造的な整合性の欠如が、正確なRUL推定を妨げる。
3. 既存の対照学習の限界： 特徴の分離性を向上させるために対照学習が用いられているが、ほとんどの手法は離散的な正負ペアの構築に依存している。これはサンプル間に一様な分離を強いるものであり、時間的な近接性が特徴の類似性と相関すべきであるという、連続的かつ進行的な劣化軌道の性質を捉えることができない。

2. 手法：CoDeRフレームワーク

著者らは、時間的に一貫した劣化表現を学習するために設計されたフレームワークであるCoDeR（Continuous Degradation Representation learning）を提案している。そのアーキテクチャは、データ準備、結合学習、およびRUL予測の3つの主要なステージで構成される。

2.1 二軸結合Transformerエンコーダ（DCTE）

多変量センサデータの複雑な依存関係をモデリングする必要性に対処するため、著者らはDCTEを導入している。時間軸と空間軸を別々に処理する標準的なモデルとは異なり、DCTEはこれらを共同でモデリングする：

• 並列位置エンコーディング： モデルは、時間軸（$P_t$）とセンサ（空間）軸（$P_s$）の両方に位置エンコーディングを注入し、両方の次元における逐次的な順序を保持する。
• 軸内モデリング： 対称的なTransformerエンコーダ（$Enct$および$Encs$）が、それぞれの次元内で時間的ダイナミクスとセンサごとの依存関係を独立して処理する。
• 双方向クロス軸アテンション： 相補性を捉えるために、モデルは双方向クロスアテンションを採用する。学習可能な線形写像（$P_{s \to t}$ および $P_{t \to s}$）を用いて、空間表現を時間領域へ、またその逆へと投影することで、各層での動的な情報交換を可能にする。
• 特徴融合： 最終的な結合表現は、時間的および空間的な出力を融合することで形成され、その後、ダウンストリームの回帰のためにフラット化される。

2.2 時間認識型対照学習（TACL）

学習された特徴空間に連続性を強制するために、著者らは、対照学習に時間的事前知識を統合するTACLモジュールを提案している：

• サンプリング戦略：
  • 正例（Positive Samples）： アンカーサンプルの局所的な時間的近傍から選択される（アンカー自体は除く）。
  • 負例（Negative Samples）： 残りのシーケンスから選択され、遠隔の劣化段階を確実にカバーするために連続的なサブインターバルに分割される。
• 時間・距離重み付き目的関数： 標準的な対照損失とは異なり、TACLは時間的距離に基づく適応的な重みを導入している。
  • 正の重み ($\alpha_i$)： アンカーと正例の間の時間的距離が増大するにつれて減少するように設定されており、時間的に近いサンプルに対してより強い引き付けを促す。
  • 負の重み ($\beta_j$)： 時間的距離とともに増加するように設定されており、遠隔の劣化段階にあるサンプルに対する反発を強化する。
• 損失関数： 対照損失は、引き付けの力と反発の力が時間的距離に応じて連続的に変化する加重和として定義され、埋め込み空間におけるスムーズな遷移を保証する。

2.3 結合最適化

本フレームワークは、以下の組み合わせによるマルチオブジェクティブ損失関数を採用している：

1. 回帰損失 ($L_{MSE}$): RUL予測のための平均二乗誤差。
2. 連続性制約 ($L_{TACL}$): 時間認識型対照損失。
   全損失は $L = L_{MSE} + \mu \cdot \frac{1}{|B|} \sum L^{(i)}_{TACL}$ であり、ここで $\mu$ は予測精度と時間的一貫性のバランスをとる。

3. 主な貢献

本論文は以下の貢献を主張している：

• CoDeRフレームワーク： 多変量センサデータから学習される劣化表現の連続性を改善することを明示的な目的とした、航空エンジンRUL予測のための新しいフレームワーク。
• DCTEアーキテクチャ： 時間的および特徴的次元の両方で依存関係を同時にモデリングし、より情報量の多い特徴抽出を可能にする二軸結合Transformerエンコーダ。
• TACLモジュール： 対照学習に時間的進行の事前知識を組み込み、特徴空間における劣化表現の時間的一貫性を向上させる時間認識型対照学習モジュール。
• 実証的検証： C-MAPSSおよびN-CMAPSSベンチマークにおける、既存手法と比較して競争力のある予測精度と、より秩序立てられた連続的な劣化表現のデモンストレーション。

4. 実験結果

著者らは、C-MAPSS (FD001–FD004) および N-CMAPSS (DS02) ベンチマークデータセットを用いてCoDeRを評価した。

• C-MAPSSにおける性能：
  • CoDeRは、すべてのサブセットにおいて、DCTEベースライン（TACLなし）および様々な最先端手法（CNN、LSTM、およびMACPTD、MSMT-FDA、DASTなどの他のTransformer変種を含む）を一貫して上回った。
  • 困難なマルチコンディション・サブセット（FD002およびFD004）において、CoDeRは比較された手法の中で最も低いRMSEおよびScore値を達成した。
  • アブレーション研究： DCTEにおけるクロスアテンション機構、空間ブランチ、または時間ブランチのいずれかを取り除くと性能が低下したが、特に時間ブランチの影響が最大であった。TACLを標準的なInfoNCE損失に置き換えると、性能が大幅に低下し、特徴分布の構造化も損なわれた。
• N-CMAPSSにおける汎用性：
  • Co-DeRは、より現実的で高頻度かつ動的に変化する運転条件を特徴とするN-CMAPSSデータセットにおいて、他の手法と比較して最高の全体RMSE (3.41) を達成した。
  • モデルは、異なるエンジンユニットおよび飛行フェーズにわたって安定した予測挙動を維持した。
• 特徴可視化：
  • t-SNE可視化により、CoDeRはベースラインモデルの散在し重複した分布と比較して、より滑らかでコンパクトかつ連続的な特徴軌跡を生成することが明らかになった。
  • アテンションマップの分析により、DCTEが圧力関連の変数、ファン/コア回転数、燃料流量比などに焦点を当てた、意味のある時空間特徴選択パターンを正常に学習したことが示された。

5. 意義と限界

意義：
本論文は、正確なRUL予測には、単に情報量の多い特徴抽出だけでなく、劣化という連続的な物理プロセスを反映した、よく構造化された表現空間が必要であると主張している。時間的および空間的モデリング（DCTE）を結合し、時間認識型対照学習（TACL）を通じて時間的一貫性を強制することで、CoDeRは既存の手法における離散的モデリングと一様な分離の限界に対処している。結果は、潜在的な特徴空間を連続的な劣化プロセスに適合するように構造化することが、特に複雑な運転条件下において、より信頼性が高く堅牢なRUL推定につながることを示唆している。

限界：
著者らはいくつかの限界についても謙虚に認めている：

• 計算コスト： TransformerベースのアーキテクチャとTACLモジュールは、追加の最適化オーバーヘッドと計算コストを導入するため、リアルタイム展開における課題となる可能性がある。
• 今後の展望： 著者らは、今後の課題として、産業現場への実用的な展開を容易にするための計算効率の向上を挙げている。

本論文は、すべてのRUL予測の課題を解決したと主張しているわけではなく、航空エンジン領域以外の用途を提案しているわけでもなく、述べられた産業展開の効率化という目標を超えた将来的な影響についても推測していない。