技術概要：予測的意思決定のための適応型デジタルツイン

問題定義

現代の工学システム、特に土木インフラにおいては、構造物の健全性を監視し、不確実性下で運用を管理する上で重大な課題に直面しています。これらのシステムは、材料の劣化、繰り返し荷重、極端な事象の影響を受け、気候変動によってさらに悪化することがあります。従来の監視手法は、しばしば静的なモデルやオフラインで訓練された予測器に依存しており、変化する構造物の状態の本質的な動的性質と不確実性を考慮できていません。その結果、これらのダイナミクスを無視するデジタルツイン（DT）は、パーソナライゼーションの低下、精度の低下、意思決定における価値の減少を招きます。

既存の DT フレームワークは、物理的資産と仮想表現をリンクさせるために確率グラフィカルモデル（PGM）や動的ベイジアンネットワーク（DBN）を利用していますが、しばしば定常的な遷移ダイナミクスを仮定しています。この仮定は、システムが一つの状態から別の状態へ移動する確率が固定されており、事前に既知であることを意味します。しかし、実際には、遷移ダイナミクスは非定常であり、変化する環境条件やモデル化されていない要因に依存する可能性があります。固定された遷移モデルに基づいて事前に計算された最適方策に依存することは、初期仮定が真実と乖離した場合、最適でない意思決定やシステム故障につながる可能性があります。ここで扱われる核心的な問題は、状態遷移モデルに適応性を導入することでデジタルツインの価値実現をどのように向上させるか、すなわち、システムがリアルタイムでダイナミクスを理解し、更新して学習できるようにすることです。

手法

提案されたフレームワークは、動的ベイジアンネットワーク（DBN）アーキテクチャ内で、オンラインベイジアン学習と**パラメトリックマルコフ決定過程（MDP）**を統合しています。

1. 確率グラフィカルモデル（PGM）フレームワーク

物理的資産とそのデジタルツインの相互作用は、意思決定ノードを備えた DBN を用いてモデル化されます。システムは以下のように定義されます：

• 物理状態（$S_t$）： 構造物の健全性に関する隠れた真実。
• デジタル状態（$D_t$）： 推定された健全性状態（損傷の位置と大きさ）を表すカテゴリカル確率変数。
• 観測値（$O_t$）： 深層学習（DL）モデルを介して取り込まれ、$D_t$ に対する信念を更新するセンサーデータ（例：振動記録）。
• 行動（$U_t$）： デジタル状態の遷移に影響を与える制御決定（例：保守、通行制限）。
• 報酬（$R_t$）： 健全性状態と行動コストに基づき、資産 - ツインシステムの有用性を定量化する関数。

情報フローは双方向的です：推論による物理からデジタルへのデータ同化と、計画によるデジタルから物理への制御行動。

2. 遷移ダイナミクスのオンライン学習

核心的な革新は、状態遷移確率を固定されたパラメータではなく、共役事前分布を付与された確率変数として扱う点にあります。

• パラメータ化： 遷移モデルはディリクレ - 多項分布（または特定の場合にはベータ - ベルヌーイ分布）を用いてパラメータ化されます。ある行動 $u$ に対して、遷移確率は $\theta_{d,u} \sim \text{Dirichlet}(\alpha_{d,u})$ としてモデル化されます。
• ベイジアン更新： 新しい観測データと状態遷移が観測されるにつれて、ディリクレ事前分布のハイパーパラメータ（$\alpha$）が閉形式で更新されます。これにより、デジタルツインはオンラインで遷移ダイナミクスを「学習」し、基礎モデルの完全な再訓練を必要とせずに非定常プロセスに適応できます。
• 状態非依存性： 大規模な状態空間に対する計算の実用性を確保するため、本論文は、遷移確率が特定の開始状態ではなく、行動とステップサイズ（例：0、1、または 2 ステップの劣化）に依存する状態非依存の遷移モデルを採用しています。ただし、このフレームワークは状態依存の定式化もサポートしています。

3. 強化学習による動的制御方策

単一の定常方策をオフラインで計算する代わりに、本フレームワークは有限時間 MDP を解くために**モデルベース強化学習（MBRL）**を採用しています。

• 方策の再計算： 各時間ステップにおいて、最適制御方策 $\pi^*_t$ は、現在の（更新された）遷移モデルに基づいて再計算されます。
• 目的： この方策は、構造物の残存寿命全体にわたる期待累積報酬を最大化し、構造的な安全性（健全性報酬）と運用コスト（行動報酬）のバランスを取ります。
• アルゴリズム： 解は、ベルマン最適方程式を解くための値反復（後方帰納法）を利用し、残りの計画期間を考慮した時間依存の最適方策を導き出します。

主な貢献

1. 適応型遷移モデリング： 本論文は、状態遷移確率を共役事前分布を持つ確率変数として扱う手法を導入し、容易なベイジアン更新を通じた階層的な遷移ダイナミクスのオンライン学習を可能にします。これにより、現在の DT 文献で一般的な定常性の仮定が緩和されます。
2. 動的方策最適化： 著者らは、制御方策を MBRL を用いて動的に更新するパラメトリック MDP を定式化しました。これは固定されたダイナミクスに基づく事前計算された方策を超え、DT がシステムの挙動についてより多くを学ぶにつれて意思決定戦略を適応させることを可能にします。
3. 数学的一般化： この研究は、以前のフレームワーク（例：[74]）をより広範な確率分布のクラス（特にディリクレ - 多項分布）に拡張し、複雑な状態空間を持つ広範な実世界の大型システムへの適用を可能にしています。
4. 統合フレームワーク： 本論文は、状態推定のための DL モデルのオフライン訓練から、遷移モデルのオンラインベイジアン更新、そして動的方策の再計算に至るまでの完全な計算パイプラインを提供しています。

結果

この手法は、スウェーデンにある 15.7m のコンクリート橋であるホルネフォス鉄道橋に関する事例研究を通じて評価されました。この研究では、何もしない（DN）、運用制限（RO）、軽微な修理（MR）、完全な修理（PR）といった様々な制御行動を含む 60 時間ステップの寿命をシミュレートしました。

• 性能向上： 100 回のシミュレーションのクラスターにおいて、適応型 DT（精度更新を伴う MBRL を使用）は、固定遷移モデルと標準的な動的計画法（DP）を使用した非適応型 DT に比べ、累積報酬が 17% 高い結果となりました。
• ロバスト性： 適応型フレームワークは、すべてのシミュレーションで故障（損傷が 80% 以上と定義される構造的崩壊）ゼロを示しました。一方、非適応型の方策は、初期事前遷移モデルが真実と十分に整合していない場合に故障を起こす傾向がありました。
• 追跡精度： 適応型 DT は、真の物理状態に対する平均追跡精度93.6%（標準偏差 4%）を達成しました。これは非適応型 counterpart（93.15%）と同等であり、適応性が状態推定の精度を犠牲にすることなく意思決定を改善することを確認しました。
• 収束： 遷移確率の事後分布は、未知の真のダイナミクスに向かって収束し、時間とともに不確実性を大幅に減少させました。システムは、初期事前分布が不正確であった場合でも、自己修正に成功しました。

意義と主張

本論文は、土木工学におけるデジタルツインの効果的な実現にとって適応性が不可欠であると主張しています。DT がオンラインで遷移ダイナミクスを学習できるようにすることで、このフレームワークは、条件が変化しても仮想表現が物理的資産と同期し続けることを保証します。

著者らは、このアプローチが強化されたパーソナライゼーション、増大したロバスト性、向上した費用対効果を提供すると述べています。具体的には、洗練された遷移ダイナミクスに基づいて制御方策を更新する能力により、より情報に基づいた計画が可能となり、構造的故障を防ぎ、保守スケジュールを最適化できます。この研究は、非定常環境に対処できる自律型 DT への一歩として位置づけられており、単純な自動化を超えて、時間とともに変化する条件に効果的に反応できるシステムへと進化しています。著者らは、現在の研究が長期的な劣化に焦点を当てている一方で、将来の研究では極端な事象と部分的な観測可能性に対処し、この適応型フレームワークの適用範囲をさらに拡大すると述べています。