Cyber-Physical Orchestration of Emergency Department Services Through a Bidirectional Digital Twin and a Deep Reinforcement Learning Agent: Architectural Design, In SilicoValidation, and Critical Analysis of Performance Under Demand Stress

技術要約：救急部門サービスのサイバー・フィジカル・オーケストレーション

問題提起
病院の救急部門（ED）は、確率的な需要と固定された短期的キャパシティによってボトルネックが生じ、臨床的安全性を損なう非定常なマルチクラス・キューイング・システムとして機能している。予測機械学習（ML）モデルは、臨床的リスクや到着ボリュームを予測する上で従来のトリアージ尺度よりも優れていることが証明されているが、それらの予測を実行可能なディスパッチ決定へと変換するインダストリアル・エンジニアリング・モデルと運用面で結合されることは稀である。既存の文献では、予測と最適化をデカップル（分離）されたフェーズとして扱うか、あるいはサービスの動的な飽和軌道に適応できない静的なサービス規律（例：先入れ先出し方式）に依存していることが多い。この断絶により、システムをリアクティブ（反応型）な管理から、リアルタイムで混雑を緩和できるプレディクティブ（予測型）・プリスクリプティブ（処方型）なモデルへと移行させることが妨げられている。

手法およびアーキテクチャ
著者らは、予測・決定・実行・フィードバックのループを閉じるために、3つの収束するコンポーネントを統合したサイバー・フィジカル・アーキテクチャを提案し、実装している。

1. 能動的双方向デジタルツイン： 離散事象シミュレーション（DES）エンジン（SimPy）上に実装されたデジタルツインは、物理的なEDと高頻度の双方向同期（$\Delta t \le 30$ 秒）を維持する。これはテレメトリ（待ち行列、占有率、生理学的信号）を取り込み、確率的なシナリオ・アンサンブル（先読み投影）を決定レイヤーへと押し戻す。シミュレーションは、到着に対しては非定常ポアソン過程を、サービス時間に対しては対数正規分布を使用し、文献パラメータを用いて較正されている。
2. 深層強化学習（DRL）エージェント： 動的なディスパッチ問題は、17次元、6アクションのマルコフ決定過程（MDP）として定式化されている。
   • 状態空間： ESIレベルの待ち行列、リソース占有率（ベッド、病室、画像診断）、時刻、総患者数、および集約された生理学的信号（酸素飽和度、心拍数）を集約した正規化ベクトル。
   • アクション空間： エージェントは、個々の患者のルーティングではなく、6つの複合ディスパッチ・ポリシー（例：厳格なESI優先、クリティカル・ケース強化、軽症者向けファストトラック、画像診断優先）を選択することで、次元を削減しつつ臨床的な解釈可能性を維持する。
   • 報酬関数： クリティカルな患者の待ち時間、滞在時間（LOS）、ピーク占有率、スループット、および重症度レベル間の待ち時間の公平性指標（ジニ係数に基づく）を重み付けした多目的関数。
   • アルゴリズム： エクスペリエンス・リプレイ、ターゲット・ネットワーク、およびHuber損失を備えたDeep Q-Network（DQN）が、デジタルツイン環境内で学習される。
3. 説明可能なAI（XAI）レイヤー： 臨床現場への導入障壁に対処するため、Shapley値（SHAP）に基づくレイヤーが、エージェントの推奨事項を聴衆（臨床家 vs 管理者）ごとに差別化されたナラティブへと翻訳し、各決定を駆動する共変量を説明する。

本システムは、MLOpsライフサイクルを含むFastAPIマイクロサービスとしてデプロイされており、推奨事項がログに記録されるものの、臨床的一致性の閾値を満たすまで自動的に実行されない「シャドーモード」での実行を含む。

実験的検証および結果
検証は、4つのディスパッチ・ポリシー（ESI-FIFO、SRPT、複合ヒューリスティック、DQN）と4つの運用シナリオ（ベースライン、需要+40%、リソース-25%、複合ストレス）にわたるモンテカルロ再試行（10個の独立したシード）を通じて行われた。

• ストレス下でのパフォーマンス： 需要+40%のストレス・シナリオにおいて、DQNポリシーは、静的なポリシーと比較して、投影されるピーク占有率を76.2人から67.4人へと減少させた（11.5%の削減）。この改善は、平均滞在時間（98.31 vs 98.48 分; $p=0.878$）やスループットに統計的に有意なペナルティを与えることなく達成された。
• ベースラインのパフォーマンス： 定常負荷の下では、適応型ポリシーは静的な規律に対して統計的に有意な優位性を示さなかった。これは、飽和状態に達していない場合にはサービス規律の影響が限定的であるという待ち行列理論の予測と一致している。
• 重要な方法論的知見（計装アーティファクト）：
  • リトルの法則による分析： リトルの法則（$L = \lambda W$）を用いた再分析により、ストレス下における推定平均患者数（$\approx 30.6$）が設置キャパシティ（25ベッド）を超えており、利用率因子 $\rho \approx 1.23$ を示していることが判明した。これは、現在のデジタルツインのバージョンにおいて「ハードキャパシティ・ブロッキング」メカニズムが欠落していることを示しており、シミュレーションが物理的制約を無視して患者フローを継続させている、つまり待ち行列のダイナミクスと物理的制約がデカップルされていることを意味する。したがって、LOSがディスパッチ・ポリシーに対して無感であったことは、システム特性ではなく、モデルのアーティファクト（人工的な現象）であった。
  • 公平性指標の退化： 報告された公平性指標（$E=0.000$）は、5つの重症度クラスに対して数学的に到達不可能（理論的最小値 $E=0.20$）であることが特定された。これは、指標がデフォルトでゼロを返す計装上のアーティファクトに起因しており、その結果、報酬関数における公平性項が学習中に実質的に機能不全となっていた。

主要な貢献
本論文は、以下の5つの明確な貢献を特定している。

1. アーキテクチャ的貢献： 高頻度の双方向同期を備えた3層のサイバー・フィジカル・システムであり、エージェントの学習と検証の両方に同一のDESエンジンを使用している。
   2.ら 定式化： 個々の患者ではなく、複合ポリシーを対象とした動的ディスパッチをMDPとして定式化し、次元削減と解釈可能性のバランスを実現している。
2. 経験的貢献： 適応型ディスパッチの価値は、混雑が最大の臨床リスクをもたらすヘビー・トラフィック・レジーム（高負荷領域）に集中することを実験的に確認した。
3. 方法論的貢献： システムの指標を理論的一貫性テスト（リトルの法則、ジニ係数の境界）にさらすことで、好ましい結果を得るために隠蔽するのではなく、計装アーティファクトを特定・露出させることに成功した、批判的な検証プロトコルを確立した。
4. ガバナンス： 臨床的一致性の閾値（$\ge 80\%$）を必要とする、定義されたシャドーモード・デプロイメント・プロトコル。

意義および主張
著者らは、本研究の中心的な貢献は、個々のコンポーネント（デジタルツイン、DRL、XAI）そのものではなく、それらが監査可能なクローズドループ・システムの中でアーキテクチャ的に収束している点にあると主張している。論文は、好ましい結果を捏造することよりも、システムの欠陥（キャパシティ・ブロッキングの欠如や退化した指標など）を露出させることを優先する「批判的検証プロトコル」を重視している。

著者らは現在のシステムの完成度については謙虚な姿勢を崩しておらず、観察されたピーク占有率の改善は、現在のキャパシティ・ブロッキングの欠如を考慮すると、滞在時間の短縮ではなく、患者数の制御（ピーク対平均比の低減）として解釈されるべきであると明示している。彼らは、本システムはまだ実世界の展開には準備が整っていないと結論付け、ハードな容量制約の実装、指標の修正、収束のためのトレーニング予算の拡大、および実在する病院データを用いた外部検証を優先事項とする、5段階のロードマップを提示している。