Modeling Bounded Rationality in Drug Shortage Pharmacists Using Attention-Guided Dynamic Decomposition

技術的サマリー：注意誘導型動的分解を用いた医薬品不足における薬剤師の限定合理性のモデル化

問題定義
医薬品不足を管理する病院薬剤師は、不確実な供給動向、ノイズの多い需要シグナル、時間的圧迫という特徴を持つ、高リスクかつ部分的に観測可能な環境で活動している。この意思決定問題は、不確実な在庫レベル、変動する利用率、信頼性の低い供給業者の納期見積もりを伴う数百種類の医薬品を管理することを含む。この問題に対する従来のアプローチ、例えば部分観測マルコフ決定過程（POMDP）は、固定された状態空間全体にわたって行動を最適化しようとする。しかし、状態空間の指数関数的な増大により、これらの手法は現実的な医薬品不足の状況では計算上扱いが不可能である。さらに、実務薬剤師へのインタビュー調査により、人間の専門家はグローバルな最適化を行わず、代わりに限られた数の緊急医薬品に認知的努力を動的に配分し、残りを受動的に監視していることが明らかになった。既存の意思決定支援モデルは、この選択的注意メカニズムを捉えることができておらず、専門家が優先順位形成を理解するために必要な説明可能性も提供していない。

手法
著者は、固定された状態表現における行動の最適化から、状態変数間における計算資源の配分の制御へと、意思決定問題を再定義する計算フレームワークを提案する。このアプローチは、限定合理性と認識主導型意思決定（RPD）理論に基づいており、専門家はパターン認識を用いて問題を高リスクサブセットと低リスクサブセットに分解することを示唆している。

このフレームワークは、医薬品の集合を動的に 2 つのサブセットに分解する注意誘導型計画メカニズムを導入する：

1. 高緊急性サブセット：オンラインプランナーを用いた深層的かつ高コストな推論のために選択される少量の医薬品。
2. 低緊急性サブセット：低コストな監視の対象となる補完的な医薬品の集合。

選択は、各医薬品に対する緊急性スコア（$U_i$）によって駆動され、正規化された成分の重み付き和として計算される：
$$U_i = U_{runway}(s_i) + \sum_{f \in F \setminus \{runway\}} \beta_f \cdot U_f(s_i, f)$$
ここで、$U_{runway}$ は残存供給週数を表し、他の項（$U_f$）は在庫・利用率の不確実性、非典型的な利用率レベル、臨床的影響、過去の不足履歴を捉える。重み（$\beta_f$）は各特徴量の寄与度を決定する。

このフレームワークを検証するために 2 つのエージェントが開発された：

• 専門家エージェント：薬剤師との半構造化インタビューから直接導き出された注意重みをエンコードする。これらの重みは認知的な基準として機能し、供給リスクや供給の不確実性といった専門家によって特定されたシグナルに基づいて医薬品を優先順位付ける。
• 学習エージェント：REINFORCE 型の更新を用いて、時間とともに注意重み（$\beta$）を適応させる。行動選択ポリシーを学習するのではなく、この学習エージェントは移動基準に対する観測された報酬に基づいて注意配分重みを調整する。これにより、エージェントは解釈可能な注意メカニズムを維持しつつ、不確実性下で安定した意思決定を最もよく支援する優先順位付け要因を学習することができる。

実験設定
モデルは、部分的な観測性と確率的な動向を伴うシミュレーションされた週次医薬品不足シナリオで評価された。シミュレーションには $n=19$ 種類の医薬品が含まれ、異なる時間範囲を持つ 3 つのシナリオセットが含まれていた：

• セット 1：3 週間の時間範囲（制御された擾乱）。
• セット 2：10 週間の時間範囲（累積効果と遅延した結果）。
• セット 3：52 週間の時間範囲（長期的な安定性とストレステスト）。

エージェントは、ランダムエージェント、低供給週数を優先するギリーエージェント、固定された薬剤師由来のルールを使用するヒューリスティックエージェント、完全な状態オンライン計画を行うフル POMDP エージェントという 4 つの基準と比較された。

主要な結果

• 計算効率：注意誘導型エージェントは、フル POMDP 基準と比較して計画時間を大幅に短縮した。セット 1 では、週あたりの計画時間が 0.59 秒から約 0.3 秒に低下し、セット 2 では 2.11 秒から約 0.7 秒に低下した。この効率性の向上は、深層計画を高緊急性医薬品の焦点化されたサブセットに制限することに起因する。
• パフォーマンスの安定性：専門家エージェントは、すべてのシナリオセット、特に長期的なシナリオ（セット 3）において、静的な基準（ギリーおよびヒューリスティック）を上回った。ヒューリスティックエージェントは 4 回の欠品と莫大な負の報酬（-490 万）を被ったのに対し、専門家エージェントは欠品をゼロに抑え、総報酬 36,236 を達成した。
• 学習能力：学習エージェントは、すべてのセットで専門家エージェントと同等のパフォーマンスを達成した（例：セット 3 の報酬：36,448 対 36,236）一方で、注意重みを成功裡に適応させた。学習エージェントの重みの進化の分析は、時間とともに使用量と使用量の不確実性を優先する方向へシフトしたことを示しており、需要側のシグナルが長期的な安定性にとって決定的になることを示唆している。
• 限定された焦点：両方のエージェントは、52 週間のシナリオ全体を通じて、最大 8 種類の医薬品という限定された焦点集合を維持し、包括的な状態推論なしに安定した意思決定が達成可能であることを実証した。

意義と主張
本論文は、高次元かつ部分的に観測可能な意思決定問題において、主要な意思決定は「何を」実行するかではなく、「どこに」認知的推論の努力を配分するかであると主張する。著者は、これらの領域において強力なパフォーマンスを得るために、グローバルな最適化戦略が厳密には必要ではないと論じる。代わりに、注意誘導型の満足化戦略は、状態空間を動的に分解することで問題の複雑さを低減し、意思決定の質や安定性を犠牲にすることなく計算可能性を達成しうる。

このフレームワークは、観察された人間の専門家の行動と整合する、完全状態 POMDP に対する計算的に実行可能な代替案を提供する。それは、優先順位がどのように形成され更新されるかを明示的にモデル化することにより、説明可能性のメカニズムを提供する。著者は、モデルがシミュレーションベースであり、単純化されたサプライチェーン動向を使用しているが、一般的な認知原則を確立していると指摘している：問題が包括的に計画するには大きすぎる場合、効果的なエージェントは自らの推論の範囲を明示的に管理しなければならない。今後の課題として、実際の運用データによる予備的検証と、より豊かな社会的動向および病院間調整の組み込みが必要とされている。