技術概要：手術フィードバックの品質を評価するためのマルチエージェント LLM フレームワーク

問題提起

手術室（OR）における指導医から研修医への口頭フィードバックは、技能の習得と手術成績にとって極めて重要である。しかし、このフィードバックの「内容」だけでなく、「どのように伝達されたか」という品質を体系的に評価することは、依然として重大な課題である。先行研究は主に、手動アノテーションやキーワード分析、トピックモデリングなどの自動化手法を用いてフィードバックの「内容」（例えば、解剖学的参照、器具の扱いなど）を分類することに焦点を当ててきた。これらの既存のアプローチは、フィードバックの有効性を理解するために不可欠であるが、明確さ、緊急性、適時性、感情的トーンといった微妙な伝達属性を捉えることができない。さらに、手動アノテーションは労働集約的で拡張性がなく、既存の自動化手法は臨床言語に対する感度が不足しており、異なるトーンや緊急性で伝えられた同一の指示タスクを区別する能力を欠いている。

手法

著者は、解釈可能なフィードバック品質基準を発見し、手術フィードバックを自動的にスコアリングするために設計された、2 段階の大型言語モデル（LLM）ベースのフレームワークを提案する。このパイプラインは、マルチエージェントプロンプティング、ドメイン知識の注入、および「LLM を裁判官として（LLM-as-a-judge）」のアプローチを統合している。

1. 基準発見フェーズ

発見プロセスは、評価基準を生成し統合するためのマルチエージェント戦略を利用する：

• ドメインガイド型開始： GPT-4o エージェントに、手術フィードバックの成果（行動調整、口頭承認、指導者の承認）とフィードバック自体の正式な定義をシードする。また、ラベル付けされていないフィードバック例の小さな部分集合（データセットの 1% 未満）を提供し、類推推論を通じて関連する評価次元を推測させる。
• マルチエージェント生成： 多様性を促すために高いサンプリング温度（$T=1.0$）で設定された 5 つの独立した GPT-4o エージェントが、候補となる品質次元を独立して提案する。各エージェントは、単一の書き起こされたフィードバック行に基づいてのみ、5 段階の行動基準評価尺度（BARS）でスコアリング可能な抽象的で一般化可能な基準を定義するよう指示される。
• 基準統合： 全エージェントからの候補基準を全データセットに適用する。階層的クラスタリングアルゴリズム（単一リンク法、ユークリッド距離）が意味的に類似した基準をグループ化する。最適なクラスタ数（$k=6$）はシルエット係数を通じて決定される。最終的な GPT-4o インスタンス（決定論的モード、$T=0.0$）が、各クラスタの統合された定義と BARS アンカーを合成し、再現性と重複の排除を確保する。

2. 基準統合と検証

このプロセスにより、6 つの解釈可能なフィードバック品質次元が導き出された：

1. 励起（Encouraging）： 自信を高める支援的なトーン。
2. 緊急性（Urgent）： 即座の行動が必要であることを示すコミュニケーション。
3. 実行可能性（Actionable）： 研修医が実施できる明確で具体的なステップ。
4. 適時性（Timely）： 行動中または直後に提供されたフィードバック。
5. 明確さ（Clear）： 単純で曖昧さのないメッセージング。
6. 内省（Reflective）： 自己評価や深い洞察を促すもの。

3. 自動スコアリングと評価

• LLM を裁判官として： 最終的な 6 次元のルーブリックを用いて、GPT-4o により 4,210 件のライブ手術フィードバック事例をスコアリングする。モデルは各次元に対して 1 から 5 のスコアを割り当てる。
• 予測モデリング： 著者は、これらの AI 派生スコアが 4 つの行動成果（研修医の行動変化、研修医の口頭反応、指導者の承認、指導者の不承認）を予測する能力を評価した。彼らは、5 層の層化交差検証を用いたランダムフォレスト分類器を用いて、そのモデルを先行するトピックモデリングアプローチおよび手動アノテーションされた人間のカテゴリと比較した。
• 人間-AI 整合性： ドメイン知識を持つ 2 人の人間評価者が、AI によって発見されたルーブリックを用いて 30 件の事例の部分集合をスコアリングした。人間間、AI 実行間、および人間と AI 間の合意度を測定するために、二乗加重カッパ（$\kappa$）を用いて評価者間信頼性を評価した。

主要な結果

予測性能

AI によって発見された品質基準は、先行手法と比較して優れた予測能力を示した：

• 単独性能： 6 つの品質スコアのみを使用した場合、モデルは研修医の行動変化で AUROC スコア 0.75、口頭反応で 0.71、指導者の承認で 0.66、指導者の不承認で 0.60 を達成した。
• 比較改善： 先行するトピックモデリング特徴量と組み合わせた場合、AI スコアは研修医の行動変化の予測を 12%（AUROC 0.77）、指導者の不承認の予測を 11%（AUROC 0.63）改善した。先行する人間定義のカテゴリと組み合わせた場合、すべての成果において 3% から 12% の改善が見られた。
• 統計的有意性： デロング検定により、AI 派生品質スコアを追加することが、ほとんどの成果においてトピックモデリングおよび人間定義カテゴリに対して統計的に有意な改善（$p < 0.05$）をもたらしたことが確認された。

人間-AI 整合性

• 一貫性： AI 実行はほぼ完璧な内部一貫性を示した（$\kappa = 0.92–1.00$）。
• 整合性： 6 つの基準のうち 5 つ（励起、緊急性、実行可能性、明確さ、内省）において、人間-AI 間の合意は実質的であった（$\kappa = 0.60–0.79$）。これは人間間の合意レベルに近づいている。合意度は「適時性」において低かった（$\kappa = 0.54$）が、これは時間的側面を判断することの固有の難しさを反映している。

成果との関連性

特定の品質次元と成果との関係性の分析は、明確なパターンを明らかにした：

• 行動調整： 実行可能性（RR=1.22）、適時性（RR=1.24）、および緊急性（RR=1.11）のフィードバックと強く関連していた。逆に、励起および内省のフィードバックは行動調整の減少と関連しており、これはおそらくそれらが即座の修正ではなく、正しい行動を肯定するか、長期的な洞察を刺激するためである。
• 口頭承認： 内省（RR=1.34）および明確さ（RR=1.13）のフィードバックと強く関連していた。励起および適時性のフィードバックは、口頭承認の減少と関連していた。

意義と主張

本論文は、手術教育およびコミュニケーション分析の分野を以下のいくつかの点で進展させると主張している：

1. 新規発見メカニズム： 事前定義された分類体系や教師なしクラスタリングに依存する先行研究とは異なり、このフレームワークは、実世界の臨床相互作用に基づいた新規かつ人間に解釈可能なスコアリング基準を発見するために、2 段階の LLM ガイド戦略を使用する。
2. 拡張性と解釈可能性： このフレームワークは、広範な手動アノテーションを必要とせずにフィードバック伝達品質を評価するための拡張可能な自動化手法を提供する。BARS の使用により、基準が人間と機械の両方によって解釈可能であることが保証される。
3. 臨床的関連性： 発見された次元は単なる言語的特徴ではなく、行動に基づいており、研修医の行動調整および指導者の反応との統計的に有意な関連を示している。
4. 実用的応用： 著者は、このフレームワークがポイント・オブ・ケア・ダッシュボード、縦断的カリキュラム分析、および自動品質保証監査の基盤となり得ると提唱している。これは術中教育の効果を向上させる道筋を提供し、指導者の育成を支援する。
5. 一般化可能性： 手術室向けに開発されたものであるが、著者は、入力テキストベースであれば、ICU ラウンドや遠隔医療など、口頭指導に依存する他の臨床設定にもこのパイプラインを一般化できると示唆している。

著者は限界に関して控えめな立場を維持しており、分析はプロソディックまたは視覚的手がかりを除外してテキストのみに依存していること、評価が回顧的であったこと、およびルーブリック発見がプロプライエタリモデル（GPT-4o）に依存していたことを認めている。ただし、オープンソースモデルによる再実装を可能にするため、最終ルーブリックは公開されている。