CarePilot: 医療分野における長期的なコンピュータタスク自動化のためのマルチエージェントフレームワーク

技術的サマリー（日本語）

本論文は、医療ソフトウェア生態系における複雑で長期的なタスクの自動化を可能にする新しいフレームワーク「CarePilot」と、それを評価するためのベンチマーク「CareFlow」を提案するものです。大規模言語モデル（LLM）や視覚言語モデル（VLM）の進歩により、一般的な GUI 操作は自動化されつつありますが、医療分野特有の複雑なワークフローや厳格なコンプライアンス要件に対応した「長期的（Long-Horizon）」な自動化には依然として課題が残っていました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

医療現場では、DICOM 画像ビューア、電子カルテ（EHR/EMR）、検査情報システム（LIS）、画像注釈ツールなど、多様な専門ソフトウェアをまたぐ複雑なワークフローが日常的に行われています。

• 課題: 既存のマルチモーダルエージェントは、短期間のタスクや一般的なデスクトップ操作にはある程度成功していますが、医療分野のような「部分的観測性（Partial Observability）」が高く、10〜24 段階の依存関係を持つ長期的なタスクにおいては性能が著しく低下します。
• ボトルネック:
  • 医療ソフトウェアの UI は頻繁に更新され、組織ごとにカスタマイズされるため、表面のレイアウトに過剰適合（Overfitting）するエージェントは脆い。
  • 長期的な文脈の維持、ツールの適切な接地（Grounding）、および各ステップでの論理的推論が不足している。
  • 医療分野に特化した、実世界のワークフローを反映した評価ベンチマークが存在しない。

2. 提案手法 (Methodology)

2.1 ベンチマーク：CareFlow

既存の GUI ベンチマークを医療分野に拡張し、専門知識を要する長期的タスクを評価するための高品質なデータセットです。

• 構成: DICOM ビューア（Orthanc, Weasis）、画像注釈ツール（3D Slicer）、EHR システム（OpenEMR）、検査情報システム（OpenHospital）の 4 つの主要システムを対象としています。
• 規模: 1,100 件のタスク（トレーニング 735、テスト 315）。各タスクは 8〜24 段階の連続した GUI スクリーンショットと、自然言語で記述された目標から構成されます。
• アノテーション: 医療専門家と協力して作成され、各ステップで「次の意味的アクション（CLICK, SCROLL, ZOOM, TEXT, SEGMENT, COMPLETE）」がラベル付けされています。

2.2 フレームワーク：CarePilot

CarePilot は、Actor-Critic（アクター・クリティック） パラダイムに基づいたマルチエージェントフレームワークであり、以下の 3 つの主要コンポーネントを統合しています。

1. ツール接地（Tool Grounding）:

   • 視覚的な UI 理解を強化するため、4 つの軽量ツールモジュールを統合しています。
     • UI オブジェクト検出: ボタンやアイコンの位置特定。
     • ズーム/クロップ: 小さなコントロールの拡大表示。
     • OCR: 患者名、検査 ID などのテキスト抽出。
     • テンプレートマッチング: アイコンや図形の認識。
   • これらの出力を統合し、エージェントに「接地された（Grounded）」知覚信号を提供します。

2. 二重メモリ機構（Dual-Memory Mechanism）:

   • 短期メモリ（Short-Term Memory, STM）: 直前のステップ（スクリーンショット、実行されたアクション、クリティックからのフィードバック）を要約し、直近の文脈を保持します。
   • 長期メモリ（Long-Term Memory, LTM）: 過去の重要な状態、アクション、結果、およびツール接地の特徴を圧縮して保持し、長期的な一貫性を保ちます。
   • この機構により、エラーの蓄積を防ぎ、複雑なワークフロー全体での意味的一貫性を維持します。

3. Actor-Critic 構造と階層的リフレクション:

   • Actor（アクター）: 現在のスクリーンショット、指示、メモリ、ツール出力に基づき、次の意味的アクションを予測します。
   • Critic（クリティック）: Actor の提案を評価し、実行結果や検証フィードバックに基づいて正誤を判定します。
   • 階層的リフレクション（Hierarchical Reflection）: 誤りが検出された場合、3 つのレベルで反省を行います。
     • Action Reflector: 直近のステート変化から局所的な接地エラーを検出。
     • Trajectory Reflector: 直近のステップ系列から進捗の停滞や前提条件の違反を診断。
     • Global Reflector: 全体の軌跡から目標との整合性を評価。
   • 学習戦略: 訓練時には Actor と Critic が対話して軌跡を生成し、Critic のフィードバックを Actor に蒸馏（Distillation）します。推論時には、Critic を含まずに単一の Actor が、Critic の推論能力を内部化して高速に動作します。

3. 主要な貢献 (Key Contributions)

1. タスク定義: 医療ソフトウェアにおける長期的なコンピュータ自動化タスクの新しい定義と定式化。
2. ベンチマーク CareFlow: 医療専門家が注釈した、4 つの主要臨床システムにまたがる 1,100 件の高品質な長期的ワークフローデータセット。
3. フレームワーク CarePilot: ツール接地と二重メモリ（短期・長期）を統合した、Actor-Critic 型のマルチエージェントフレームワーク。
4. SOTA 性能の達成: 既存の強力なオープンソース・クローズドソースモデルを大幅に上回る性能の実証。

4. 実験結果 (Results)

CareFlow ベンチマークおよび分布外（OOD）データセットでの評価結果は以下の通りです。

• 全体性能:
  • CarePilot（Qwen 3 VL-8B ベース）は、タスク精度（Task Accuracy）で 51.45%、ステップ精度（Step-Wise Accuracy）で 90.18% を達成しました。
  • 既存の最強のクローズドソースモデル（GPT-5）と比較して、タスク精度で約 15.26%、ステップ精度で約 4.96% 上回りました。
  • 既存のオープンソースモデルと比較しても、タスク精度で約 3.38% 上回る結果となりました。
• 分布外（OOD）性能:
  • 学習データに含まれていない「OpenHospital」システムでの評価でも、CarePilot は GPT-5 や Gemini 2.5 Pro などの強力なベースラインを凌駕し、タスク精度 38.18% を記録しました。
• アブレーション研究:
  • Critic の重要性: Critic を除去した場合、タスク精度は 48.90% から 3.75%（ツールなし）または 12.5%（ツールあり）まで急落しました。これにより、階層的リフレクションの重要性が示されました。
  • ツールの重要性: ツール接地（Tool Grounding）を除去すると精度が大幅に低下し、特に OCR とツールメモリ（TM）が重要であることが判明しました。
  • メモリ: 長期メモリ（LTM）を除去すると短期メモリ（STM）を除去する場合よりも性能低下が大きく、長期的な文脈維持の重要性が示されました。

5. 意義と結論 (Significance)

• 医療 AI の実用化への道筋: 本研究は、医療現場の複雑なソフトウェア操作を自動化する「信頼性が高く、解釈可能で、一般化可能な」マルチモーダルエージェントの構築に向けた重要な一歩です。
• 安全性と効率性: CarePilot は、誤った操作（例：ズームとクリックの混同、不適切な注釈）を減らし、医療従事者の負担を軽減し、データ完全性を維持する可能性があります。
• 今後の展望: 現在は 5 つのプラットフォームに限定されていますが、将来的にはより多様な医療システムへの対応、ピクセルレベルの接地、多言語ワークフローのサポートが期待されます。

総じて、CarePilot は、医療という高リスクかつ高複雑性のドメインにおいて、長期的な推論と適応的な行動を可能にする新しいパラダイムを示しており、臨床ワークフローの自動化における画期的な進展と言えます。