Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs

技術要約：手術室におけるエンボディドAI（身体性AI）

問題提起
現在の手術ロボットは、主に直接的な人間の遠隔操作に依存しており、動的な手術室（OR）環境内での自律的な知覚、推論、および相互作用の能力が制限されている。スクラブテクニシャン（器械出し看護師）の役割は、調整された器具交換を通じて手術の流れを維持するために極めて重要であるが、これには複雑な視覚的認識、文脈理解、およびリアルタイムの相互作用が必要であり、既存の自動化システムでは再現が困難である。従来のロボットによるスクラブシステムは、主にルールベースのビジョンや固定されたレイアウトを用いた一方通行の器具配送に焦点を当てており、双方向の交換（受け渡しと回収）や、タスクの完全な再初期化を伴わずに干渉から回復する能力を欠いていた。

手法
著者らは、Vision-Language-Action（VLA）モデルを用いて、手術器具の受け渡し（ハンドオフ）および回収（テイクバック）を実行するように設計された、音声対話型ロボットスクラブテクニシャン・プラットフォームを開発した。

• システムアーキテクチャ: システムは、リアルタイムのマルチカメラ観測と統合されたバイマニュアル（両腕）ロボットプラットフォームを利用している。コアとなる学習アーキテクチャは、事前学習済みの π0.5 モデル（Physical Intelligence社開発）に基づいており、カスタムデータセットを用いてエンドツーエンドでファインチューニングされている。
• データ収集: モデルは、350回の人間による遠隔操作デモンストレーションを用いた模倣学習を通じて訓練された。これらのエピソードには、同期されたビデオ観測、外科医の音声コマンド、および器具の受け渡しと回収タスクにおけるロボットの関節動作が含まれている。
• 音声インターフェース: 自然な対話を可能にするため、システムは自動音声認識（ASR）に Whisper large-v2 を、テキスト読み上げ（TTS）合成に Cartesia API を統合している。これにより、外科医は音声コマンド（例：「鉗子を渡して」）を発することができ、ロボットから音声による応答を受け取ることができる。
• ワークフロー: 自律パイプラインは、以下の4つのステージで構成される。
  1. コマンド解釈: 音声をテキストに書き起こす。
  2. 器具のローカライゼーション: 可変的なトレイ構成の中から要求された器具を特定する。
  3. ロボットによる把持: 安全な把握を行う。
  4. 受け渡し／回収: 器具を外科医の手元へ運ぶ、またはトレイへと戻す。
• 評価プロトコル: システムは、シミュレーションされた手術室環境において、5つのタスク（ニードルドライバーの受け渡し、鉗子の受け渡し、ニードルと縫合糸の受け渡し、ニードルドライバーの回収、鉗子の回収）を含む 100回の自律試行 でテストされた。各タスクには、「既知」のトレイ構成（訓練時に存在したもの）での10試行と、「未知（ホールドアウト）」の構成での10試行が含まれている。

主な結果

• 全体的なパフォーマンス: システムは 81%のエンドツーエンド成功率（100試行中81回）を達成し、成功した試行の平均完了時間は7.1 ± 1.4秒であった。
• タスク別の成功率:
  • 回収タスク: 非常に信頼性が高く、ニードルドライバーと鉗子の両方の回収において 95%の成功率 を示した。
  • 受け渡しタスク: 鉗子の受け渡しは 85%、ニードルドライバーの受け渡しは 80% の成功率であった。ニードルと縫合糸の受け渡しは 50% であった。
• 汎用性: 「未知」のトレイ構成でテストした際、パフォーマンスは低下した。既知のレイアウトでの成功率 92% から、未知のレイアウトでは 70% に減少した。この低下は受け渡しタスクで最も顕著であり（86.7%から56.7%へ）、一方で回収パフォーマンスは比較的安定していた（100%から90%）。
• 段階別分析: 音声コマンドの解釈は 99% の試行で成功した。安全な把持が達成された後、ダウンストリームの操作（輸送、方向付け、解放）は 82試行中81試行 で成功しており、主要な失敗点は軌道の実行ではなく、視覚的なローカライゼーションと把持の取得であることを示している。
• 失敗モード: 主要な失敗モードは 把持の失敗（ミスド・グラスプ）（失敗の57.9%）であり、次いでポリシーのタイムアウト（21.1%）、不適切な器具選択（10.5%）であった。不安定な把持、不適切な最終方向、または緊急停止を必要とする安全停止による失敗は認められなかった。

主な貢献

1. 統一された双方向ポリシー: 器具の配送のみに焦点を当てた従来のシステムとは異なり、本研究は器具の配送と回収（テイクバック）の両方を実行できる単一の学習済みポリシーを実証している。これは、スクラブテクニシャンの業務の全ループを反映している。
2. 音声対話型エンボディドAI: ASRとTTSの統合により、ロボットがコマンドを音声で確認するというマルチモーダルなコミュニケーションループが作成され、ロボットの意図が手術チームにとって観察可能なものとなっている。
3. エンドツーエンドのファインチューニング: 本研究では、以前のアプローチ（例：RoboNurse-VLA）で必要とされた個別の手動アノテーション付き検出またはセグメンテーションモジュールを回避し、遠隔操作データに直接ファインチューニングされた π0.5 基盤モデルを使用している。
4. 回復能力: システムは、完全なタスクの再初期化を行うことなく、干渉や実行エラーから回復する能力を示し、更新された視覚的観測に基づいて動作を適応させた。

意義と主張
著者らは、本研究を、エンボディドAIが音声条件付きの双方向の外科器具交換を実行できることを示す 概念実証（プルーフ・オブ・コンセプト） と位置づけている。本研究は、現在のシステムの主な限界は、軌道の実行（一度把持が確保された後の動作）ではなく、把持の取得（特に針と縫合糸のような小さく複雑なターゲット）および未知の空間構成への汎用性にあると主張している。

本プラットフォームは、手術室における 共適応的な人間と機械のパートナーシップ への初期のステップであると断言している。これは、技術が代替ではなく 補助 を目的としていることを強調しており、人間が滅菌、臨床的判断、および予期せぬ事態への管理の責任を保持しつつ、反復的な交換によるワークロードを軽減し、調整を改善することを目指している。著者らは、システムが意味のある汎用性を示しているものの、臨床への導入には、完全なバックテーブル管理への統合の前に、拡張されたトレーニングデータ、現実的なワークフロー評価、および厳格な安全性検証が必要であると結論づけている。