技術概要：TouchMap-OR

問題定義

医療処置中の病原体伝播は、医療従事者、患者、医療機器間の手と表面の相互作用によって著しく促進されます。現在の感染予防慣行は手動観察に依存しており、労働集約的であり、バイアスを受けやすく、詳細な接触履歴を再構築するための時間分解能を欠いています。最近の自動化システムは手指衛生イベントやディスペンサーの使用を検出できますが、伝播経路を支配する手、表面、患者間の特定の接触シーケンスを観測することはできません。さらに、既存のコンピュータビジョンアプローチにおける手と物体の接触は、可視な皮膚、最小限の遮蔽、制御された環境を前提としていますが、手術用手袋が皮膚の手がかりを隠し、手は頻繁に器具や人員によって遮蔽される手術室では、これらの条件はめったに満たされません。

対処される中核的な課題は、重篤な遮蔽、散乱、複数の医療従事者の存在にもかかわらず、実際の手術室におけるアイデンティティが解決された手–表面相互作用の再構築、すなわち、誰が、どこで、どの表面を、どのくらいの間触れたかを決定することです。

手法：TouchMap-OR

TouchMap-OR は、医療従事者、関節のある手、意味環境構造を共同モデル化するメトリック 3D 表現を再構築するように設計されたマルチビュー RGB-D ビジョンシステムです。パイプラインは 4 つの主要な段階で構成されます。

1. 意味的 3D 部屋モデリング

接触イベントを局所化するために、システムは手術室の統合された意味的 3D モデルを構築します。

• セグメンテーション: 較正された RGB-D カメラは、主要な表面（例：患者、モニター、毛布、チューブ）のためのスパースな手動注釈ポイントプロンプトを用いて SAM2 で 2D セグメント化されたストリームを捕捉します。
• 融合: セグメント化されたインスタンスは 3D に逆投影されます。すべてのカメラからの点は、ボクセルダウンサンプリング（10 mm 解像度）と意味ラベルの多数決投票を介して共通の世界座標系で融合され、統合された意味点群（$S_t$）を生成します。この点群は、効率的な最接近表面クエリのために KD 木でインデックス付けされます。

2. カメラ別検出とメトリック整合

各カメラは独立して身体と手のポーズを推定します。

• 身体ポーズ: 多人数 2D スケルトン推定には RTMO が使用されます。
• 手の幾何学: MANO ベースの推定器である WiLoR は、単一の RGB 画像から関節のあるハンドメッシュを予測します。
• メトリック整合: ハンドメッシュをメトリックカメラ座標系に配置するために、システムは遮蔽を拒絶するために RANSAC を用いて Sim(3) 整合（スケール、回転、並進）を介して対応する深度マップに再構築を適合させます。これにより、メトリック整合されたハンドメッシュ（$H^{(i,t)}_{cam}$）が得られ、整合残差に基づく信頼性スコアとともに手のアンカー（手掌中心、指先）が抽出されます。

3. マルチビュー関連付けと 3D 人物追跡

システムは、安定したアイデンティティを持つグローバルに整合した多人数 3D スケルトントラックを生成します。

• 関連付け: 3D トラックは画像平面に投影され、平均関節ピクセル誤差（MPJPE）を用いて 2D 検出とマッチングされます。ハンガリー法が 1 対 1 のマッチングを解決します。
• 3D 再構築: マッチした関節は、エピポーラ整合を強制してビュー間で重み付き非線形最小二乗三角測量によって再構築されます。
• 深度リフティング: 三角測量できない関節は RGB-D 観測から回復され、解剖学的妥当性チェック（骨長制約）によって検証されます。
• ID 管理: トラックライフサイクルが初期化、確認、削除を管理します。「ステッチング」手順は、時間的に再関連付け投票を蓄積して一時的 ID と永続 ID 間の 1 対 1 マッピングを確立することにより、遮蔽によって引き起こされた断片化されたトラックを結合します。

4. 手の融合と接触検出

• 手の融合: すべてのビューからのメトリック整合されたハンドメッシュは世界座標系に変換され、手掌中心に基づいて DB-SCAN でグループ化されます。整合残差が最も低いメッシュが代表的な融合手として選択されます。
• 人物関連付け: 融合された手は、側面固有の身体関節（手首、肘、肩）までの距離に基づいて追跡された人物と貪欲に関連付けられ、連続性を維持するために時間的永続性が強制されます。
• 接触推論: システムは、ハンドアンカーに対する最接近表面を意味点群に対してクエリします。距離が閾値（$\tau_{on}$）を下回ると接触が登録されます。時間的安定性を確保するために、指数移動平均（EMA）が座標を平滑化し、ヒステリシス規則（$\tau_{on}$とより高い$\tau_{off}$を使用）がちらつきを防止します。連続するアクティブフレームは、医療従事者 ID、手の側、表面ラベル、開始/終了時刻、接触点を指定する接触エピソードにマージされます。

主要な貢献

1. アイデンティティが解決された 3D 接触再構築: 現実の環境において、複数の医療従事者と意味ラベル付けされた手術室表面間のハンド–表面接触エピソードを再構築するマルチビュー RGB-D パイプラインの導入。
2. マルチビュー 3D 手の再構築と人物関連付け: カメラ間で MANO ベースの手の再構築を融合し、遮蔽やアイデンティティの切り替えを処理しながら、マルチビュー 3D スケルトントラッキングを使用して各手を永続的な医療従事者アイデンティティに関連付ける手法。
3. 意味的 3D 接触マッピング: 再構築された手の軌跡を意味ラベル付けされたシーン表面にマッピングし、どの医療従事者がどの表面をどのくらいの間触れたかを詳細に記述する時間的に整合した接触エピソードの再構築を可能にする。

実験結果

システムは、6 つの同期 RGB-D カメラによって捕捉された、2～5 人の医療従事者が関与する 3 つの実際の麻酔導入処置のデータセットで評価されました。データセットには、1,616 の手動注釈付きハンド–表面接触エピソードが含まれています。

• 追跡性能: TouchMap-OR は IDF1 スコアで 0.48 を達成し、MVPose ベースライン（0.49）と同等でしたが、アイデンティティの切り替えを 108（MVPose は 236、4D Association は 547）に大幅に削減し、優れた時間的アイデンティティの一貫性を示しました。
• 接触検出: TouchMap-OR は 二値接触 F1 スコア 0.75 と IoU 0.60 を達成し、ベースライン（MVPose: F1 0.56; 4D Association: F1 0.29）を上回りました。
• 意味的帰属: システムは意味接触 F1 で 0.37 を達成し、ベースライン（MVPose は 0.22）と比較して接触を特定の表面に帰属させる能力の向上を示しました。
• アイデンティティ精度: システムは 0.96 のアイデンティティ帰属精度 を達成し、接触イベントを特定の医療従事者に確実にリンクできることを確認しました。

意義と主張

本論文は、医療従事者、器具、患者表面間の詳細な接触履歴を再構築することにより、伝播経路を分析するための計算基盤を提供すると主張しています。著者は、生粋の追跡メトリックが重要である一方で、追跡メトリックの最大化のみよりも、関節のある手の正確なモデリングと意味的に構造化された 3D シーンの組み合わせが相互作用理解にとってより重要であることを強調しています。

このシステムは、遮蔽と意味的文脈の欠如のために従来の手法が失敗する、混雑した多人数の臨床環境における接触エピソードの再構築を可能にします。「誰が、どこで、どの表面を、どのくらいの間触れたか」を特定することにより、このシステムは手に関連する伝播ネットワークを定量化するためのスケーラブルな基盤を提供し、データ駆動型の感染予防戦略を支援し、医療における人間と環境の相互作用ダイナミクスに関する新たな視点を提供する可能性があります。

著者は謙虚に限界を認め、混雑したシーンでは意味的帰属が曖昧になる可能性があること（例：包帯と近くの毛布の区別）や、細いまたは透明なアイテム（IV ラインなど）が完全にセグメント化されない可能性があることを指摘しています。しかし、システムは遮蔽や医療従事者間の近接を含む典型的な手術室の条件下で安定した性能を示しています。