기술 요약: TouchMap-OR

문제 정의

의료 절차 중 병원체 전파는 의료진, 환자, 의료 장비 간의 손 - 표면 상호작용에 의해 크게 촉진됩니다. 현재 감염 예방 관행은 수동 관찰에 의존하는데, 이는 노동 집약적이며 편향되기 쉽고 상세한 접촉 이력을 재구성할 수 있는 시간적 해상도가 부족합니다. 최근 자동화 시스템은 손 위생 이벤트나 분배기 사용을 감지할 수 있지만, 전파 경로를 지배하는 손, 표면, 환자 간의 특정 접촉 순서를 관찰하지는 못합니다. 또한, 기존 컴퓨터 비전 기반 손 - 물체 접촉 접근법은 가시적인 피부, 최소한의 가림, 통제된 환경을 가정하는 경우가 많습니다. 그러나 수술실에서는 수술용 장갑이 피부 단서를 가리고 손이 장비 및 인력에 의해 자주 가려지므로 이러한 조건은 거의 충족되지 않습니다.

해결된 핵심 과제는 실제 수술실에서의 정체성이 구분된 손 - 표면 상호작용 재구성입니다: 중대한 가림, 혼란, 다수의 의료진 존재에도 불구하고 누가 어떤 표면을 어디에서 얼마나 오래 만졌는지를 결정하는 것입니다.

방법론: TouchMap-OR

TouchMap-OR는 의료진, 관절이 있는 손, 의미론적 환경 구조를 공동으로 모델링하는 수술실의 측정 가능한 3D 표현을 재구성하도록 설계된 다중 뷰 RGB-D 비전 시스템입니다. 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 의미론적 3D 룸 모델링

접촉 이벤트를 국소화하기 위해 시스템은 수술실의 통합된 의미론적 3D 모델을 구축합니다.

• 분할: 보정된 RGB-D 카메라는 SAM2 를 사용하여 2D 로 분할된 스트림을 캡처하며, 주요 표면 (예: 환자, 모니터, 담요, 튜브) 에 대한 희소하고 손으로 주석된 포인트 프롬프트를 사용합니다.
• 융합: 분할된 인스턴스는 3D 로 역투영됩니다. 모든 카메라의 점은 10mm 해상도의 볼륨 다운샘플링과 의미론적 레이블에 대한 다수결 투표를 통해 공통 세계 좌표계에서 융합되어 통합된 의미론적 포인트 클라우드 ($S_t$) 를 생성합니다. 이 클라우드는 효율적인 가장 가까운 표면 쿼리를 위해 KD-트리로 인덱싱됩니다.

2. 카메라별 감지 및 측정 정렬

각 카메라는 독립적으로 신체 및 손 포즈를 추정합니다.

• 신체 포즈: RTMO 는 다중 인 2D 골격 추정에 사용됩니다.
• 손 기하학: MANO 기반 추정기인 WiLoR 은 단일 RGB 이미지에서 관절이 있는 손 메쉬를 예측합니다.
• 측정 정렬: 손 메쉬를 측정 카메라 좌표계에 배치하기 위해 시스템은 RANSAC 을 사용하여 가림을 거부하는 Sim(3) 정렬 (스케일, 회전, 이동) 을 통해 해당 깊이 맵에 재구성을 피팅합니다. 이를 통해 측정 정렬된 손 메쉬 ($H^{(i,t)}_{cam}$) 를 생성하고 정렬 잔차를 기반으로 신뢰도 점수가 있는 손 앵커 (손바닥 중심, 손끝) 를 추출합니다.

3. 다중 뷰 연관 및 3D 사람 추적

시스템은 안정적인 정체성을 가진 전역적으로 일관된 다중 인 3D 골격 트랙을 생성합니다.

• 연관: 3D 트랙은 이미지 평면으로 투영되어 평균 관절별 픽셀 오차 (MPJPE) 를 사용하여 2D 감지 결과와 매칭됩니다. 헝가리안 알고리즘이 1 대 1 매칭을 해결합니다.
• 3D 재구성: 매칭된 관절은 시차 일관성을 강제하는 뷰 간 가중 비선형 최소 제곱 삼각측량을 통해 재구성됩니다.
• 깊이 리프팅: 삼각측량이 불가능한 관절은 RGB-D 관찰에서 복원되며, 해부학적 타당성 검사 (뼈 길이 제약) 를 통해 검증됩니다.
• ID 관리: 트랙 수명 주기는 초기화, 확인, 제거를 관리합니다. "스티칭" 절차는 시간에 따른 재연관 투표의 누적을 통해 일시적 ID 와 영구적 ID 간의 1 대 1 매핑을 확립함으로써 가림으로 인해 분열된 트랙을 병합합니다.

4. 손 융합 및 접촉 감지

• 손 융합: 모든 뷰에서 측정 정렬된 손 메쉬는 세계 좌표계로 변환되고 손바닥 중심에 대한 DB-SCAN 을 사용하여 그룹화됩니다. 가장 낮은 정렬 잔차를 가진 메쉬가 대표 융합 손으로 선택됩니다.
• 사람 연관: 융합된 손은 측면별 신체 관절 (손목, 팔꿈치, 어깨) 까지의 거리에 기반하여 추적된 사람과 탐욕적으로 연관되며, 연속성을 유지하기 위해 시간적 지속성이 강제됩니다.
• 접촉 추론: 시스템은 손 앵커에 가장 가까운 표면을 위해 의미론적 포인트 클라우드를 쿼리합니다. 거리가 임계값 ($\tau_{on}$) 이하로 떨어지면 접촉이 등록됩니다. 시간적 안정성을 보장하기 위해 지수 이동 평균 (EMA) 이 좌표를 부드럽게 하고, 히스테리시스 규칙 ( $\tau_{on}$과 더 높은 $\tau_{off}$ 사용) 이 깜빡임을 방지합니다. 연속된 활성 프레임은 의료진 ID, 손 측면, 표면 레이블, 시작/종료 시간, 접촉 지점을 지정하는 접촉 에피소드로 병합됩니다.

주요 기여

1. 정체성이 구분된 3D 접촉 재구성: 실제 환경에서 다수의 의료진과 의미론적으로 레이블링된 수술실 표면 간의 손 - 표면 접촉 에피소드를 재구성하는 다중 뷰 RGB-D 파이프라인의 도입.
2. 다중 뷰 3D 손 재구성 및 사람 연관: 카메라 간 MANO 기반 손 재구성을 융합하고 다중 뷰 3D 골격 추적을 사용하여 각 손을 영구적인 의료진 정체성과 연관시키는 방법. 이는 가림과 정체성 전환을 처리합니다.
3. 의미론적 3D 접촉 매핑: 재구성된 손 궤적을 의미론적으로 레이블링된 장면 표면으로 매핑하여, 어떤 의료진이 어떤 표면을 얼마나 오래 만졌는지 상세히 설명하는 시간적으로 일관된 접촉 에피소드를 재구성할 수 있게 함.

실험 결과

시스템은 6 개의 동기화된 RGB-D 카메라로 촬영된 2~5 명의 의료진이 참여한 3 개의 실제 마취 유도 절차 데이터셋에서 평가되었습니다. 이 데이터셋에는 1,616 개의 수동 주석 손 - 표면 접촉 에피소드가 포함되어 있습니다.

• 추적 성능: TouchMap-OR 는 IDF1 점수 0.48을 달성하여 MVPose 기준 (0.49) 과 유사했으나, 정체성 전환을 108회로 크게 줄였습니다 (MVPose 는 236 회, 4D Association 은 547 회). 이는 우수한 시간적 정체성 일관성을 보여줍니다.
• 접촉 감지: TouchMap-OR 는 이진 접촉 F1 점수 0.75와 IoU 0.60 을 달성하여 기준 (MVPose: F1 0.56; 4D Association: F1 0.29) 을 능가했습니다.
• 의미론적 귀속: 시스템은 의미론적 접촉 F1 점수 0.37을 달성하여 기준 (MVPose: 0.22) 에 비해 특정 표면에 접촉을 귀속시키는 능력이 향상되었음을 나타냈습니다.
• 정체성 정확도: 시스템은 0.96 의 정체성 귀속 정확도를 달성하여 접촉 이벤트를 특정 의료진과 신뢰성 있게 연결했음을 확인했습니다.

중요성 및 주장

이 논문은 TouchMap-OR 가 의료진, 장비, 환자 표면 간의 상세한 접촉 이력을 재구성함으로써 전파 경로를 분석하는 계산적 기반을 제공한다고 주장합니다. 저자들은 원시 추적 지표가 중요하지만, 추적 지표만 극대화하는 것보다 관절이 있는 손의 정확한 모델링과 의미론적으로 구조화된 3D 장면의 결합이 상호작용 이해에 더 중요하다고 강조합니다.

이 시스템은 가림과 의미론적 맥락 부재로 인해 기존 방법이 실패하는 혼란스럽고 다중 인이 있는 임상 환경에서 접촉 에피소드를 재구성할 수 있게 합니다. "누가, 어디서, 무엇을, 얼마나 오래 만졌는지"를 식별함으로써, 이 시스템은 손과 관련된 전파 네트워크를 정량화하기 위한 확장 가능한 기반을 제공하며, 데이터 기반 감염 예방 전략을 지원하고 의료 분야의 인간 - 환경 상호작용 역학에 대한 새로운 관점을 제시할 수 있습니다.

저자는 겸손하게 한계를 인정하며, 혼란스러운 장면 (예: 붕대와 근처의 담요를 구분하는 것) 에서 의미론적 귀속이 모호할 수 있고 IV 라인과 같은 얇거나 투명한 항목은 불완전하게 분할될 수 있음을 지적합니다. 그러나 시스템은 가림과 의료진 간의 근접성을 포함한 일반적인 수술실 조건 하에서 안정적인 성능을 보여줍니다.