기술 요약: 3D 손 재구성을 활용한 설명 가능한 개방형 수술 기술 평가 (ExpOS)

문제 제기

효과적인 수술 훈련은 시의적절하고 투명한 피드백을 필요로 하지만, 현재 평가 방법은 구조화된 등급 시스템 (예: OSATS) 을 사용하는 전문가 관찰에 크게 의존합니다. 이러한 전통적인 접근 방식은 자원 집약적이며 주관적이고, 자율적 연습 기회를 제한합니다. 최근의 딥러닝 방법은 운동 또는 비디오 데이터에서 전반적인 기술 수준을 예측할 수 있지만, 일반적으로 "블랙박스"로 기능하여 예측을 이끄는 특정 시간 구간이나 행동 패턴을 설명하지 않고 전역 점수만 제공합니다. 반면, 전문가가 정의한 지표에 의존하는 방법은 해석 가능성을 제공하지만 발견을 사전에 정의된 기준에 제한하여 데이터 기반 통찰력을 제한합니다. 본 논문은 수술 기술을 자동으로 평가하고 실행 가능하고 피드백 지향적인 평가를 제공할 수 있는 확장 가능하고 객관적이며 설명 가능한 프레임워크의 필요성을 다룹니다.

방법론

저자들은 약한 감독 시간적 중요도 학습과 해석 가능한 운동 통계를 결합한 엔드 - 투 - 엔드 프레임워크인 ExpOS를 제안합니다. 파이프라인은 개방형 수술 작업의 비디오 데이터를 다음 세 가지 주요 단계를 통해 처리합니다:

1. 데이터 추출 및 특징 공학

• 입력: 봉합, 결매듭, 근막 폐쇄의 세 가지 작업을 수행하는 레지던트의 4K RGB 비디오 녹화 (30 fps).
• 감지 및 재구성:
  • YOLO 모델이 수술 도구 (집게, 바늘 드라이버, 가위, 시뮬레이터) 와 손을 감지합니다.
  • RoHans 의사 레이블 자기 훈련은 손 감지기를 정제하며, 이는 3D 손 재구성을 위한 WiLoR에 통합됩니다. 이는 손당 21 개의 관절을 추적합니다.
• 프레임 단위 특징: 각 프레임은 바운딩 박스 정보 (6 개 객체: 좌/우 손, 3 개 도구, 시뮬레이터) 와 재구성된 3D 손 키포인트 (2 관절 × 21 점) 를 사용하여 인코딩됩니다. 이러한 것들은 프레임당 텐서로 연결됩니다. 짧은 간격은 보간되고 궤적은 부드럽게 처리됩니다.
• 전역 단위 특징: 바운딩 박스 중심의 시간적 변화를 기반으로 비디오 수준의 통계가 계산되며, 다음을 포함합니다:
  • 정지 시간 (객체가 정지해 있는 프레임의 비율).
  • 평균 속도와 가속도 (비휴식 기간 동안).
  • 프레임 밖 손 비율.
  • 작업 완료 시간.
  • 손 간의 자기상관.

2. ExpOS 아키텍처

프레임워크는 세 가지 주요 구성 요소로 구성됩니다:

• 시간적 백본 (MS-TCN++): 프레임 단위 특징은 분류 헤드가 제거된 MS-TCN++ 백본에 입력되어 시공간 역학을 인코딩합니다. 이는 시간 차원을 보존하며, 숨겨진 표현의 시퀀스 ($F \times T$) 를 출력합니다.
• 시간적 어텐션 풀링: 숨겨진 시퀀스에 멀티헤드 자기 어텐션 메커니즘이 적용됩니다. 이 모듈은 특정 시간 구간에 중요도 가중치를 할당하여 시퀀스를 컴팩트한 표현으로 압축하면서 프레임 단위 중요도 맵을 생성합니다. 이를 통해 모델이 언제 중요한 성능 순간이 발생하는지 식별할 수 있습니다.
• 퓨전 및 예측: 시간적으로 풀링된 표현은 사전 계산된 전역 통계 특징과 연결됩니다. 이 퓨전 벡터는 최종 회귀 기반 기술 점수를 출력하기 위해 다층 퍼셉트론 (MLP) 을 통과합니다. 전역 특징은 해석 가능성을 보존하기 위해 최종 단계에서만 주입됩니다.

3. 설명 가능성 메커니즘

ExpOS 는 다수준 설명 가능성을 제공합니다:

• 시간적 중요도: NLP 어텐션 메커니즘에서 영감을 받아, 풀링 레이어의 어텐션 가중치는 기술 예측에 가장 큰 영향을 미친 특정 비디오 프레임 (시간 구간) 을 강조합니다.
• 전역 특징 귀속: 저자들은 SHAP (Shapley Additive exPlanations) 값을 사용하여 각 전역 운동 통계 (예: 작업 시간, 가속도) 가 최종 예측에 기여하는 정도를 정량화합니다. 이는 어떤 운동 특성이 점수를 주도하는지 식별합니다.

주요 결과

프레임워크는 세 가지 서로 다른 작업을 수행한 77 명의 수술 레지던트의 221 개 비디오로 훈련 및 평가되었습니다. 각 시뮬레이터에 대해 Soft Ordinal Regression (SORD) 손실 함수를 사용하여 별도의 모델이 훈련되었습니다.

• 성능 상관관계: 프레임워크는 모든 작업에서 전문가 등급과 강력한 상관관계를 달성했습니다:
  • 근막 폐쇄: 피어슨 상관 계수 $r = 0.778$ 및 $R^2 = 0.74$로 가장 높은 성능을 보였습니다.
  • 결매듭: $r = 0.678$, $R^2 = 0.649$, 가장 낮은 RMSE (1.276) 를 기록했습니다.
  • 봉합: $r = 0.622$, $R^2 = 0.579$, 가장 낮은 MAE (0.833) 를 기록했습니다.
• 해석 가능성 발견:
  • 근막 폐쇄: 작업 완료 시간이 지배적인 특징이었습니다 (짧은 시간이 높은 점수와 연관됨). 정지된 집게/손의 높은 비율과 손 간 자기상관이 긍정적 기여를 했으며, 높은 평균 가속도는 부정적 기여를 했습니다.
  • 결매듭: 오른손의 더 높은 평균 속도와 더 낮은 가속도가 높은 점수와 연관되었습니다.
  • 봉합: 근막 폐쇄와 유사하게, 정지된 집게 사용과 더 짧은 완료 시간이 가장 영향력 있는 긍정적 요인이었습니다.

중요성과 주장

본 논문은 ExpOS 가 전문가가 정의한 평가 기준에서 모델 주도 중요도 추정으로의 전환을 나타낸다고 주장합니다. 그 주요 중요성은 다음에 있습니다:

1. 차별적 패턴 학습: 사전 정의된 지표에 의존하는 대신, 모델은 데이터에서 직접 시간적 패턴을 학습하여 무엇이 기술을 구성하는지 식별합니다.
2. 다수준 피드백 제공: 어텐션 기반 시간적 국소화와 SHAP 기반 전역 특징 분석을 결합함으로써, 시스템은 언제 성능 편차가 발생하는지 및 어떤 운동 행동이 점수에 기여하는지에 대한 구조화된 피드백을 제공합니다.
3. 확장 가능한 자율 훈련 가능: 이 프레임워크는 3D 손 운동의 데이터 기반 시간적 모델링이 임상적으로 의미 있는 성능 패턴을 포착할 수 있음을 보여주며, 자원 집약적인 전문가 감독에 대한 확장 가능한 대안을 제공합니다.

저자들은 한계를 인정하며, 이 접근 방식은 신뢰할 수 있는 3D 손 재구성과 명확한 가시성에 의존하며, 가려짐이나 어려운 시점은 성능을 저하시킬 수 있다고 지적합니다. 그들은 향후 연구가 다중 모드 통합과 더 크고 다양한 코호트에서의 검증을 중심으로 이루어질 것이라고 제안합니다.