기술 요약: 수술 수행 능력의 자동 평가를 위한 멀티모달 AI

문제 정의

정확하고 객적인 수술 숙련도 평가는 환자의 안전, 교육적 개선 및 확장 가능한 평가를 위해 매우 중요하다. 현재의 방법론은 주로 주관적인 인간의 평가(예: OSATS, Global Rating Scale)에 의존하며, 이는 평가자 간 변동성, 제한된 확장성 및 높은 자원 비용 문제를 야기한다. 최근의 AI 기반 접근 방식들이 딥러러닝을 활용하여 자동 평가를 시도해 왔으나, 기존의 많은 방법은 단일 데이터 모달리티(비디오 또는 운동학 중 하나)에 의존하거나 로봇 보조 환경에서 주로 사용되는 특수한 센서 텔레메트리에 의존한다는 한계가 있다. 이는 포괄적인 센서 데이터를 사용할 수 없는 실제 임상 환경과 카메라 움직임 및 조명 변화가 심한 환경에서의 적용을 제한한다. 또한, 기존의 최첨단 모델들은 복잡하고 특화된 아키텍처나 특정 루브릭 기반의 학습에 의존하는 경우가 많아, 다양한 데이터셋과 평가 설정 전반에 걸쳐 일반화되기 어려울 수 있다.

방법론

저자들은 수술 숙련도 평가를 위해 상호 보완적인 신호들을 통합하도록 설계된 새로운 모듈형 멀티모달 딥러닝 프레임워크를 제안한다. 이 시스템은 데이터 가용성에 따라 적응이 가능하며, 풍부한 멀티모달 입력(비디오, 운동학, 이벤트, 시간)을 사용하거나 운동학 센서가 없는 경우 비디오로부터 직접 운동 표현을 도출할 수 있다.

특징 추출 파이프라인

프레임워크는 네 가지 주요 특징 채널을 추출하고 융합한다:

1. 시공간 비디오 특징 (V): Kinetics-400으로 사전 학습된 SlowFast-R50 백본을 사용하여 추출된다. 이 이중 경로 아키텍처는 수술 비디오로부터 공간적 맥락(slow pathway)과 빠른 시간적 역동성(fast pathway)을 모두 포착한다.
2. 운동학적 움직임 특징 (K):
   • JIGSAWS의 경우: 로봇 팔으로부터 추출된 동기화된 2D 데카르트 좌표(Cartesian coordinates)를 활용한다.
   • Biotissue (비디오 전용 운동학): 도구(니들 드라이버)를 YOLOv8(손목, 샤프트, 죠(jaw) 부분을 위해 SAM2 보조 어노테이션으로 미세 조정됨)을 사용하여 분할하고 BYTE Tracker를 사용하여 추적한다. 중심점 궤적은 저역 통과 버터워스 필터(low-pass Butterworth filter)를 통해 매끄럽게 처리된다.
   • 인코딩: 궤적은 1D 라인 플롯 이미지(시간에 따른 x 및 y 좌표)로 변환되며, Trajectory-to-Image Autoencoder를 사용하여 인코딩된다. 이 오토인코더는 압축되고 노이즈에 강한 256차원 잠재 표현(latent representation)을 학습한다. 프레임워크는 또한 해당되는 경우 수작업으로 제작된 운동학 통계치(RMS 속도, 가속도, 저크(jerk), 총 경로 길이)를 포함한다.
3. 의미론적 밀도 특징 (D): 도구 끝 움직임 궤적으로부터 생성된 히트맵 밀도 플롯을 ResNet-50으로 처리하여 공간적 움직임 분포를 나타내는 의미론적 특징을 도출한다.
4. 이벤트 및 시간 특징 (E, P):
   • 이벤트 시퀀스 (E): 제스처 어노테이션이 있는 데이터셋(JIGSAWS)의 경우, 절차적 흐름과 전이를 포착하기 위해 원-핫 인코딩(one-hot encoding)된다.
   • 과업 완료 시간 (P): 사용 가능한 경우 보조 변수로 포함된다.

융합 및 예측

추출된 모든 특징은 결합(concatenation)되고, z-score 정규화를 통해 표준화되며, 주성분 분석(PCA)(99% 분산을 유지)을 통해 차원이 축소되어 압축된 멀티모달 표현을 생성한다. 이 축소된 특징 벡터는 전문가가 부여한 숙련도 점수(JIGSAWS의 경우 Global Rating Scale, Biotissue의 경우 OSATS)를 예측하기 위해 1D CNN(1D-Convolutional Neural Network) 회귀 헤드로 전달된다. 1D-CNN 아키텍처는 세 개의 Conv1D 레이어(필터 64, 128, 256개), 맥스 풀링(max pooling), 밀집층(dense layer, 1024 유닛), 드롭아웃(dropout), 그리고 최종 회귀 출력을 갖춘다.

평가 프로토콜

프레임워크는 두 가지 벤치마크를 통해 엄격하게 평가되었다:

• JIGSAWS 데이터셋: 103개의 비디오(봉합, 바늘 통과, 매듭 묶기)로 구성되며, 동기화된 운동학 및 이벤트 어노테이션을 포함한다. 4-겹 교차 검증(4-fold cross-validation) 및 Leave-One-User-Out (LOUO) 분할 방식으로 평가되었다.
• Biotissue 데이터셋: 고충실도 시뮬레이션(위공장 연결술, 췌장공장 연결술, 간공장 연결술)을 나타내며, 카메라 움직임이 다양하고 직접적인 센서 운동학이 없는 205개의 비디오로 구성된다. 5-겹 교차 검증 방식으로 평가되었다.

주요 기여

1. 통합 멀티모달 파이프라인: 시공간 비디오 특징, 운동학적 움직임 특징(센서 및 비디오로부터 유도됨), 의미론적 밀도 특징, 이벤트 시퀀스를 통합하는 포괄적인 프레임워크를 제공한다. 이는 다양한 데이터 가용성 설정에서 유연하게 작동하도록 설계되었다.
2. 비디오 유도 운동학: YOLOv8 추적과 오토인코더 인코딩을 사용하여 표준 2D 내시경 비디오로부터 견고한 움직임 표현을 도출할 수 있어, 직접적인 로봇 텔레메트리가 없는 환경에서도 평가가 가능하다.
3. 강력한 벤치마킹: 통제된 시뮬레이션(JIGSAWS)과 변동성이 큰 훈련 환경(Biotissue) 모두에서 광범적인 검증을 수행하여, 다양한 절차적 과업 및 데이터 제약 조건에 대한 일반화 가능성을 입증하였다.
4. 절제 연구(Ablation) 및 아키텍처 분석: 다양한 입력 조합과 시퀀스 인코더(제안된 오토인코더와 BiLSTM, TCN, Transformer 베이스라인 비교)를 체계적으로 평가하여, 숙련도 예측을 위한 최적의 구성을 식별하였다.

결과

JIGSAWS 데이터셋

• 4-Fold 교차 검증: 멀티모달 모델(Video + Kinematics + Events)은 0.85의 평균 스피어만 상관계수(SCC)를 달성하여, MultiPath(0.81)와 같은 다른 멀티모달 접근 방식보다 우수한 성능을 보였으며, CoRe + GART(0.85)와 같은 비디오 전용 최첨단 모델과 대등한 결과를 얻었다. 또한 비교된 방법들 중 가장 낮은 2.44의 평균 절대 오차(MAE)를 기록했다.
• Leave-One-User-Out (LOUO): 비디오 전용 구성은 0.87의 가장 높은 평균 SCC를 달성하여, 기존에 발표된 모든 비디오 전용 방법들(예: ViSA 0.81, Contra-Sformer 0.68)을 능가했다. 운동학 전용(K+E) 모델은 0.83의 SCC를 기록했으며, 특히 매듭 묶기 과업에서 뛰어난 성능(0.94)을 보였다.
• 절제 연구(Ablation): 비디오, 운동학, 이벤트의 조합(V+K+E)이 가장 견고한 것으로 증명되었다. 과업 완료 시간(P)이나 밀도 특징(D)을 추가하는 것은 V+K+E에 비해 성능을 일관되게 향상시키지 못했으며, 경우에 따라(D를 추가했을 때) 좌표 노이즈로 인해 성능이 약간 저하되었다.

Biotissue 데이터셋

• 위공장 연결술 (GJ): 운동학 및 비디오의 융합(K+V)이 0.67의 SCC와 2.71의 MAE로 가장 좋은 성능을 보였으며, 이는 운동학 전용(0.47) 및 비디오 전용(0.57) 베이스라인을 크게 상회하는 결과이다.
• 췌장공장 연결술 (PJ): K+V 모델은 0.69의 SCC와 2.05의 MAE를 달성하였으며, 역시 단일 모달리티 접근 방식보다 우수한 성능을 보였다.
• 인코더 비교: 제안된 Trajectory-to-Image Autoencoder는 가장 우수한 성능을 보인 K+V 구성에서 직접적인 시퀀스 인코더(BiLSTM, TCN, Transformer)보다 일관되게 우수한 성능을 보였다. 이는 압축된 궤적-이미지 표현이 이 과업에서 전역적 움직임 패턴의 안정적인 요약을 제공함을 시사한다.

의의 및 주장

본 논문은 제안된 프레임워크가 상호 보완적인 신호(비디오, 운동학, 이벤트)를 통합함으로써 견고한 최첨단 성능을 창출함을 입증하여, 멀티모달 수술 숙련도 평가의 새로운 표준을 확립한다고 주장한다. 주요 주장은 다음과 같다:

• 확장성 및 적응성: 프레임워크는 센서가 풍부한 환경(JIGSAWS)과 센서가 제한된 환경(Biotissue) 모두에서 효과적이며, 텔레메트리가 없는 경우에도 표준 비디오로부터 움직임 단서를 도출함으로써 고품질의 평가가 가능함을 입증하였다.
• 일반화: 모델은 특히 비디오 특징을 활용할 때 미지의 외과의(unseen surgeons)에 대해 강력한 일반화 능력을 보여주며, JIGSAWS에서 0.87의 LOUO SCC를 달성하여 이전에 보고된 모든 비디오 전용 방법들을 능가했다.
• 실용적 유용성: 복잡하고 루브릭에 특화된 모델링이나 특수한 센서 입력에 대한 의존도를 줄임으로써, 연구 및 임상 맥락에서 더 간소화되고 폭넓게 적용 가능한 대안을 제공한다.
• 제한 사항: 저자들은 Biotissue 데이터셋이 고충실도 시뮬레이션을 나타내기는 하지만, 아직 실제 수술 사례에 대한 일반화 가능성을 확립하지는 못했음을 인정한다. 또한 Biotissue 환경에서의 성능은 카메라 움직임과 깊이 정보의 부재에 의해 제한되며, 밀도 특징(D)을 포함하는 것이 2D 표현에 노이즈를 유발할 수 있다고 언급했다. 연구는 과업 완료 시간(P)이 그 자체로는 신뢰할 수 있는 숙련도의 대리 지표가 아니며, 보조 변수로 간야되어야 함을 강조한다.

결론적으로, 본 연구는 접근 가능한 데이터 스트림과 멀티모달 딥러닝의 사려 깊은 통합이 높은 정확도와 실용적인 유연성을 갖춘 전문가 수준의 숙련도 평가를 제공할 수 있음을 보여주며, 시뮬레이션 기반 훈련과 실제 임상 평가 사이의 간극을 메운다.