기술 요약: 복강경 수술 영상 분석을 위한 확장된 KAFR (Extended KAFR)

문제 정의

인공지능은 단계 분할(phase segmentation) 및 기술 평가를 포함한 수술 영상 분석에 점점 더 많이 활용되고 있다. 그러나 중요한 병목 현상이 존재한다: 수술 기록은 종종 1시간에서 수 시간까지 지속되어 처리 과정에서 상당한 계산 부하를 발생시킨다. 저자들은 이전에 고해상도 영상과 안정적인 카메라를 통해 신뢰할 수 있는 도구 추적이 가능한 로봇 수술을 위한 운동학 기반 프레임 인식(Kinematics-Adaptive Frame Recognition, KAFR)을 개발한 바 있으나, 이를 복강경 수술에 적용하는 것은 아직 검증되지 않았다. 복강경 환경은 수동 카메라 제어(빈번한 움직임 아티팩트 유발), 일반적으로 낮은 영상 품질, 기구 외형의 큰 가변성 등 독특한 과제를 안고 있다. 본 연구가 다루는 핵심 질문은 운동학 기반의 프레임 선택 전략이 이러한 통제되지 않고 시각적으로 복잡한 조건에서도 정확도를 희생하지 않으면서 계산 부하를 줄이기 위해 효과적으로 일반화될 수 있는지 여부이다.

방법론

본 연구는 Cholec80 벤치마크 데이터셋(80개 비디오, 7개 수술 단계)을 사용하여 KAFR 프레임워크를 복강경 담낭 절제술로 확장한다. 파이프라인은 세 가지 별도의 단계로 작동한다:

1. 객체 탐지 및 필터링:

   • 미세 조정된 YOLOv8 모델이 수술 도구(예: 그라스퍼, 후크, 바이폴라)를 탐지하고 분할한다.
   • 특정 데이터셋을 처리하기 위해, 기능적 동등성을 고려하여 "Grasper 2"와 "Grasper 3"를 단일 "Grasper" 클래스로 통합하였다.
   • 탐지된 도구의 중심점(centroid)을 계산하고, 카메라 움직임으로 인한 고주파 노이즈와 배경 지터를 억제하여 의도적인 도구 움직임을 분리하기 위해 무한 임펄스 응답(IIR) 버터워스 저역 통과 필터(차단 주파수 3Hz)를 통해 처리한다.

2. 운동학 적응형 프레임 선택 (KAFR):

   • 균등한 시간적 샘플링 대신, 도구의 움직임에 기반하여 프레임을 선택한다. 시스템은 시간 창(temporal window) 전반에 걸친 변위(displacement)와 속도 변화량을 계산한다.
   • 두 가지 적응형 변형을 평가하였다:
     • Adaptive 1: 누적 도구 속도(변위)를 기준으로 프레임 선택.
     • Adaptive 2: 누적 가속도(속도의 변화량)를 기준으로 프레임 선택.
   • 선택은 비디오 전체에 걸쳐 수행되어 운동학적 활동이 유의미한 "키 프레임(key frames)"을 식별하며, 중복되거나 정적인 콘텐츠를 필터링한다.

3. 단계 분할 (Phase Segmentation):

   • 선택된 키 프레임은 단계 분류를 위해 X3D 3D 합성곱 신경망(Kinetics-400에서 미세 조정됨)에 입력된다.
   • 클래스 불균형과 시간적 일관성을 해결하기 위해 다음을 사용한다:
     • 재샘플링(Resampling): 중앙값 지속 시간을 기준으로 단계별 프레임 수를 정규화함.
     • 손실 함수(Loss Function): 교차 엔트로피(Cross-Entropy)와 지구 이동 거리(Earth Mover's Distance, EMD)의 조합.
     • 후처리(Post-processing): 단계 경계에서의 오분류를 줄이기 위해 모드(mode) 함수가 포함된 매끄러운 이동 평균(Smooth Moving Average, SMA)을 적용함.

주요 기여

• 복강경으로의 일반화: 본 연구는 로봇 수술에서 KAFR 패러다임을 복강경 수술로 성공적으로 적응시켰으며, 핸드헬드 카메라 움직임과 낮은 영상 품질에도 불구하고 그 효능을 입증하였다.
• 운동학적 돌출성을 통한 효율성: 본 연구는 정확한 단계 분할을 위해 조밀한 시간적 샘플링이 필요하지 않음을 보여준다. 숙련된 외과의의 선택적 주의 집중을 모방하여 운동학적 활동이 높은 프레임을 우선시함으로써, 데이터 요구량을 획기적으로 줄인다.
• 시각적 노이즈에 대한 강건성: 움직임 필터링(버터워스)과 운동학 기반 선택의 통합은 영상 품질이 변동하거나 도구가 부분적으로 가려지는 상황에서도 시스템이 효과적으로 작동하도록 한다.
• 모듈형 아키텍처: 본 프레임워크는 분류기 불가지론적(classifier-agnostic)이며, 프레임 선택 메커니즘을 다운스트림 분류 모델(X3D)로부터 분리하여 향후 다른 시간적 구조와의 통합을 가능하게 한다.

결과

Cholec80 데이터셋(훈련 40, 검증 8, 테스트 32개 비디오)에서 평가된 확장된 KAFR의 성과는 다음과 같다:

• 성능: 10초 완화 경계 프로토콜 하에서 F1 점수 91.0% 및 정확도 **91.5%**를 달성하였다.
• 효율성: 이러한 결과는 분류 모듈을 위해 전체 비디오 프레임의 단 **0.58%**만을 사용하여 얻어졌다. 이는 일반적인 방식(예: EndoNet, Trans-SVNet, LoViT)이 4%의 프레임을 샘플링하는 것과 비교했을 때 약 7배의 감소를 나타낸다.
• 비교 분석:
  • 선구적인 EndoNet보다 F1 점수에서 19.0% 앞섰다 (76.5% vs 91.0%).
  • 트랜스포머 기반 최신 모델인 LoViT(F1 90.2%) 및 Trans-SVNet(F1 89.7%)과 대등한 성능을 달성하였다.
  • 엄격한 평가(완화 없음)에서 KAFR은 1.5%의 프레임을 사용하여 F1 85.1%를 유지하였으며, 이는 4%를 사용하는 방법들과 여전히 경쟁 가능한 수준이다.
• 적응형 변형 성능: Adaptive 1(속도 기반)이 모호한 단계 전환을 피하고 안정적이고 정보가 풍부한 단계 내 활동에 집중하는 데 있어 Adaptive 2(가속도 기반)보다 일관되게 우수한 성능을 보였다.

의의 및 주장

본 논문은 KAFR이 로봇에서 복강경 영역으로 성공적으로 전이되었음을 주장하며, 운동 기반 프레임 선택이 도메인 불가지론적인 전처리 접근 방식임을 입증한다. 본 연구의 의의는 약 7배의 계산 오버헤드를 줄이면서도 임상 수준의 정확도를 유지할 수 있다는 점에 있으며, 이는 자원이 제한된 임상 환경에서 긴 수술 영상을 처리하는 데 있어 결정적인 장벽을 해결한다.

저자들은 본 방법의 성공이 외과의의 "선택적 주의(selective attention)" 패턴—즉, 대기 시간보다는 결정적인 조치와 도구의 결합에 집중하는 패턴—을 계산적으로 포착할 수 있음을 시사한다고 언급한다. 본 연구는 두 가지 수술 양식과 두 기관에 걸친 세 개의 독립적인 데이터셋(이전의 로봇 검증인 위-공장 연결술 및 췌장-공장 연결술 포함)을 통해 KAFR을 검증하였으며, 총 220개 이상의 비디오를 다룬다.

인정된 한계점:

• 검증이 현재 Cholec80 데이터셋(단일 센터, 단일 절차 유형)에 국한되어 있으나, 이전 연구들이 광범위한 적용 가능성을 뒷받침한다.
• 도구 탐지기는 미세 조정을 위한 수동 주석(사용된 서브셋 기준 약 1주일의 노력)을 필요로 하나, 향후 SAM과 같은 파운데이션 모델을 활용하여 이 부담을 줄일 수 있다.
• 본 연구는 사후적 영상 분석에 초점을 맞추고 있으며, 실시간 수술 중 모니터링에 대한 유용성은 추가 검증이 필요하다.
• 하이퍼파라미터는 체계적인 최적화보다는 경험적으로 선택되었다.