Interpretable Transformer-Based Phase Recognition for Transabdominal Preperitoneal Laparoscopic Inguinal Hernia Repair

본 연구는 복강경 복벽 탈장 복원술의 복잡한 단계에서 90.64%의 단계 인식 정확도를 달성하기 위해 3 단계 전이 학습 전략을 활용하는 고도로 정확하고 해석 가능한 트랜스포머 기반 프레임워크 (SurgFormer) 를 제시함으로써 실시간 수술 중 안내 및 자동화된 숙련도 평가를 위한 기반을 마련한다.

핵심

매우 복잡한 요리 쇼, 예를 들어 고도의 기술이 요구되는 제과 경연 대회를 보고 있다고 상상해 보세요. 요리사들은 반죽을 밀고, 속을 채우고, 밀봉하고, 구워내는 등 섬세하고 다단계 작업을 수행합니다. 이제 컴퓨터에게 그 영상을 보여주고, 카메라 각도가 기이하거나 요리사의 손이 시야를 가리거나, 단계들이 매끄럽게 하나로 이어질 때조차 요리사가 정확히 어느 단계에 있는지 즉시 파악하도록 가르친다고 상상해 보세요.

이 논문이 수행하는 작업도 본질적으로 이와 같습니다. 다만 제과가 아니라 TAPP 복강경 사타구니 탈장 수복술에 관한 것입니다. 이는 복부에 작은 구멍을 통해 탈장을 교정하는 흔하지만 까다로운 최소 침습 수술의 한 유형입니다.

컴퓨터에게 이 수술을 이해하도록 가르친 과정을 간단한 부분으로 나누어 설명해 드리겠습니다.

1. 문제: 컴퓨터는 복잡한 수술에 '맹목'입니다

더 단순한 수술 (예: 담낭 제거) 의 경우, 컴퓨터는 이미 수술 단계를 인식하는 법을 배웠습니다. 하지만 탈장 수복술은 다릅니다. 이는 계란 후라이를 만드는 간단한 레시피를 따르는 것과 여러 코스로 구성된 복잡한 테이스팅 메뉴를 따르는 것의 차이와 같습니다.

• 도전 과제: 이 수술은 섬세한 조직 층을 다루며, 카메라 시야를 자주 가리는 도구들이 사용되고, 단계들이 서로 매우 유사하게 보입니다.
• 데이터 격차: 컴퓨터를 가르치기 위해 수천 개의 담낭 수술 영상이 존재하지만, 탈장 수복술의 레이블이 지정된 영상은 매우 적습니다. 이는 강사가 없고 연습 주행 횟수가 몇 번뿐일 때 학생에게 포뮬러 1 레이싱 카를 운전하도록 가르치려는 것과 같습니다.

2. 해결책: '3 단계' 학습 전략

연구자들은 컴퓨터를 단순히 깊은 물에 던져 넣지 않았습니다. 순차적 전이 학습 (Sequential Transfer Learning) 이라는 교묘한 '훈련 캠프' 방식을 사용했습니다. 이는 운동 선수를 훈련시키는 것과 같습니다.

• 1 단계: 일반 체력 (Kinetics-400): 먼저, 컴퓨터에게 일상적인 영상 (사람들이 뛰거나, 춤추거나, 요리하는 영상 등) 의 거대한 데이터베이스를 사용하여 일반적인 인간 움직임을 이해하도록 가르쳤습니다. 이는 컴퓨터에 '운동'에 대한 기본적인 이해를 심어주었습니다.
• 2 단계: 전문 훈련 (Cholec80): 다음으로, 컴퓨터에게 담낭 수술 영상을 연습시켰습니다. 이는 '다리' 역할을 했습니다. 아직 목표로 하는 수술을 완전히 마스터한 것은 아니었지만, 컴퓨터에게 수술용 카메라와 도구, 그리고 인간 몸속의 특정 외관을 처리하는 법을 가르쳤습니다.
• 3 단계: 최종 시험 (TAPP 탈장 수복술): 마지막으로, 실제 탈장 수복술 영상을 통해 컴퓨터를 미세 조정했습니다. 이미 운동의 기본과 수술의 세부 사항을 배웠기 때문에, 전문가가 되기 위해 탈장 데이터가 아주 조금만 필요했습니다.

3. 결과: '적은 것이 더 많다'

팀은 컴퓨터에 데이터를 제공하는 다양한 방식을 테스트했습니다. 놀라운 사실을 발견했습니다.

• 최적점: 그들은 최상의 결과를 얻기 위해 컴퓨터에게 사용 가능한 25 개의 모든 탈장 영상을 보여줘야 한다고 생각했습니다. 대신, 22 개의 영상만 보여주는 것이 실제로 완벽한 양이라는 사실을 발견했습니다.
• 비유: 시험을 공부한다고 상상해 보세요. 교과서를 25 번 읽으면 혼란스러워지거나 지루해져서 (컴퓨터의 성능이 약간 떨어졌습니다) 오히려 나빠질 수 있습니다. 하지만 22 번 읽으면 '노이즈' 없이 지식의 완벽한 균형을 이룰 수 있습니다.
• 점수: 이 방법을 사용하면 컴퓨터는 수술 단계를 90.64% 의 정확도로 식별했습니다. 이는 매우 복잡한 작업에 있어 매우 높은 점수입니다.

4. '블랙박스'를 투명하게 만들기

AI 에 대한 가장 큰 두려움 중 하나는 그것이 '블랙박스'라는 점입니다. 즉, 답을 내놓지만 그 답에 도달한 방법을 아무도 모릅니다. 연구자들은 그 상자 안을 엿보고 싶어 했습니다.

• 비유: 컴퓨터의 뇌를 공장 조립 라인이라고 상상해 보세요.
  • 라인 초기 (층 1): 컴퓨터는 기본적인 색상과 질감만 보고 있습니다 (예: "그건 반짝이는 금속 도구야", "그건 분홍색 조직이야"). 정보는 엉망으로 뒤섞여 있습니다.
  • 라인 끝 (층 12): 컴퓨터는 그 모든 엉망진창을 명확하고 구분된 범주로 정리했습니다. 이제 '메쉬 배치'나 '피부 봉합'과 같은 개념을 명확하게 이해합니다.
• 증거: 그들은 특수한 지도 (시각화) 를 사용하여 데이터가 컴퓨터의 뇌를 통과함에 따라 엉망인 이미지들이 완벽하게 분리된 그룹으로 정렬되는 것을 보여주었습니다. 이는 컴퓨터가 단순히 추측하는 것이 아니라, 수술 단계의 '의미'를 실제로 학습하고 있음을 증명합니다.

5. 외과 의사들을 위해 구축한 도구

연구자들은 숫자에서 멈추지 않았습니다. 수술을 위한 실시간 자막 시스템과 같은 도구를 구축했습니다.

• 외과 의사가 수술을 하는 동안, 시스템은 영상을 실시간으로 감시합니다.
• 화면 하단에 현재 바로 어떤 단계가 진행되고 있는지를 보여주는 색상 바를 표시합니다.
• 컴퓨터가 실수하는 경우 (예: '박리'와 '환원'을 혼동하는 경우), 그 순간을 붉은색으로 강조합니다. 이를 통해 의사는 AI 가 확신하는 부분과 불확실한 부분을 정확히 파악할 수 있으며, 시스템에 대한 신뢰를 구축할 수 있습니다.

요약

간단히 말해, 이 논문은 컴퓨터에게 일반적인 움직임을 이해하게 한 다음, 일반적인 수술을 이해하게 하고, 마지막으로 특정 복잡한 수술을 이해하게 함으로써 탈장 수복술을 위한 매우 정확한 '스마트 어시스턴트'를 만들 수 있음을 보여줍니다. 그들은 이를 위해 거대한 데이터 라이브러리가 필요하지 않다는 것을 증명했습니다. 단지 적절한 양의 데이터와 현명한 훈련 계획만 있으면 됩니다. 가장 중요한 것은, 그들이 컴퓨터가 어떻게 학습하는지 정확히 보여주어 신비로운 '블랙박스'를 투명하고 이해 가능한 도구로 바꿨다는 점입니다.

기술 요약

"복강경 사타구니 탈장 수복술 (TAPP) 을 위한 해석 가능한 트랜스포머 기반 수술 단계 인식"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 **복강경 사타구니 탈장 수복술 (TAPP)**에 인공지능 (AI) 을 적용하는 데 있어 존재하는 중요한 격차를 다룹니다. 복강경 담낭절제술과 같은 표준화된 수술에 대해서는 수술 단계 인식이 잘 확립되어 있지만, TAPP 의 경우 다음과 같은 이유로 아직 충분히 연구되지 않았습니다:

• 시각적 복잡성: TAPP 는 Bogros 와 Retzius 공간과 같은 정교한 해부학적 평면, 미묘한 시각적 전환, 그리고 빈번한 기구 - 조직 가림 현상을 포함합니다.
• 데이터 부족: 담낭절제술과 달리, TAPP 를 위한 대규모 공개 다단계 주석 데이터셋이 존재하지 않아, 심각한 과적합 없이 딥러닝 모델을 처음부터 훈련시키는 것이 어렵습니다.
• "블랙박스" 문제: 기존 딥러닝 모델은 해석 가능성이 부족하여, 실시간 수술실 환경에서의 임상적 신뢰와 도입을 저해합니다.

2. 방법론

저자들은 데이터 부족을 극복하기 위해 비전 트랜스포머 (ViT) 아키텍처인 SurgFormer를 활용하고 순차적 전이 학습 전략을 결합한 새로운 프레임워크를 제안합니다.

A. 데이터셋 아키텍처

• 목표 데이터셋 (TAPP): McGill University Health Centre (MUHC) 의 32 개 비디오로, Theator 플랫폼을 통해 주석이 달렸습니다.
  • 분할: 훈련용 25 개, 테스트용 7 개 비디오.
  • 단계: 7 개의 명확한 단계 (준비, 복막전 노출, 복막전 박리, 탈장 및 낭 절제, 메쉬 배치, 복막 폐쇄, 최종 검사).
• 전이 학습용 소스 데이터셋:
  • Kinetics-400: 대규모 범용 인간 동작 인식 데이터셋 (기초 초기화).
  • Cholec80: 복강경 담낭절제술을 위한 공개 벤치마크 데이터셋 (중간 도메인 적응).

B. 모델 아키텍처: SurgFormer

• 기존 CNN-RNN 파이프라인 대신 분할된 시공간 주의 메커니즘을 활용합니다.
• 개별 프레임 내의 공간적 자기 주의와 프레임 시퀀스 간의 시간적 자기 주기를 처리합니다.
• 장기 의존성과 전역 컨텍스트를 포착하기 위해 12 개의 순차적 트랜스포머 블록으로 구성됩니다.

C. 훈련 전략 (3 단계 순차 전이 학습)

데이터 부족을 완화하기 위해 저자들은 특정 3 단계 파이프라인을 사용했습니다:

1. 기초 초기화: Kinetics-400 에서 사전 훈련된 TimeSformer 의 가중치를 전이합니다.
2. 수술 도메인 적응: Cholec80 데이터셋으로 50 에포크 동안 미세 조정하여 범용 동작에서 복강경 수술로 특징을 적응시킵니다.
3. 목표 작업 미세 조정: TAPP 데이터셋으로 50 에포크 동안 미세 조정합니다.

D. 실험 프로토콜

이 연구는 데이터 효율성을 결정하기 위해 4 가지 훈련 접근 방식을 비교했습니다:

1. Zero-shot: TAPP 에 대한 직접 추론 (Cholec80 가중치만 사용, TAPP 미세 조정 없음).
2. 직접 훈련: Cholec80 을 우회하고 TAPP 데이터에서 직접 미세 조정.
3. 캐스케이드 훈련: TAPP 데이터의 작은 조각 (2 개 비디오) 에 순차적으로 미세 조정.
4. 누적 훈련: TAPP 데이터의 증가하는 부분집합 (2 개에서 25 개 비디오) 에 점진적으로 미세 조정.

E. 해석 가능성 분석

모델을 해명하기 위해 저자들은 점진적 임베딩 분석을 수행했습니다:

• 모든 12 개의 트랜스포머 블록에서 고차원 특징을 추출했습니다.
• 차원 축소 기법 (PCA, t-SNE, UMAP) 을 적용하여 내부 표현이 저수준 질감에서 고수준 의미론적 클러스터로 어떻게 진화하는지 시각화했습니다.

3. 주요 결과

성능 지표

• Zero-shot 실패: 목표 도메인 적응 없이 TAPP 에서 모델의 정확도는 **15.77%**에 불과하여, 특정 미세 조정의 필요성을 입증했습니다.
• 최적 성능: 누적 훈련 전략은 Top-1 정확도 90.64% 및 평균 F1 점수 **86.44%**의 정점을 달성했습니다.
• 데이터 효율성 ("적은 것이 더 많다"): 모델은 22 개의 훈련 비디오에서 정점을 찍었습니다. 마지막 3 개 비디오를 추가하여 총 25 개로 만들면 성능이 89.99% 로 약간 하락했는데, 이는 수술적 다양성에 대한 포화 지점이 있음을 시사합니다.
• 비교: 누적 훈련 (90.64%) 은 직접 훈련 (89.89%) 과 캐스케이드 훈련 (87.99%) 보다 우수했으며, 이는 순차적 전이 학습이 점진적 조각화보다 파괴적 망각을 더 잘 방지함을 나타냅니다.

클래스별 성능

• 높은 정확도: 모델은 탈장 및 낭 절제 (96.9%) 와 메쉬 배치 (92.9%) 와 같은 명확한 단계에서 탁월한 성능을 발휘했습니다.
• 도전 과제: 복막전 박리 (65.3%) 동안 정확도가 하락했는데, 이 중 31.6% 의 프레임이 탈장 및 낭 절제로 잘못 분류되었습니다. 이는 두 단계 간의 전환이 시각적으로 모호하고 주관적이라는 임상적 현실과 일치합니다.

해석 가능성 발견

• 임베딩 성숙: 차원 축소 시각화는 명확한 진전을 보여주었습니다:
  • 초기 레이어 (Block 0): 특징은 매우 얽혀 있으며 저수준 시각적 질감을 나타냈습니다.
  • 최종 레이어 (Block 11/12): 특징이 7 개의 의미론적 수술 단계에 정확히 대응하는 명확하고 분리 가능한 클러스터로 해결되었습니다.
• 이는 모델이 단순한 프레임 시퀀스를 암기하는 것이 아니라 의미론적 개념을 학습함을 확인시켜 줍니다.

4. 주요 기여

1. 새로운 프레임워크: 데이터 부족에도 불구하고 최첨단 정확도 (90.64%) 를 달성한 TAPP 단계 인식을 위한 비전 트랜스포머 (SurgFormer) 의 최초 적용.
2. 순차 전이 학습 전략: 복잡하고 데이터가 부족한 수술 작업에 대해 3 단계 파이프라인 (Kinetics $\to$ Cholec80 $\to$ TAPP) 이 직접 훈련이나 점진적 조각화보다 우월함을 입증.
3. 데이터 효율성 발견: 최적의 일반화를 위해 22 개의 비디오로 구성된 선별된 부분집합이 충분하다는 것을 규명하여 "데이터가 많을수록 항상 좋다"는 가정에 도전.
4. 심층 해석 가능성: 로컬 질감에서 전역 의미론적 이해로 트랜스포머가 학습하는 방식을 시각적 증거 (PCA/t-SNE/UMAP 를 통해) 로 제공하여 "블랙박스" 우려를 해소.
5. 임상 시각화 도구: 실제 시간 25 fps 비디오 오버레이 및 단계 맵을 개발하여ground truth 와 예측을 병치하고, 단계 경계에서의 일시적 오류를 강조.

5. 의의

이 연구는 탈장 수술 분야에서 상황 인식 수술실을 위한 기초 프레임워크를 확립합니다. TAPP 와 같은 복잡하고 표준화되지 않은 절차에도 고정확도 해석 가능한 AI 가 가능함을 입증함으로써, 다음과 같은 길을 열었습니다:

• 실시간 수술 중 안내: 외과의사에게 이탈이나 임박한 위험을 경고.
• 자동화된 기술 평가: 레지던트 수행에 대한 객관적 평가.
• 자원 최적화: 잔여 수술 시간의 동적 추정.
• 임상적 신뢰: 해석 가능성 분석은 외과의사가 AI 기반 의사결정 지원 시스템을 신뢰하고 도입하는 데 필요한 투명성을 제공.

저자들은 모델이 매우 정확하지만, 향후 연구는 다기관 검증과 라이브 배포를 위한 하드웨어 - 소프트웨어 인터페이스 개발에 초점을 맞춰야 한다고 결론지었습니다.