Action-grounded tissue affordance enables anticipatory auto-framing that lowers surgeon cognitive workload during laparoscopic surgery

기술 요약: 복강경 수술의 예측적 자동 프레이밍을 위한 행동 기반 조직 어포던스(Action-Grounded Tissue Affordance)

문제 정의

복강경 수술은 시각적 축과 운동 축 사이의 해리, 제한된 2차원 뷰, 그리고 카메라 조수의 의도를 해석해야 하는 필요성으로 인해 상당한 인지적 어려움을 야기합니다. 계산적 주의력 모델(computational attention models)이 관심 영역(ROI)을 예측함으로써 이러한 부담을 완화할 수 있지만, 이들의 실제 수술 현장 배치는 "라벨링 병목 현상(labeling bottleneck)"에 의해 저해됩니다. 자연 이미지와 달리, 수술적 ROI는 정적인 해부학적 구조가 아니라 기능적 의도에 의해 결정되는 동적인 타겟입니다. 이러한 타겟을 식별하는 데는 내재적으로 암묵적인 전문 절차 지식이 필요합니다. 전문가들은 상호작용 위치에는 수렴하지만, 그 선택을 지배하는 명시적인 규칙을 설명하지는 못합니다. 결과적으로, 딥러닝 모델 학습을 위한 조밀한 프레임별 주석(annotation) 생성은 희소한 전문 외과의 집단에 의존하게 되어, 수동 감독 비용이 매우 높고 확장 불가능하게 만듭니다. 더욱이, 기존 방식은 도구가 타겟에 도착하기 전의 의도를 예측하지 못하고 반응적인 도구 추적(reactive instrument tracking)에 의존하는 경우가 많습니다.

방법론

저자들은 수동 주석 대신 행동으로부터 감독(supervision)을 도출하는 프레임워크를 제안하며, 이를 통해 정적인 랜드마크 식별에서 수술적 의도의 행동 기반 해석으로 전환합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. DiffeoAfford (디페오모픽 어포던스 그라운딩):

   • 개념: 완료된 수술로부터 역설적으로 수술적 상호작용 위치(Affordance Hotspots 또는 AH)를 추론하는 사후적(hindsight-oriented) 파이프라인입니다.
   • 메커니즘: 시스템은 **Segment Anything Model 2 (SAM2)**를 사용하여 기구를 분할하고 팁(tip)을 추출합니다. 단순한 전역 변환을 무효화하는 연조직의 비정형 변형(non-rigid deformation) 문제를 해결하기 위해, DiffeoAfford는 **디페오모픽 제약 추적(diffeomorphism-constrained tracking)**을 채택합니다. 이는 카메라 움직임을 위한 전역 변환과 프레임 간의 조밀한 픽셀 단위 대응 관계를 설정하기 위한 국소 디페오모픽 변형 필드를 결합합니다.
   • 라벨 생성: 기구 팁 포인트들을 쿼리 프레임에 집계하고, 변위 필드(displacement fields)를 통해 다른 모든 프레임으로 전파합니다. 이 포인트들을 필터링하고 2D 가우시안 분포에 적합시켜, 조직 어포던스를 나타내는 연속적인 "소프트 라벨(soft labels, 히트맵)"을 생성합니다.
   • 시간적 정제: 파이프라인은 기구 길이와 AH 가시성을 기준으로 비디오 클립을 자동으로 분할하여, 라벨이 일관된 단일 행동 시연에 부합하도록 보장합니다.

2. 실시간 어포던스 예측:

   • 자동 생성된 AH 데이터셋을 바탕으로 딥러닝 모델(SegFormer)을 학습시킵니다.
   • 이 모델은 추론 시 수동 라벨 없이도 수술 장면으로부터 실시간 어포던스 핫스팟을 예측합니다.
   • 히트맵의 예측된 중심점(centroid)은 뷰 컨트롤의 타겟 역할을 합니다.

3. AffordView 적용:

   • 예측된 상호작용 위치를 중심으로 하기 위해 원본 영상을 동적으로 크롭(crop)하고 업스케일링하는 예측적 자동 프레이밍 시스템입니다.
   • 반응적 시스템이나 현재 이미지를 통해 의도를 추론하는 인간 카메라 조수와 달리, AffordView는 모니터에 대한 외과의의 자연스러운 중심 편향 고정(center-bias fixation)을 활용하여 시야(FoV)를 예측된 수술 타겟에 선제적으로 정렬합니다.

주요 기여

• 행동 기반 감독(Action-Grounded Supervision): 전문가의 궤적을 사후적 그라운드 트루스로 활용함으로써, 수동 주석 없이도 조밀한 프레임별 어포던스 라벨을 생성하는 새로운 방법을 도입했습니다.
• DiffeoAfford 파이프라인: 연조직의 역동성을 처리하기 위해 디페오모픽 변형을 통합한 추적 프레임워크를 개발하였으며, 이는 위치 정확도 측면에서 전역 변환 베이스라인(similarity 및 homography)보다 우수한 성능을 보였습니다.
• 예측적 vs 반응적: 행동 기반 어포던스 예측이 반응적인 도구 추적이나 인간 카메라 조수보다 외과의의 시선과 후속 카메라 움직임을 더 효과적으로 예측할 수 있음을 입증했습니다.
• 임상 검증: 주관적 작업 부하 설문, 뇌전도(EEG), 동공 측정, 안구 추적을 포함한 쌍체 내 수술 연구를 통해 AffordView 애플리케이션에 대한 포괄적인 평가를 수행했습니다.

결과

• 그라운딩 정확도: 공개 데이터셋인 Cholec80에서 DiffeoAfford가 생성한 라벨은 전체 절차적 맥락을 제공받은 초보 주석가와 통계적으로 동등한 주석 정확도를 달-성했으며, 숙련된 외과의의 합의와도 밀접하게 일치했습니다. 개인 데이터셋인 LCET에서, 그라운딩된 라벨은 맥락을 파악한 주니어 주석가와 비교했을 때 외과의의 실시간 시선과 유의미한 차이가 없었습니다.
• 예측 성능:
  • 시간적 정렬: LCET 데이터셋에서 AH 예측 모델은 카메라 조수의 시선에 비해 외과의의 시선에 대해 유의미하게 짧은 중심점 지연(lag)을 보였습니다 (예: 칼로 삼각(Calot triangle) 박리 중 -0.033초 vs 0.185초).
  • 공간적 정렬: AH 예측은 카메라 조수의 시선 및 이미지 중심보다 외과의의 시선에 유의미하게 더 가까웠습니다.
  • 카메라 움직임 예측: AutoLaparo(자궁 절제술) 데이터셋에서, 모델은 카메라 움직임이 발생하기 직전에 95.16%의 방향 일치성을 달성했습니다. 시간적 간격이 커짐에 따라 성능이 급격히 저하되는 도구 추적 베이스라인과 달리, AH 예측은 더 긴 시간 지평에서도 안정적인 정확도를 유지했습니다.
• 사용자 경험 및 인지적 작업 부하:
  • 선호도: 28명의 외과의를 대상으로 한 다기관 설문 조사에서, AH 기반 AffordView는 시야(FoV) 정확도 측면에서 조정되지 않은 뷰(77.1% 선호) 및 도구 추적 베이스라인(75.4% 선호)보다 유의미하게 높은 선호도를 보였습니다.
  • 생리학적 지표: 12쌍의 담낭 절제술을 이용한 쌍체 내 수술 연구에서, AffordView를 사용한 실험군은 다음과 같은 인지적 작업 부하 감소 지표를 보였습니다:
    • EEG: 표적 단계 동안 세타/알파 비율(TAR) 및 후두부 알파 파워 감소.
    • 동공 측정: 동공 활동 지수(IPA) 감소.
    • 행동: 카메라 조수에게 내리는 구두 지시 횟수의 유의미한 감소.
  • 주관적 지표: 외과의들은 SURG-TLX 척도에서 정신적 및 신체적 요구도가 유의미하게 낮다고 보고했습니다.

의의 및 주장

본 논문은 주석 대신 행동으로부터 감독을 도출하는 것이 수술실에서의 예측적 보조를 위한 확장 가능한 경로를 제공한다고 주장합니다. 조직 어포던스를 사후적으로 그라운딩함으로써, 이 시스템은 라벨링을 위한 전문가의 암묵적 지식에 의존하지 않고도 로우 센서 데이터와 고차원 인지 추론 사이의 간극을 메웁니다.

저자들은 이 접근 방식이 단순히 기구를 추적하는 것이 아니라, 상호작용이 예상되는 곳을 예측하며, 인간의 시각-운동 제약(특히 중심 편향 및 '콰이어트 아이(quiet eye)' 전략)에 디지털 인터페이스를 정렬시킨다는 점을 강조합니다. 이러한 정렬은 보상적 정신 회전(mental rotation)과 부수적 인지 부하를 줄여줍니다. 연구는 이 시스템이 외과의를 대체하는 것이 아니라, 시야를 선제적으로 관리함으로써 인간의 능력을 증폭시키는 증강 지능(augmented intelligence) 도구로서 작용하여 복강경 수술 특유의 인지 과부하를 완화한다고 결론짓습니다. 저자들은 현재 시스템이 의미론적 추론(예: 악성 조직 구분) 기능이 부족하며, 관찰된 인지적 이점이 반드시 주변부 경계 유지 능력(측정되지 않음)을 보존함을 의미하는 것은 아니라는 점을 언급하며 신중한 태도를 유지했습니다.