SurgAtt-Tracker: Online Surgical Attention Tracking via Temporal Proposal Reranking and Motion-Aware Refinement

이 논문은 제안된 SurgAtt-Tracker 프레임워크와 대규모 벤치마크 SurgAtt-1.16M 을 통해 시공간적 학습과 제안 재순위화 기법을 활용하여 수술 중 시선 주의를 정밀하게 추적하고, 이를 통해 로봇 수술의 시야 안내 및 자동 카메라 제어에 기여하는 새로운 접근법을 제시합니다.

핵심

1. 문제: 수술실의 '손이 없는 조종사'

미세 침습 수술 (내시경 수술) 은 작은 구멍으로 카메라를 넣어 수술을 합니다. 이때 중요한 것은 의사가 지금 어디를 보고 있는지입니다.

• 기존 방식: 의사가 "여기 좀 봐!"라고 말하거나, 보조 인력이 의사의 눈동자를 따라 카메라를 움직여야 했습니다.
• 문제점: 보조 인력은 피곤해지면 카메라가 흔들리거나, 의사가 원하는 곳을 놓칠 수 있습니다. 의사에게 "카메라 좀 옮겨줘"라고 말하게 하면 수술 흐름이 끊기고 집중이 깨집니다.

2. 해결책: 의사의 '시선 지도'를 그리는 AI

이 연구팀은 **"의사가 지금 가장 집중하고 있는 곳을 AI 가 알아서 찾아서 화면에 표시해 주자"**고 생각했습니다.

• 비유: 마치 의사가 수술 중 눈을 깜빡일 때마다, AI 가 "지금 의사의 시선이 이 부위에 집중되어 있어!"라고 빨간색 점 (히트맵) 으로 표시해 주는 것입니다.
• 이 점만 있으면 로봇 카메라가 자동으로 그 점으로 이동하게 만들 수 있습니다.

3. 핵심 기술: "추리"와 "보정"의 두 단계

의사의 시선은 단순히 '물체'를 찾는 것보다 훨씬 복잡합니다. 피가 묻거나, 연기가 피어오르거나, 여러 도구가 섞여 있으면 AI 가 혼란을 겪기 쉽습니다. 그래서 SurgAtt-Tracker 는 두 가지 clever 한 전략을 씁니다.

① 후보군 추리기 (Proposal Reranking)

• 상황: AI 가 처음에 "여기, 저기, 저기"라고 100 개나 되는 후보 장소를 나열합니다. 하지만 그중 1 등 (Top-1) 이 항상 정답은 아닙니다. (예: 연기 때문에 1 등인 곳이 사실은 아무것도 없는 곳일 수 있음)
• 전략: AI 는 "지금까지 의사가 어디를 봤지?"라는 과거의 흐름을 기억합니다.
• 비유: 추리 소설의 수사관이 됩니다. "이 용의자 (후보) 가 범인 (주의 대상) 일 확률이 높지만, 과거의 행동 패턴을 보면 저쪽이 더 그럴듯해."라고 순위를 다시 매겨 (Reranking) 가장 그럴듯한 후보를 골라냅니다.

② 미세 조정 (Motion-Aware Refinement)

• 상황: 아무리 좋은 후보를 골라도, 위치가 1 픽셀이라도 어긋나면 수술 중에는 치명적일 수 있습니다.
• 전략: AI 는 "의사의 손이 어떻게 움직였는지"를 함께 봅니다.
• 비유: 정밀한 조준경을 가진 저격수처럼, 처음 잡은 표적을 보고 "아, 의사가 손으로 살짝 오른쪽으로 움직였네? 그럼 내 시선도 오른쪽으로 살짝 더 밀어야겠다"라고 정확한 위치를 보정합니다.

4. 새로운 데이터: "수술실의 시선 지도" (SurgAtt-1.16M)

이 기술을 가르치기 위해 연구팀은 160 만 장이 넘는 수술 영상 데이터를 만들었습니다.

• 특이점: 기존 데이터는 단순히 "도구가 어디 있나?"를 표시했지만, 이 데이터는 "의사가 지금 이 조직을 보고 있구나"라고 인간 전문가들이 직접 표시한 정밀한 시선 지도를 담고 있습니다.
• 마치 수술실의 '시선 지도'를 그리는 교과서를 새로 만든 셈입니다.

5. 결과: 왜 이것이 중요한가?

실험 결과, 이 AI 는 연기, 피, 여러 도구가 섞인 복잡한 상황에서도 다른 AI 들보다 훨씬 정확하게 의사의 시선을 따라잡았습니다.

• 의미: 앞으로는 의사가 말하지 않아도, 로봇 카메라가 의사의 시선을 읽어서 자동으로 가장 중요한 곳을 비추고 안정적으로 따라다닐 것입니다.
• 마무리: 이는 수술실의 보조 인력을 대체하는 것이 아니라, **의사의 피로를 줄이고 수술의 안전성을 높여주는 '지능형 조수'**가 되는 것입니다.

---

한 줄 요약:

"SurgAtt-Tracker는 의사가 수술 중 어디를 보고 있는지 AI 가 추리하고 정밀하게 보정하여, **로봇 카메라가 자동으로 의사의 시선을 따라가게 만드는 '눈썰미 좋은 수술실 조수'**입니다."

기술 요약

1. 문제 정의 (Problem Definition)

최소 침습 수술 (MIS) 에서 외과 의사의 시선 주의 (Visual Attention) 를 정확하고 안정적으로 추적하는 것은 안전하고 효율적인 수술을 위해 필수적입니다. 그러나 기존 접근법들은 다음과 같은 한계가 있었습니다:

• 하위 작업과의 혼동: 시각적 주의 추정과 카메라 제어 (다운스트림 작업) 를 혼동하거나, 단순히 객체 중심 (Object-centric) 인 가정에 의존합니다.
• 불안정성: 외과적 주의는 정적인 객체가 아니라 조직, 도구, 수술 단계에 따라 변화하는 '잠재적 인지 상태'입니다. 기존 프레임 단위 검출기는 가려짐 (Occlusion), 모션 블러, 낮은 클래스 간 분리성으로 인해 Top-1 예측이 불안정하고 ID 스위치가 빈번하게 발생합니다.
• 실시간성 부족: 외과의사의 잠재적 지각 우선순위를 기반으로 한 실시간 주의 모델링이 부재하며, 대부분의 기존 연구는 사후 분석용이거나 이산적인 방향성 신호에 그칩니다.

이에 본 논문은 수술 주의 추적 (Surgical Attention Tracking, SAT) 을 공간 - 시간적 학습 문제로 재정의하고, 외과의사의 시선 집중을 밀집된 주의 히트맵 (Dense Attention Heatmap) 으로 모델링하여 연속적이고 해석 가능한 프레임 단위 시야 (FoV) 가이드를 제공하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 SurgAtt-Tracker 라는 통합 프레임워크를 제안합니다. 이는 직접적인 회귀 (Regression) 가 아닌, 프로포절 (Proposal) 재순위화 (Reranking) 와 모션 인식 정제 (Refinement) 를 통해 주의 영역을 추적합니다.

핵심 아키텍처

1. 프로포절 생성 (Frozen Detector & Proposal Generation):

   • 사전 학습된 고정된 (Frozen) 검출기 (YOLOv12 기반) 를 사용하여 고 회수율 (High-recall) 의 Top-K 프로포절 (후보 박스) 과 멀티스케일 특징 피라미드를 생성합니다.
   • Top-1 예측은 불안정할 수 있으나, 실제 주의 대상은 Top-K 집합 내에 항상 존재한다는 가정을 활용합니다.

2. 멀티스케일 ROI 디코더 (Multi-Scale ROI Decoder):

   • 다양한 크기의 수술 대상 (미세한 도구 끝부터 큰 해부학적 영역까지) 을 처리하기 위해, 각 프로포절을 고정된 검출기의 특징 피라미드 공간에 매핑하여 스케일 불변의 일관된 특징 표현을 추출합니다.

3. 주의 점수 재순위화 모듈 (Attention Score Rerank - AS-Rerank):

   • 정적인 프레임별 신뢰도 대신 시간적 일관성 (Temporal Consistency) 을 기준으로 재순위화합니다.
   • 이전 프레임의 신뢰할 수 있는 참조 (Reference) 상태와 현재 프레임의 후보들 간의 교차 주의 (Cross-attention) 메커니즘을 통해 가장 일관된 Top-1 후보를 선택합니다. 이는 가려짐이나 모션 블러 상황에서도 안정적인 추적을 가능하게 합니다.

4. 모션 인식 적응형 정제 모듈 (Motion-Aware Adaptive Refine - MAA-Refine):

   • 선택된 박스가 검출기의 고정된 그리드로 인해 여전히 이산화 오차를 가질 수 있으므로, 이를 보정합니다.
   • 시각적 특징과 기하학적 모션 사전 지식 (Geometric Motion Prior) 을 결합하여, 외과의사의 주의 이동 방향과 크기를 연속적으로 보정합니다. 이는 극단적인 카메라 이동이나 저 텍스처 환경에서도 정밀한 위치 조정을 가능하게 합니다.

학습 목표

• 재순위화 손실 (Reranking Loss): Top-K 후보 중 GT 에 가장 가까운 것을 선택하도록 하는 분류 손실, 기하학적 정규화, 그리고 Top-M 리스트 순위 손실 (Top-M Listwise Ranking) 을 결합하여 공간적 오차에 따라 점수가 부드럽게 감소하도록 학습합니다.
• 정제 손실 (Refinement Loss): 중심 정렬 (Translation) 과 로그 스케일 크기 보정 (Scale Calibration) 을 위한 회귀 손실을 사용하여 최종 박스를 정밀하게 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의 및 모델링: 수술 주의 추적을 공간 - 시간적 학습 문제로 정의하고, 단일 점이나 박스가 아닌 밀집된 히트맵 (Dense Heatmap) 을 핵심 모델링 원시 (Primitive) 로 채택했습니다.
2. SurgAtt-Tracker 프레임워크: 제안된 프로포절 재순위화 및 모션 인식 정제 모듈을 통해 가려짐, 다중 도구 간섭, 교차 도메인 환경에서도 강건한 추적 성능을 달성했습니다.
3. SurgAtt-1.16M 벤치마크:
   • 임상적으로 근거 있는 주석 프로토콜을 기반으로 한 대규모 데이터셋 (약 116 만 프레임) 을 구축했습니다.
   • 직장, 위장, 자궁, 신장 등 다양한 장기와 수술 절차를 포함하며, 이산적인 전문가 주의 영역을 연속적인 히트맵으로 변환하는 계층적 주석 전략을 도입했습니다.
4. 성능 입증: 여러 데이터셋에서 SOTA (State-of-the-Art) 성능을 달성했으며, 실시간 (12.5 FPS) 추론이 가능하여 로봇 수술 시스템에 통합 가능한 수준임을 증명했습니다.

4. 실험 결과 (Results)

• 주요 데이터셋 (SurgAtt-SZPH) 성능:
  • U-Net 기반, 회귀 기반, 객체 추적 기반, 검출 기반 (YOLOv12, RT-DETRv2 등) 다양한 베이스라인을 비교했습니다.
  • SurgAtt-Tracker 는 NSS(2.580), CC(0.871), SIM(0.829) 에서 모든 메트릭에서 최상위 성능을 기록했습니다. 특히 RT-DETRv2 대비 NSS 는 8.9%, CC 는 6.0% 향상되었으며, 오차 (MSE, MAE) 는 37~40% 이상 감소했습니다.
• 제로샷 (Zero-shot) 및 교차 도메인 일반화:
  • AutoLaparo (산부인과) 와 Hamlyn (비뇨기과) 데이터셋에서 추가 학습 없이도 강력한 성능을 보였으며, 미세 조정 (Fine-tuning) 시 성능이 더욱 크게 향상되었습니다.
• 강건성:
  • 연기 간섭, 다중 도구 혼재, 급격한 카메라 이동 등 어려운 시나리오에서도 히트맵의 피크가 불안정하거나 공간적 편향을 보이는 기존 방법들과 달리, SurgAtt-Tracker 는 날카롭고 GT 와 정렬된 예측을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의: 이 연구는 의료 로봇 분야에서 주의 인식 (Attention-aware) 내시경 제어를 가능하게 하는 첫 번째 대규모 벤치마크와 프레임워크를 제공했습니다.
• 기술적 혁신: 단순한 카메라 제어가 아닌, 외과의사의 의도 (Intent) 와 시선 집중을 직접적으로 모델링하여, 로봇 보조 시스템이 수술 흐름을 방해하지 않고 자연스럽게 시야를 보정할 수 있는 기반을 마련했습니다.
• 미래 전망: 추후 SurgAtt-Tracker 를 로봇 시스템에 통합하여 안전하고 안정적인 자동화된 내시경 제어 시스템을 구축하고, 수술 중 외과의사의 인지 피로를 줄이는 데 기여할 것으로 기대됩니다.

이 논문은 수술 중 시각적 주의 추정을 단순한 검출 문제를 넘어, 시간적 일관성과 모션 정보를 활용한 고급 학습 문제로 접근함으로써 의료 영상 분석 및 로봇 수술 분야의 새로운 표준을 제시했습니다.