TrajPred: Trajectory-Conditioned Joint Embedding Prediction for Surgical Instrument-Tissue Interaction Recognition in Vision-Language Models

이 논문은 로봇 수술에서 시계열 운동 정보를 활용하고 시각 - 텍스트 정렬을 개선하기 위해 궤적 기반의 결합 임베딩 예측 프레임워크인 TrajPred 를 제안하여, CholecT50 벤치마크에서 수술 도구와 조직 간 상호작용 인식 성능을 향상시켰음을 보여줍니다.

핵심

🤔 문제: 로봇은 왜 수술을 못 이해할까?

지금까지 로봇 수술은 의사가 조이스틱을 잡고 직접 하는 경우가 대부분입니다. 로봇이 스스로 "지금 의사가 무엇을 하고 있는지"를 이해하려면, 수술 도구 (인스트루먼트) 가 어떤 조직 (티슈) 에 어떤 행동을 하고 있는지를 알아야 합니다.

예를 들어, "집게 (도구) 가 담낭 (조직) 을 당겨서 (동사)"라는 상황을 이해해야 하는 거죠.

하지만 기존 AI 들은 두 가지 큰 문제가 있었습니다:

1. 정지된 사진만 보는 습관: 마치 슬라이드 쇼를 보듯이 한 장의 사진만 보고 행동을 추측합니다. 하지만 "집게로 당기는" 동작은 사진 한 장만으로는 알 수 없고, 시간이 흐르며 움직이는 모습을 봐야 알 수 있습니다.
2. 주변 소음에 흔들림: 수술실에는 배경 (배, 창자 등) 이 복잡하게 보입니다. 기존 AI 는 "무엇을 하고 있다"는 핵심 정보보다 "배경이 뭐다"는 정보에 더 집중해서 혼란을 겪었습니다.

---

💡 해결책: TrajPred (트랙젝션 - 프레드)

이 문제를 해결하기 위해 연구팀이 만든 **'TrajPred'**라는 기술을 세 가지 비유로 설명해 드릴게요.

1. 🎥 정지된 사진 대신 '동영상'과 '흔적'을 본다

기존 AI 가 정지된 사진을 보는 반면, TrajPred 는 비디오 클립을 봅니다.
더 중요한 것은, 이 AI 는 수술 도구가 움직인 **궤적 (Trajectory)**을 특별히 추적한다는 점입니다.

• 비유: 마술사가 손수건을 던지는 장면을 상상해보세요. 정지된 사진에서는 손수건이 어디로 갔는지 알 수 없지만, **손수건의 궤적 (흔적)**을 따라가면 "아, 저기로 날아갔구나!"라고 알 수 있죠. TrajPred 는 수술 도구가 공중을 어떻게 움직였는지 그 '흔적'을 AI 에게 가르쳐서 행동을 정확히 파악합니다.

2. 🔍 배경 소음을 차단하고 '핵심'만 본다

기존 AI 는 화면 전체를 한 번에 보다가 중요한 부분 (도구와 조직이 만나는 곳) 을 놓칩니다.
TrajPred 는 **예측기 (Predictor)**라는 장치를 사용합니다.

• 비유: 시끄러운 파티에서 친구의 목소리를 들어야 할 때, 주변 소음을 차단하고 친구가 있는 곳으로 귀를 기울이는 것과 같습니다. TrajPred 는 "도구가 움직인 궤적"이라는 힌트를 주면, AI 가 배경은 무시하고 도구와 조직이 만나는 정확한 곳에만 집중하게 만듭니다.

3. 🗣️ 어려운 의학 용어를 쉬운 말로 바꿔준다

수술 용어는 일반인이 이해하기 어렵습니다. AI 도 마찬가지입니다.

• 비유: "절개하다 (Dissect)"라는 어려운 단어 대신, **"칼로 가른다"**라는 쉬운 문장으로 바꿔서 가르칩니다.
  연구팀은 수술 동사들을 더 구체적이고 쉬운 문장으로 바꾸고, AI 가 이미 알고 있는 일반적인 언어 지식을 활용하도록 도와주었습니다. 이렇게 하면 AI 가 새로운 상황에서도 더 잘 적응할 수 있습니다.

---

🚀 결과: 무엇이 달라졌나요?

이 기술을 적용한 결과, 다음과 같은 변화가 있었습니다:

• 정확도 상승: 수술 도구가 무엇을 하고 있는지 맞추는 정확도가 크게 올랐습니다.
• 눈의 초점: AI 가 화면에서 어디를 보고 있는지 시각화해보니, 기존 AI 가 배경을 보고 있었다면 TrajPred 는 정확히 도구가 조직을 만나는 곳을 보고 있었습니다.
• 새로운 상황 대처: 훈련할 때 보지 못했던 새로운 수술 동작 (예: 담낭을 '채우는' 행동) 이 나와도 잘 이해했습니다.

🌟 결론

이 논문은 **"로봇 수술 AI 가 단순히 정지된 사진을 보는 것을 넘어, 도구의 움직임을 추적하고 핵심에 집중하도록 만들었다"**는 이야기입니다.

마치 숙련된 외과 의사가 수술 중 도구의 미세한 움직임까지 눈여겨보며 수술을 진행하는 것처럼, 이제 AI 도 수술실의 상황을 더 똑똑하고 정확하게 이해하게 된 것입니다. 이는 앞으로 로봇이 의사를 더 잘 보조하거나, 스스로 수술을 배우는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

로봇 수술 분야에서 AI 어시스턴트를 구축하기 위해서는 수술 기구 (Instrument) 와 조직 (Tissue) 간의 상호작용을 정확히 인식하는 것이 필수적입니다. 기존의 비전 - 언어 모델 (VLM) 은 다양한 작업에서 일반화 능력을 보였으나, 수술 기구 - 조직 상호작용 인식 작업에서는 다음과 같은 두 가지 주요 한계에 직면해 있습니다.

1. 시간적 정보 (Temporal Information) 의 부재: 많은 기존 모델이 단일 프레임 (Single-frame) 입력에 의존하거나, 비디오의 시간적 맥락을 효과적으로 활용하지 못합니다. 수술 동작은 정적인 이미지만으로는 모호할 수 있으며 (예: '잡기' vs '당기기'), 여러 프레임에 걸친 운동 패턴을 관찰해야 정확한 동작을 추론할 수 있습니다.
2. 세부 정보의 억제 (Suppression of Details): 기존 VLM 은 전역적인 의미 (Global Semantics) 를 학습하기 위해 대비 학습 (Contrastive Learning) 을 사용하며, 전체 이미지를 텍스트와 정렬합니다. 이 과정에서 배경 정보에 비해 중요한 미세한 공간적 세부 사항 (Fine-grained details) 이 누락되거나, 배경 패치와 텍스트 간의 유사도가 높게 나타나는 문제가 발생합니다. 수술 환경에서는 기구와 조직이 상호작용하는 특정 영역에 집중해야 하지만, 기존 모델은 배경에 과도하게 주의를 기울이는 경향이 있습니다.

2. 제안된 방법론: TrajPred (Methodology)

저자들은 위 한계를 해결하기 위해 TrajPred라는 새로운 프레임워크를 제안했습니다. 이는 VLM 의 학습 패러다임을 '대비 정렬 (Contrastive Alignment)'에서 **'임베딩 예측 (Embedding Prediction)'**으로 전환하고, 기구의 궤적 정보를 조건으로 활용합니다.

• VL-JEPA 구조 기반 예측:

  • 기존 대비 학습 대신, VL-JEPA (Vision-Language Joint Embedding Predictive Architecture) 에서 영감을 받아 예측기 (Predictor) 모듈을 도입했습니다.
  • 이 예측기는 시각적 토큰과 텍스트 쿼리를 기반으로 최종 타겟 임베딩을 생성하여, 미세한 동작 세부 사항을 더 잘 포착하도록 설계되었습니다.

• 궤적 조건부 임베딩 예측 (Trajectory-Conditioned Prediction):

  • 궤적 토큰 (Trajectory Tokens) 생성: 각 프레임에서 검출된 수술 기구의 바운딩 박스 (Bounding Box) 를 기반으로 외관 (Appearance) 스트림과 위치 (Position) 스트림을 추출합니다.
  • 시간적 운동 정보 인코딩: 프레임 간 기구의 이동 경로 (Towards, Away, 방향 변화 등) 를 궤적 토큰으로 인코딩하여 예측기 모듈에 주입합니다. 이를 통해 모델이 기구의 실제 운동 패턴을 명시적으로 학습하도록 유도합니다.
  • 융합: 생성된 궤적 토큰은 비디오 튜블릿 (Tubelet) 토큰과 결합되어 예측기에 입력됩니다.

• 프롬프트 튜닝 및 동사 재표현 (Verb Rephrasing):

  • 동사 재표현: 수술 전문 용어 (예: 'retract', 'dissect') 를 더 설명적인 자연어 구문 (예: 'pulling aside', 'separating by cutting') 으로 변환하여 사전 학습된 언어 모델의 일반 지식과 도메인 간 격차를 줄입니다.
  • CoOp 스타일 프롬프트 튜닝: 전체 텍스트 인코더를 미세 조정 (Fine-tuning) 하는 대신, 학습 가능한 컨텍스트 토큰만 최적화하여 사전 학습된 지식의 일반화 능력을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 임베딩 예측 패러다임 전환: 수술 기구 - 조직 상호작용 인식을 대비 학습이 아닌, 미세한 동작 세부 사항을 포착할 수 있는 시맨틱 임베딩 예측 문제로 재정의했습니다.
2. 궤적 토큰 도입: 프레임 간 기구의 운동 단서 (Motion Cues) 를 명시적으로 인코딩하는 궤적 토큰을 추출하여 임베딩 예측을 조건화함으로써 동작 인식 정확도를 높였습니다.
3. 일반화 능력 향상: 수술 동사를 설명적인 문장으로 재구성하고 프롬프트 튜닝을 적용하여, 훈련 데이터에 없는 새로운 동사 조합 (Unseen Verbs) 에 대한 일반화 성능을 크게 개선했습니다.
4. 성능 및 정렬 개선: 공개 벤치마크 (CholecT50) 에서 평균 정밀도 (Average Precision) 와 Top-K 정확도를 모두 향상시켰으며, 시각적 임베딩과 텍스트 임베딩 간의 정렬 (Alignment) 이 개선되었음을 시각화 (히트맵) 를 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: CholecT50 (50 개의 복강경 담낭 절제술 비디오, 100 개의 동작 트리플릿 클래스) 을 사용했습니다.
• 성능:
  • RDV 분할 (Standard Setting): TrajPred 은 모든 지표에서 기존 모델 (CLIP, SurgVLP, VL-JEPA 등) 을 능가했습니다. 특히 기구 (API), 동사 (APV), 대상 (APT) 및 트리플릿 (APIVT) 수준의 평균 정밀도에서 최상위 성능을 기록했습니다.
  • Unseen Verb 설정: 훈련 데이터에 포함되지 않은 동사 조합에 대한 일반화 테스트에서 TrajPred 은 기존 모델 대비 월등히 높은 성능 (Top@K=|GT| 20.88 vs VL-JEPA 19.39) 을 보였습니다.
  • 희귀 동작 인식: 'Grasper-Pack'이나 'Bipolar-Dissect'와 같이 빈도가 낮은 동작 조합에서도 TrajPred 은 성능을 크게 향상시켰습니다.
• 시각화 분석:
  • 기존 모델은 배경이나 내시경 경계선에 높은 유사도를 보인 반면, TrajPred 은 수술 기구와 조직이 상호작용하는 정확한 영역에 집중하는 히트맵을 생성했습니다.
  • 궤적 토큰을 사용하지 않을 경우 예측 신뢰도가 낮아지고 히트맵이 흐려지는 것을 확인했습니다.
• 효율성: 궤적 토큰 모듈은 모델 크기를 3.4% 만 증가시키고, 추론 지연 시간을 0.34ms(+1.1%) 만 늘려 계산 비용 증가 없이 성능 향상을 달성했습니다.

5. 의의 및 결론 (Significance)

TrajPred 은 수술용 VLM 이 단순한 이미지 - 텍스트 정렬을 넘어, **시간적 운동 단서 (Temporal Motion Cues)**와 미세한 공간적 세부 사항을 통합적으로 이해할 수 있음을 입증했습니다. 특히 대비 학습의 한계를 극복하고 예측 기반 학습을 도입함으로써, 복잡한 수술 환경에서의 AI 의사결정 지원 시스템의 신뢰성과 정확성을 높이는 중요한 진전을 이루었습니다. 이는 향후 로봇 수술의 자동화 및 숙련된 수술 기술 학습 (Skill Learning) 에 필수적인 기술적 기반을 제공합니다.