Slot-BERT: Self-supervised Object Discovery in Surgical Video

본 논문은 장기적인 시간적 일관성을 유지하면서 계산 효율성을 확보하고, 새로운 슬롯 대비 손실을 통해 표현의 해리성을 향상시킨 자기지도 학습 기반의 'Slot-BERT' 모델을 제안하여, 다양한 수술 영상의 비지도 객체 발견 및 제로샷 도메인 적응에서 기존 최첨단 기법보다 우수한 성능을 입증했습니다.

핵심

수술 비디오의 '마법 같은 눈'을 만든 Slot-BERT: 쉬운 설명

이 논문은 수술 중 찍힌 긴 비디오를 보고, 어떤 도구와 조직이 언제 어디서 움직이는지 자동으로 찾아내는 인공지능을 소개합니다. 이 기술의 이름은 **'Slot-BERT'**입니다.

기존의 방법들은 긴 수술 영상을 볼 때 두 가지 큰 문제를 겪었습니다.

1. 기억력 부족: 영상을 한 장씩 차례대로 보면, 10 분 뒤의 장면에서 "아까 그 가위가 어디 갔지?"라고 기억하지 못해 혼란이 생깁니다.
2. 무거운 짐: 영상을 한 번에 다 분석하려면 컴퓨터가 너무 무거운 일을 해야 해서, 병원 같은 곳에서 실제로 쓰기 어렵습니다.

Slot-BERT는 이 두 문제를 해결하는 새로운 방법입니다. 이를 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. "슬롯 (Slot)"이란 무엇일까요? (빈 의자 배정하기)

수술실에는 여러 가지 도구 (가위, 집게, 흡입기 등) 와 조직 (피부, 장기 등) 이 있습니다. Slot-BERT 는 이 모든 것을 한 덩어리로 보지 않고, **정해진 개수의 '빈 의자 (슬롯)'**를 만들어냅니다.

• 비유: 마치 어린이집 선생님이 아이들을 관리할 때, 각 아이에게 고유한 이름표를 붙여주는 것과 같습니다.
• 작동 원리: 비디오의 첫 장면을 보면, AI 는 "여기 가위가 있네, 이 가위는 1 번 의자에 앉게 해라"라고 정합니다. 다음 장면으로 넘어가도, 1 번 의자에 앉은 가위가 계속 움직이는지, 아니면 다른 가위로 바뀌었는지를 추적합니다.
• 핵심: 이 '의자 (슬롯)'는 **객체 중심 (Object-centric)**입니다. 즉, 픽셀 하나하나를 보는 게 아니라, "이것은 가위야, 저것은 조직이야"라고 개체 단위로 이해합니다.

2. BERT 는 왜 붙었을까요? (양방향 시간 여행)

기존의 AI 는 영상을 앞에서 뒤로만 읽었습니다. (예: 어제 일기를 쓰고 오늘 일기를 쓰는 것) 하지만 수술은 복잡해서, "지금 가위가 움직이는 이유는 10 초 전에 조직이 찢어졌기 때문"일 수도 있고, "다음에 가위가 어디로 갈지"를 예측해야 할 수도 있습니다.

• 비유: BERT는 언어 모델 (예: 챗봇) 에서 쓰이는 기술로, 문장을 읽을 때 앞뒤를 모두 동시에 이해합니다. "나는 사과를 ___ 먹었다"라는 문장에서 빈칸을 채울 때, 앞의 '사과'와 뒤의 '먹었다'를 모두 보고 정답을 맞춥니다.
• Slot-BERT 의 혁신: 이 기술을 영상에 적용했습니다. AI 는 과거의 장면뿐만 아니라 미래의 장면도 함께 보고 "아, 이 가위는 앞으로 계속 저쪽으로 움직일 거야"라고 추론합니다.
  • 결과: 시간이 지나도 가위가 사라졌다가 다시 나타나는 상황에서도, "아, 이건 같은 가위야!"라고 오래 기억할 수 있게 됩니다.

3. "경쟁하는 의자들" (Contrastive Loss)

문제는 여러 개의 의자 (슬롯) 가 서로 같은 역할을 하려고 하면 생깁니다. 예를 들어, 1 번 의자와 2 번 의자가 모두 "나는 가위야"라고 주장하면 AI 는 혼란에 빠집니다.

• 비유: 의자끼리 서로 다른 색깔을 입게 하는 것입니다.
• 작동 원리: 연구자들은 AI 를 훈련시킬 때, "1 번 의자가 가위를 보고 있다면, 2 번 의자는 가위를 보지 말고 다른 것 (예: 조직) 을 봐야 해"라고 가르쳤습니다. 이를 **대조적 손실 (Contrastive Loss)**이라고 합니다.
• 효과: 각 의자 (슬롯) 가 서로 완전히 다른 역할을 하도록 강제함으로써, 가위와 조직을 훨씬 더 명확하게 구분해냅니다.

---

왜 이 기술이 중요한가요? (실제 효과)

이 기술은 실제 수술 영상 (복부, 담낭 제거, 흉부 수술 등) 에서 실험되었습니다.

1. 긴 영상도 척척: 30 초에서 1 분 이상 되는 긴 수술 영상에서도 가위와 조직의 움직임을 끊기지 않고 추적했습니다.
2. 학습 없이도 가능 (Zero-shot): A 병원 (예: 미국) 에서 배운 지식을 B 병원 (예: 한국) 의 새로운 수술 영상에 바로 적용해도 잘 작동했습니다. 마치 수술에 대한 일반적인 상식을 익혀서, 어떤 수술실에서도 바로 적응하는 것과 같습니다.
3. 가볍고 빠름: 무거운 슈퍼컴퓨터가 아니라, 일반적인 병원용 컴퓨터에서도 실행 가능할 정도로 효율적입니다.

요약: Slot-BERT 가 해낸 일

• 기존 방식: 영상을 한 장씩 쭉 보다가, 시간이 지나면 "어? 이 가위 누구지?"라고 잊어버리거나, 컴퓨터가 너무 무거워 멈춤.
• Slot-BERT 방식:
  1. **의자 (슬롯)**를 만들어 각 도구에게 자리를 배정.
  2. 과거와 미래를 동시에 보고 (BERT) 가위가 어디로 갈지 예측하며 기억.
  3. 의자들끼리 서로 다른 역할을 하도록 경쟁시켜 혼란 방지.

이 기술은 앞으로 수술 중 AI 가 의사를 도와 "지금 가위가 혈관에 너무 가까이 갔어요!"라고 경고를 하거나, 수술 과정을 자동으로 기록하고 분석하는 데 핵심이 될 것입니다. 마치 수술실의 완벽한 보조 간호사처럼, 눈이 빠르고 기억력이 좋으며, 어떤 수술실에서도 즉시 일할 수 있는 존재가 된 것입니다.

기술 요약

1. 문제 정의 (Problem)

수술 영상 분석에서 객체 중심 (Object-centric) 학습은 구조화되고 설명 가능한 표현을 학습하여 수술 도구와 조직의 추론을 지원하는 핵심 기술입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 장기적 시간 일관성 (Long-range Temporal Coherence) 부족: 기존 객체 중심 비디오 모델들은 주로 RNN(순환 신경망) 기반의 재귀적 처리를 사용하여 효율성을 확보합니다. 하지만 이는 장기적인 시간 의존성을 학습하는 데 어려움을 겪으며, 긴 수술 영상에서 객체의 정체성 (Identity) 을 일관되게 유지하기 어렵습니다.
• 계산 비용의 비효율성: 전체 비디오를 병렬로 처리하여 시간적 일관성을 확보하는 방법 (예: Transformer 기반 병렬 처리) 은 계산 오버헤드가 매우 커서 의료 시설의 제한된 하드웨어 환경에서 실용적으로 적용하기 어렵습니다.
• 보조 신호의 의존성: 광학 흐름 (Optical Flow) 이나 깊이 맵 (Depth Maps) 과 같은 보조 정보를 사용하는 기존 방법들은 정적 객체나 변형 가능한 조직, 저조도 환경에서는 오차가 누적되거나 신뢰성이 떨어지는 문제가 있습니다.

따라서, 보조 신호 없이도 긴 수술 영상을 처리할 수 있으며, 계산적으로 효율적이면서도 강력한 장기 시간 일관성을 유지하는 새로운 아키텍처가 필요합니다.

2. 방법론 (Methodology)

저자들은 Slot-BERT라는 새로운 자기지도학습 (Self-supervised) 객체 중심 모델을 제안합니다. 이 모델은 자연어 처리의 BERT 아키텍처를 비디오 객체 발견에 적용한 것입니다.

핵심 구성 요소:

1. 슬롯 어텐션 (Slot Attention) 기반 인코딩:

   • 입력 비디오 프레임을 ViT(Vision Transformer) 로 특징을 추출한 후, Slot Attention 메커니즘을 통해 저차원의 '슬롯 (Slots)' 벡터로 변환합니다. 각 슬롯은 하나의 객체 (도구, 조직 등) 를 나타내는 잠재 표현입니다.
   • 초기 슬롯 할당은 RNN 방식의 재귀적 초기화를 사용합니다.

2. Temporal Slot Transformer (TST):

   • Bidirectional Reasoning: RNN 의 한계를 극복하기 위해, 학습된 슬롯 시퀀스를 BERT 와 유사한 양방향 (Bidirectional) Transformer 인코더에 입력합니다.
   • Masked Modeling: 학습 시 일부 프레임의 슬롯을 마스킹 (Masking) 하고, 나머지 슬롯들을 통해 마스킹된 슬롯을 복원하도록 훈련합니다. 이를 통해 과거와 미래의 맥락을 모두 활용하여 장기적인 시간적 일관성을 학습합니다.
   • 확장성: 전체 비디오 특징을 처리하는 것이 아니라, 압축된 '슬롯'만 처리하므로 긴 영상에서도 계산 효율성이 유지됩니다.

3. 슬롯 대비 손실 (Slot Contrastive Loss):

   • 슬롯 간의 중복성을 줄이고 표현의 해리 (Disentanglement) 를 향상시키기 위해 도입된 새로운 손실 함수입니다.
   • 동일한 프레임 내의 다른 슬롯 벡터들 사이의 코사인 유사도를 최소화 (직교성 강화) 하여, 각 슬롯이 서로 다른 객체를 명확하게 구분하도록 유도합니다.

4. 학습 목표:

   • 재구성 손실 (Reconstruction Loss): 마스킹된 슬롯을 통해 원래의 영상 특징 맵을 복원하는 것을 목표로 합니다.
   • 최종 손실: 재구성 손실과 슬롯 대비 손실을 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. Slot-BERT 아키텍처 제안: 비디오 프레임 간 양방향 시간 추론을 기반으로 한 최초의 객체 중심 자기지도학습 모델입니다.
2. 슬롯 대비 손실 (Slot Contrastive Loss): 슬롯 어텐션에 특화된 손실 함수로, 슬롯 간의 직교성을 높여 객체 표현의 독립성과 분할 정확도를 향상시킵니다.
3. 계산 효율성과 확장성: 긴 비디오 시퀀스를 처리할 수 있으면서도 의료 현장의 저사양 하드웨어에서도 실행 가능한 효율적인 모델을 제공합니다.
4. 범용성 입증: 다양한 수술 분야 (복부, 담낭 절제, 흉부) 와 데이터베이스에서 최첨단 (SOTA) 방법보다 우수한 성능을 보였으며, 추가 학습 없이도 새로운 도메인으로의 Zero-shot 적응이 가능함을 증명했습니다.

4. 실험 결과 (Results)

저자들은 MICCAI 2022, Cholec80, EndoVis 2017, Thoracic Robotic Surgery 등 4 개의 실제 수술 영상 데이터셋과 비수술 데이터셋 (YT-VIS, MOVi-E) 에서 모델을 평가했습니다.

• 성능 우위:
  • MICCAI 데이터셋: mBO-V(48.9%), FG-ARI(58.2%), CorLoc(70.7%) 등 모든 주요 지표에서 기존 SOTA 방법 (Video-Saur, SAVi, STEVE 등) 을 능가했습니다. 특히 CorLoc(객체 위치 정확도) 에서 10.6%p 향상되었습니다.
  • Cholec80 데이터셋: 작은 데이터셋과 복잡한 도구 간섭 상황에서도 Video-Saur 대비 mBO-V 에서 2.7%p, FG-ARI 에서 2.8%p 향상되었습니다.
• Zero-shot 일반화:
  • MICCAI 데이터로 학습된 모델을 추가 학습 없이 다른 도메인 (EndoVis, Thoracic) 에 적용했을 때, 해당 도메인에서 처음부터 학습한 모델과 유사하거나 더 좋은 성능을 보여주었습니다.
• 긴 시퀀스 처리:
  • 30 초 길이의 긴 영상에서도 시간적 일관성 (mBO-V) 이 유지되었으며, 기존 방법들은 시퀀스가 길어질수록 성능이 급격히 저하되는 반면 Slot-BERT 는 안정적인 성능을 보였습니다.
• 전송 학습 (Transfer Learning):
  • 대규모 데이터셋 (MICCAI) 으로 학습한 모델을 작은 데이터셋 (Cholec) 에 미세 조정 (Fine-tuning) 했을 때, 처음부터 학습한 모델보다 성능이 크게 향상되었습니다.
• 계산 효율성:
  • 프레임당 추론 시간은 1.7ms 로, Video-Saur(1.2ms) 와 유사한 수준을 유지하면서 RNN 기반 모델들보다 훨씬 높은 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

• 의료 AI 실용화: 광학 흐름이나 깊이 맵과 같은 계산 비용이 큰 보조 신호 없이도, 저사양 하드웨어에서 긴 수술 영상을 실시간에 가깝게 처리할 수 있는 객체 발견 및 분할이 가능해졌습니다.
• 설명 가능한 AI: 각 슬롯이 특정 객체에 대응되는 구조를 학습하므로, 수술 도구나 조직의 움직임을 설명 가능하고 해석 가능한 형태로 추론할 수 있습니다.
• 미래 지향성: 이 연구는 자기지도학습을 통해 데이터 라벨링 비용이 높은 의료 영상 분야에서 객체 중심 학습의 새로운 표준을 제시하며, 수술 로봇의 자동화, 수술 중 실시간 모니터링, 수술 교육 등 다양한 응용 분야에 기여할 것으로 기대됩니다.

요약하자면, Slot-BERT는 장기적인 시간적 일관성과 계산 효율성이라는 상충되는 두 가지 요구를 동시에 충족시키는 혁신적인 모델로, 수술 영상 분석 분야에서 새로운 SOTA 를 확립했습니다.