SurgFed: Language-guided Multi-Task Federated Learning for Surgical Video Understanding

이 논문은 조직 및 작업 다양성으로 인한 한계를 극복하기 위해 언어 기반 채널 선택과 언어 기반 하이퍼 집계 메커니즘을 도입하여 로봇 보조 최소 침습 수술 비디오 이해를 위한 다작업 연합 학습 프레임워크인 SurgFed 를 제안하고, 다양한 공개 데이터셋에서 기존 최첨단 방법보다 우수한 성능을 입증했습니다.

핵심

이 논문은 **'수술 비디오를 이해하는 인공지능'**을 여러 병원에서 함께 훈련시키는 새로운 방법, SurgFed를 소개합니다.

비유하자면, 이 기술은 **"전 세계의 외과 의사들이 서로의 경험을 공유하면서도, 각자의 진료실 환경에 맞춰 똑똑하게 적응할 수 있게 해주는 지능형 네트워크"**라고 할 수 있습니다.

이 복잡한 내용을 일상적인 언어와 비유로 쉽게 풀어보겠습니다.

---

1. 왜 이런 기술이 필요할까요? (문제 상황)

수술 로봇이 더 똑똑해지려면, 수술 중의 영상 (비디오) 을 보고 "이건 어떤 도구인가?", "이건 어떤 조직인가?", "얼마나 깊이가 있는가?"를 실시간으로 알아차려야 합니다.

하지만 여기서 두 가지 큰 문제가 있습니다.

• 문제 1: "병원마다 수술 환경이 달라요" (조직의 다양성)
  • 비유: A 병원은 붉은색 고기를 주로 다루고, B 병원은 회색빛 조직을 다룹니다. 마치 A 지역은 매운 음식을, B 지역은 단 음식을 선호하는 것과 같습니다.
  • 현실: 한 병원에서만 훈련된 AI 는 다른 병원의 수술 영상을 보면 "이게 뭐지?"라고 헷갈려서 실수를 합니다.
• 문제 2: "수술 목적도 제각각이에요" (작업의 다양성)
  • 비유: 어떤 병원은 '도구 찾기'에 집중하고, 다른 병원은 '깊이 재기'에 집중합니다. 마치 한 팀은 축구 경기 분석을 하고, 다른 팀은 농구 경기 분석을 하는데, 두 팀이 같은 지도를 공유하려고 하면 생기는 혼란입니다.
  • 현실: 서로 다른 목표를 가진 AI 들을 무작정 섞으면 (모으면), AI 가 무엇을 배워야 할지 모르게 되어 성능이 떨어집니다.

2. SurgFed 의 해결책: 두 가지 똑똑한 장치

이 논문은 이 문제를 해결하기 위해 SurgFed라는 시스템을 만들었습니다. 이 시스템은 두 가지 핵심 아이디어를 사용합니다.

① 언어로 가르치는 '맞춤형 필터' (LCS)

• 비유: 각 병원에 **"우리 병원은 '붉은 고기'와 '가위'를 주로 다룹니다"**라고 적힌 **수첩 (텍스트)**을 주고, AI 에게 그 수첩을 보며 영상을 보라고 합니다.
• 어떻게 작동하나요?
  • AI 는 이 수첩 (텍스트) 을 보고, 영상에서 중요한 부분만 골라내는 **'필터'**를 스스로 만듭니다.
  • A 병원 AI 는 붉은 조직을 잘 보는 필터를, B 병원 AI 는 회색 조직을 잘 보는 필터를 만들어냅니다.
  • 결과: 각 병원은 서로 다른 환경에 맞춰 자신만의 특화 버전으로 진화합니다.

② 언어로 연결하는 '지능형 중재자' (LHA)

• 비유: 중앙에 있는 **스마트한 지도 (서버)**가 있습니다. 이 지도는 각 병원이 보낸 "우리는 이런 일을 배웠어요"라는 보고서를 받습니다.
• 어떻게 작동하나요?
  • 기존 방식은 단순히 "모든 병원의 답을 평균내자"라고 했지만, 이 방식은 **"A 병원의 '도구 찾기' 경험과 B 병원의 '깊이 재기' 경험이 서로 어떻게 연결될까?"**라고 언어 (텍스트) 를 통해 생각하게 합니다.
  • 마치 수석 교수가 각 병원의 학습 내용을 분석하여, "너희는 이 부분은 비슷하니까 공유하고, 저 부분은 다르니까 따로 유지해라"라고 맞춤형 지시를 내려줍니다.
  • 결과: 서로 다른 병원끼리도 서로의 경험을 효과적으로 공유하면서도, 혼란은 피할 수 있습니다.

3. 요약: 이 기술이 가져오는 변화

기존의 인공지능은 "하나의 정답"을 찾으려 했지만, SurgFed는 **"각자 다른 상황에 맞는 최적의 해답"**을 찾습니다.

• 개인화: 각 병원 (데이터) 의 특성에 맞춰 AI 가 스스로 변신합니다.
• 협업: 서로 다른 병원끼리도 언어 (지식) 를 통해 서로의 경험을 잘 연결합니다.
• 결과: 5 개의 다른 수술 데이터셋 (신장 절제, 자궁 절제, 돼지 시체 실험 등) 에서 기존 최고 기술들보다 훨씬 더 정확하게 수술 장면을 이해하고, 도구를 찾으며, 깊이를 재는 데 성공했습니다.

결론

SurgFed는 마치 **"각자의 언어와 문화 (병원 환경) 를 가진 여러 나라의 의사들이, 공통의 언어 (텍스트) 를 통해 서로의 지혜를 나누면서도 각자의 진료 스타일을 유지하며 함께 성장하는 시스템"**입니다.

이 기술은 수술 로봇이 더 안전하고 정밀하게, 그리고 다양한 수술 환경에서도 스스로 판단할 수 있는 '자율성'을 갖는 데 큰 발걸음이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 로봇 보조 최소 침습 수술 (RAS) 의 발전과 함께 수술 장면 이해 (수술 도구 분할, 조직 인식, 깊이 추정 등) 가 중요해지고 있습니다. 이를 위해 여러 병원 (사이트) 의 데이터를 활용한 협력 학습이 필요하지만, 환자 프라이버시 보호로 인해 데이터 공유가 불가능합니다.
• 제안된 접근: 프라이버시를 보호하면서 협업을 가능하게 하는 연방 학습 (Federated Learning, FL) 을 적용하되, 단순한 단일 작업이 아닌 다중 작업 연방 학습 (Multi-Task FL, MTFL) 을 통해 수술 비디오의 분할 (Segmentation) 과 깊이 추정 (Depth Estimation) 을 동시에 수행하고자 합니다.
• 핵심 도전 과제: 기존 MTFL 이 수술 도메인에서 제대로 작동하지 못하는 두 가지 주요 다양성 (Diversity) 문제:
  1. 조직 다양성 (Tissue Diversity): 병원마다 수술 유형, 해부학적 배경, 사용된 기구가 달라 로컬 모델이 특정 사이트의 데이터에 적응하기 어렵습니다. 이로 인해 이질적인 임상 환경에서 예측 성능이 저하됩니다.
  2. 작업 다양성 (Task Diversity): 사이트마다 라벨링 기준이나 요구 사항이 달라 동일한 작업이라도 레이블 차이가 큽니다. 기존 그라디언트 기반 클러스터링 방식은 이러한 사이트 간 작업 이질성을 처리하지 못해 비최적의 파라미터 업데이트와 부정확한 로컬화를 초래합니다.

2. 제안된 방법론: SurgFed (Methodology)

저자들은 SurgFed라는 새로운 MTFL 프레임워크를 제안하며, 이는 언어 가이드 채널 선택 (LCS) 과 언어 가이드 하이퍼 집계 (LHA) 라는 두 가지 핵심 설계로 구성됩니다.

A. 전체 파이프라인

• 로컬 단계 (Local-side): 각 사이트는 자신의 데이터에 맞춰 모델을 학습합니다. 이때 LCS를 통해 사이트별 특성에 맞는 특징 채널을 선택하고 강화합니다.
• 서버 단계 (Server-side): 모든 사이트에서 업데이트된 파라미터를 수집하여 LHA를 통해 사이트 간 작업 상호작용을 모델링하고, 개인화된 파라미터 업데이트를 수행한 후 다시 로컬 모델에 배포합니다.

B. 핵심 모듈 1: 언어 가이드 채널 선택 (Language-guided Channel Selection, LCS)

• 목적: 사이트별 조직 배경과 수술 컨텍스트에 적응하기 위해 로컬 모델의 인코더 (Encoder) 특징을 개인화합니다.
• 작동 원리:
  • 사전 정의된 텍스트 프롬프트 (예: "Dataset: EndoVis2017, Task: Instrument Segmentation, Label: Shaft") 를 사용하여 사전 학습된 CLIP 모델을 통해 텍스트 임베딩을 생성합니다.
  • 이 텍스트 임베딩과 시각 특징 (Visual Features) 을 결합하여 복합 지표 (Composite Indicator) 를 생성합니다.
  • 이 지표를 통해 인코더의 특정 채널을 선택적으로 강화하거나 억제하는 가중치를 학습합니다.
  • 효과: CLIP 의 일반 도메인 지식을 수술 도메인 지식으로 변환하여, 사이트별 고유한 조직 특징에 최적화된 특징 표현을 학습하게 합니다.

C. 핵심 모듈 2: 언어 가이드 하이퍼 집계 (Language-guided Hyper Aggregation, LHA)

• 목적: 사이트 간 작업 상호작용 (Task Interaction) 을 모델링하여 그라디언트 기반 집계만으로는 해결하기 어려운 이질성 문제를 극복합니다.
• 작동 원리:
  • 모든 사이트의 그라디언트 업데이트 (Gradients) 를 스택하여 레이어별 크로스 어텐션 (Layer-wise Cross-Attention) 메커니즘을 적용합니다.
  • 여기에 LCS 와 동일한 텍스트 프롬프트를 입력으로 사용하여 사이트 간 작업 유사성과 차이를 강조하는 어텐션 맵을 생성합니다.
  • 생성된 어텐션 맵을 기반으로 하이퍼네트워크 (Hypernetwork) 가 각 사이트의 파라미터 업데이트에 대한 적응적 가중치 (Adaptive Importance) 를 동적으로 결정합니다.
  • 효과: 단순한 평균화가 아닌, 작업 간 의미론적 관계와 사이트별 변이를 고려한 구조화되고 해석 가능한 집계를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 수술 도메인 지식의 연방 학습 도입: 처음으로 사전 정의된 텍스트 프롬프트 (수술 도구, 해부학적 구조 설명) 를 사용하여 이질적인 수술 유형과 기관 간 모델 적응에 의미론적 지식을 주입하는 언어 가이드 방식을 제안했습니다.
2. 새로운 언어 가이드 연방 아키텍처 개발:
   • LCS: 텍스트 프롬프트 조건부 인코더 채널 선택을 통해 사이트별 표현을 개인화하는 어댑터 모듈.
   • LHA: 언어 입력에 의해 안내되는 크로스 사이트 하이퍼네트워크를 통해 사이트 간 작업 유사성에 기반한 동적 파라미터 업데이트를 수행하는 모듈.
3. 광범위한 실험적 검증: 4 가지 수술 유형 (신장 절제술, 자궁 절제술 등) 을 포함하는 5 개의 공개 데이터셋 (EndoVis2017/2018, AutoLaparo, SCARED, StereoMIS) 에서 수술 장면 분할 및 깊이 추정 작업을 수행하여 기존 최첨단 (SOTA) 방법들을 일관되게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 평가: 5 개 공개 데이터셋에서 분할 (Dice, IoU) 과 깊이 추정 (RMSE) 작업을 평가했습니다.
• 성능 비교:
  • SurgFed는 FedAvg, FedRep, FedProx, MaT-FL, FedHCA2 등 기존 연방 학습 방법들보다 모든 사이트에서 우수한 성능을 보였습니다.
  • 특히, SCARED (깊이 추정) 데이터셋에서 기존 방법들이 큰 성능 저하를 보인 반면, SurgFed 는 RMSE 를 크게 개선하고 평균 성능 지표 ($\Delta m$) 에서 +5.92% 의 향상 효과를 기록했습니다.
  • FedRep의 경우 -10.99% 의 성능 저하를 보인 반면, SurgFed 는 모든 사이트에서 긍정적 향상을 유지했습니다.
• Ablation Study (구성 요소 분석):
  • LCS 단독 적용: 사이트별 특징 개인화로 성능 향상 (+1.50%) 을 보였으나, 작업 간 상호작용 부재로 인해 고이질성 데이터셋 (SCARED 등) 에서 한계를 보였습니다.
  • LHA 단독 적용: 사이트 간 관계 모델링으로 깊이 추정 성능이 크게 향상되었으나, 사이트별 의미론적 적응 부재로 분할 성능 향상은 제한적이었습니다.
  • 전체 모델 (LCS + LHA): 두 모듈의 시너지로 모든 작업과 사이트에서 가장 높은 성능 (+5.92%) 을 달성했습니다.
  • 지시자 (Indicator) 설계: 단순 One-hot 인코딩이나 무작위 초기화보다 텍스트 프롬프트 기반의 의미론적 지시자가 이질적인 작업 간 지식 전이에 결정적인 역할을 함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 프라이버시와 성능의 균형: 환자 데이터를 공유하지 않으면서도 여러 병원의 데이터를 활용하여 고도화된 수술 AI 모델을 구축할 수 있는 실용적인 프레임워크를 제시했습니다.
• 이질성 해결: 수술 데이터의 고유한 특성 (조직 다양성, 작업 다양성) 을 언어 기반 지시자를 통해 효과적으로 처리하여, 기존 연방 학습이 겪던 성능 저하 문제를 해결했습니다.
• 확장성: SAM2 (Segment Anything Model 2) 아키텍처를 기반으로 하여 분할과 깊이 추정을 동시에 수행할 수 있는 범용적인 다중 작업 학습 프레임워크를 제공하며, 향후 자율 수술 시스템 및 수술 보조 기술의 발전에 기여할 것으로 기대됩니다.

요약하자면, SurgFed는 텍스트 기반의 의미론적 지식을 연방 학습의 핵심 메커니즘 (채널 선택 및 파라미터 집계) 에 통합함으로써, 이질적인 수술 환경에서도 강력하고 개인화된 다중 작업 학습을 가능하게 하는 획기적인 접근법입니다.