A multi-center analysis of deep learning methods for video polyp detection and segmentation

본 논문은 다기관 데이터를 기반으로 시퀀스 데이터와 시간적 정보를 활용하는 딥러닝 기법이 대장내시경 중 용종 검출 및 분할의 정확도를 향상시켜 진단 정밀도를 높일 수 있음을 평가합니다.

핵심

🎬 1. 배경: 왜 이 대회가 필요했을까요?

"실수하는 내시경 의사와 '깜빡'하는 인공지능"

대장암은 매우 무서운 질병이지만, 초기에 발견하면 쉽게 치료할 수 있습니다. 내시경 검사는 대장 안을 카메라로 찍어보며 '용종'이라는 작은 혹을 찾아 제거하는 과정입니다. 하지만 문제는 의사도 실수할 수 있다는 점입니다.

• 비유: 마치 어두운 방에서 구석진 곳에 숨은 작은 보석을 찾는 것과 같습니다. 내시경 영상은 물이 튀거나, 거품이 생기거나, 카메라가 흔들려서 (비유하자면, 안개가 끼거나 손이 떨리는 상황) 보석이 잘 보이지 않거나, 오히려 거품이 보석인 줄 착각하기도 합니다.

기존의 인공지능 (AI) 은 정지된 사진 한 장만 보고 판단했습니다. "이 사진에 혹이 있나?"라고 물으면 "있어요"라고 답했지만, 다음 프레임 (다음 순간의 사진) 에는 "없어요"라고 말하며 깜빡깜빡거리는 (Jittering) 문제가 있었습니다.

🏆 2. 해결책: 'EndoCV2022' 대회

"6 개 나라의 내시경 영상을 모은 '최고의 사냥꾼' 찾기"

연구진은 "단순히 사진 한 장을 보는 게 아니라, 영상을 연속으로 보며 흐름을 이해해야 한다"는 가설을 세우고 대회를 열었습니다.

• 데이터: 이집트, 프랑스, 이탈리아 등 6 개 나라의 다양한 병원과 장비에서 모은 3,000 개 이상의 영상 프레임을 사용했습니다. 마치 다양한 날씨와 조명 조건에서 보석을 찾는 훈련을 시킨 것과 같습니다.
• 목표: 용종을 찾아내는 것 (탐지) 과 용종의 정확한 모양을 그리는 것 (분할) 을 동시에 잘하는 AI 를 찾는 것이었습니다.

🛠️ 3. 참가팀들의 전략: "시간의 흐름을 읽는 법"

참가팀들은 정지된 사진만 보는 구식 방식이 아니라, **이전 장면과 다음 장면의 연결고리 (시간적 정보)**를 활용하는 다양한 방법을 개발했습니다.

• 팀 Arrah_htic: "선생님과 제자" 시스템을 썼습니다. 똑똑한 선생님 AI 두 명이 가르치고, 빠르고 가벼운 제자 AI 가 그 지식을 배워 실시간으로 작동하게 했습니다.
• 팀 He_HIK: "기억력"을 활용했습니다. 이전 프레임의 정보를 '기억장'에 저장해두고, 현재 프레임과 비교하며 "아, 이건 움직이는 거품이지, 용종이 아니야!"라고 판단했습니다.
• 팀 SDS-RBS: "YOLO(You Only Look Once)"라는 빠른 탐지기에 **'추적자 (Tracker)'**를 붙였습니다. 용종을 한 번 찾으면, 다음 프레임에서도 그 위치를 계속 따라가며 "이건 같은 용종이야"라고 확신하게 만들었습니다.
• 팀 lswang xmu: 최신 기술인 '트랜스포머 (Transformer)'를 사용했습니다. 이는 영상 전체의 맥락을 한눈에 파악하는 '전지적 시점'을 가진 AI 입니다.

📊 4. 결과: 무엇이 가장 잘되었을까?

결과는 명확했습니다. "시간의 흐름을 고려한 AI 가 훨씬 잘했다."

• 탐지 (찾기): 팀 SDS-RBS 가 가장 좋은 성적을 냈습니다. 용종을 찾은 뒤에도 다음 프레임에서 실수로 사라지지 않게 (일관성 있게) 추적하는 기술이 핵심이었습니다.
• 분할 (그리기): 팀 He_HIK 와 lswang xmu 가 가장 정교하게 용종의 모양을 그렸습니다. 영상 흐름을 이해했기 때문에, 거품이나 물방울을 용종으로 착각하는 실수가 줄었습니다.

핵심 교훈:
단순히 "사진이 예쁘면 용종이다"가 아니라, **"이전 장면과 비교했을 때 이 모양이 자연스럽게 변하고 있는가?"**를 판단해야만, 거품이나 빛 반사 같은 속임수를 구별할 수 있었습니다.

💡 5. 결론 및 시사점

이 논문은 **"AI 는 정지된 사진보다 움직이는 영상을 볼 때 더 똑똑해진다"**는 것을 증명했습니다.

• 비유: 만약 당신이 친구를 찾는데, 정지된 사진 한 장만 보고 "저게 내 친구야"라고 한다면, 그 친구가 옆으로 지나가거나 얼굴을 돌리면 못 찾을 수 있습니다. 하지만 동영상을 보면 "아, 저 사람이 움직이고 있네, 저게 친구야!"라고 확신할 수 있습니다.
• 미래: 이제부터는 내시경 AI 도 정지된 이미지를 분석하는 것을 넘어, 실시간으로 흐르는 영상 흐름을 이해해야 더 정확한 진단을 내리고 환자를 구할 수 있습니다.

이 연구는 의료 AI 가 실제 병원에서 쓰일 수 있도록, 더 튼튼하고 신뢰할 수 있는 시스템을 만드는 중요한 발걸음이 되었습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 대장암 (CRC) 은 전 세계적으로 높은 사망률을 보이는 주요 암 중 하나이며, 대장내시경은 용종 (폴립) 을 발견하고 제거하여 암을 예방하는 금표준 (Gold Standard) 절차입니다.
• 현황 및 한계:
  • 용종의 모양, 위치, 크기의 다양성과 내시경 영상에 발생하는 흐림 (feces, bubbles, water jets 등) 으로 인해 위장내과 전문의조차 용종을 놓치는 경우 (Adenoma Miss Rate, AMR) 가 6%~41% 에 달합니다.
  • 기존 AI 기반 용종 탐지/분할 모델의 대부분은 **정지 이미지 (Static Image)**를 기반으로 학습되었습니다.
  • 핵심 문제: 내시경은 연속적인 비디오 데이터이지만, 기존 모델은 프레임 간의 **시간적 상관관계 (Temporal Relationships)**를 무시하고 개별 프레임을 독립적으로 처리합니다. 이로 인해 조명 변화, 가림 (Occlusion), 기포 등 아티팩트에 의해 오탐지 (False Positive) 가 발생하거나, 프레임 간 진동 (Jittering) 이 발생하는 등 임상 적용 시 신뢰성이 떨어집니다.

2. 방법론 (Methodology)

이 연구는 EndoCV2022 챌린지를 통해 다중 기관 데이터셋 (PolypGen 2.0) 을 활용하여 시퀀스 데이터 (Video Sequence) 기반의 딥러닝 모델을 평가하고 비교 분석했습니다.

• 데이터셋 (PolypGen 2.0):
  • 다중 기관: 이집트, 프랑스, 이탈리아, 노르웨이, 스웨덴, 영국 등 6 개 기관에서 수집된 46 개의 비디오 시퀀스 (총 3,290 프레임).
  • 특징: 다양한 내시경 시스템, HD/울트라 HD 화질, 다양한 크기의 용종, 그리고 아티팩트가 포함된 복잡한 임상 환경을 반영합니다.
  • 레이블: 숙련된 위장내과 전문의 6 명이 픽셀 단위 (분할) 및 바운딩 박스 (탐지) 로 정밀하게 주석 (Ground Truth) 을 달았습니다.
• 평가 과제:
  1. 용종 탐지 (Detection): 프레임 내 용종의 위치 (바운딩 박스) 와 클래스를 식별.
  2. 용종 분할 (Segmentation): 픽셀 단위로 용종 영역을 정확히 분리.
• 참가 팀 접근법 (주요 기술):
  • 시계열 정보 활용: LSTM, Transformer, Temporal Context Transformer (TCT), STCN(Space-Time Correspondence Networks) 등을 활용하여 프레임 간의 시간적 의존성을 모델링했습니다.
  • 엔semble 및 추적 (Tracking): YOLOv5 기반 모델에 Norfair 추적기를 결합하거나, Teacher-Student 아키텍처, 지식 증류 (Knowledge Distillation) 등을 통해 성능을 극대화했습니다.
  • 데이터 증강: 회전, 플립, 색상 변형, Mixup, Mosaic 등을 적용하여 모델의 일반화 능력을 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. 다중 기관 시퀀스 데이터셋 공개: 단일 기관 데이터의 편향을 극복하고, 다양한 임상 환경에서 모델의 일반화 (Generalization) 능력을 검증할 수 있는 대규모 시퀀스 데이터셋 (PolypGen 2.0) 을 구축 및 공개했습니다.
2. 시간적 맥락의 중요성 입증: 정지 이미지 기반 모델 대비 시퀀스 데이터와 시간적 정보 (Temporal Information) 를 활용한 모델이 탐지 및 분할 정확도에서 유의미한 향상을 보임을 실증했습니다.
3. 크라우드 소싱 챌린지 결과 분석: 전 세계 6 개 팀의 최상위 모델 (Arrah_htic, He_HIK, iMED, lswang_xmu, SDS-RBS, WürzVision 등) 의 아키텍처, 성능, 추론 시간을 종합적으로 비교 분석하여 임상 적용 가능한 최적의 방향성을 제시했습니다.

4. 결과 (Results)

• 탐지 과제 (Detection Task):
  • 최고 성능: SDS-RBS 팀이 YOLOv5 기반의 앙상블 모델에 Norfair 추적기를 결합하여 평균 정밀도 (APmean) 0.334를 기록하며 1 위를 차지했습니다. 이는 프레임 간 일관성을 유지하며 오탐지를 줄인 시간적 후처리 (Temporal Post-processing) 의 효과를 보여줍니다.
  • 2 위: WürzVision 팀 (Temporal Attention 활용) 이 AP50 및 대용량 용종 (APlarge) 에서 높은 성능을 보였습니다.
• 분할 과제 (Segmentation Task):
  • 최고 성능: lswang_xmu 팀 (Polyp-PVT, Transformer 기반) 이 DSC(Dice Similarity Coefficient) 0.787로 1 위, He_HIK 팀 (Improved-STCN) 이 0.765로 2 위를 기록했습니다. 두 팀 모두 비디오 시퀀스를 활용한 시간적 추적 전략을 사용했습니다.
  • 성능 지표: 상위 팀들은 Jaccard Index (>0.72), DSC (>0.76), Recall (>0.80) 에서 우수한 성능을 보였으며, 특히 복잡한 구조의 용종이나 아티팩트가 있는 환경에서도 강건함을 입증했습니다.
• 효율성 (Runtime):
  • 정확도와 추론 속도 (FPS) 사이에는 트레이드오프가 존재했습니다. 예를 들어, lswang_xmu 팀은 높은 정확도를 보였으나 추론 속도가 느렸고 (1.25 FPS), Arrah_htic 팀은 매우 빠른 속도 (120 FPS) 를 보였으나 정확도는 상대적으로 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 의의: 이 연구는 내시경 영상 분석에 **시간적 모델링 (Temporal Modeling)**이 필수적임을 강조합니다. 프레임 간의 동적 관계 (움직임, 조명 변화, 형태 변화) 를 고려함으로써 오탐지율을 줄이고 탐지 일관성을 높여, 실제 임상 현장에서의 의사결정 지원 시스템 (CDSS) 으로 활용 가능성을 높였습니다.
• 한계점 및 향후 과제:
  • 대부분의 모델이 단기적 의존성 (Short-term dependencies) 에 집중하여 장기적 관계 (Long-term relations) 를 충분히 반영하지 못함.
  • 용종의 병리학적 분류 (선종성 vs 과형성) 나 아티팩트 (기포, 반사 등) 에 대한 오분류 문제 해결 필요.
  • 실제 임상 환경 (Out-of-distribution) 에서의 검증 부족.
• 결론: 다중 기관 데이터를 기반으로 한 시퀀스 기반 딥러닝 접근법은 정지 이미지 기반 방법론보다 우월한 성능을 보이며, 향후 더 강력하고 신뢰할 수 있는 실시간 대장내시경 보조 시스템 개발을 위한 핵심 방향을 제시했습니다.