A Multi-Stage Optimization Pipeline for Bethesda Cell Detection in Pap Smear Cytology

논문 요약: 파프 도말 세포학에서 베데스다 세포 검출을 위한 다단계 최적화 파이프라인

1. 문제 정의 (Problem)

• 배경: 자궁경부암은 여성에게 가장 흔한 암 중 하나이며, 파프 도말 (Pap smear) 검사는 조기 발견의 핵심 수단입니다. 그러나 기존 검사는 숙련된 세포학자의 수동 판독에 의존하며, 이는 피로와 관찰자 간 편차로 인해 진단 민감도가 저하될 수 있습니다.
• 도전 과제: 컴퓨터 비전 기술을 활용한 자동화 분류는 유망하지만, 임상 환경의 생물학적 다양성을 반영하는 대규모 고품질 데이터셋의 부재로 인해 모델의 일반화 성능을 달성하기 어렵습니다.
• 목표: RIVA 세포학 챌린지 (Track B) 에 참여하여 파프 도말 이미지 내 '베데스다 (Bethesda)' 세포를 정확히 국소화 (Bounding Box) 하는 것입니다. 평가 지표는 mAP50-95(IoU 0.50~0.95 구간 평균 정밀도) 입니다.

2. 방법론 (Methodology)

저자들은 YOLO 와 U-Net 아키텍처를 결합한 앙상블 방식과 3 단계 최적화 파이프라인을 제안했습니다.

2.1. 전처리 및 YOLO 모델 학습

• 주석 (Annotation) 재조정: 원본 데이터의 고정된 100x100 픽셀 주석은 실제 세포 형태를 반영하지 못해 중심 위치 파악에 한계가 있었습니다. 이를 해결하기 위해 원본 중심 좌표를 유지하면서 박스 크기를 10x10 에서 120x120 픽셀까지 조정했습니다.
• 모델 선택: YOLOv8(Nano, Small, Medium) 을 사용하며, 특히 20x20과 50x50 크기의 박스로 학습된 YOLOv8n 모델이 가장 효과적이었습니다.
• 전략: 세포 누락 (False Negative) 이 위양성 (False Positive) 보다 치명적이므로, 높은 Recall 을 확보하는 데 중점을 두었습니다.

2.2. 앙상블 접근법 (Ensemble Strategy)

• 1 단계 앙상블 (YOLO + YOLO): 서로 다른 스케일 (20x20, 50x50) 로 학습된 두 개의 YOLOv8n 모델 결과를 통합합니다. 두 모델이 동일한 세포를 감지하면 좌표와 신뢰도 점수를 평균화하고, 단일 모델의 감지 결과는 임계값 (0.35) 이상일 때만 포함합니다.
• 2 단계 앙상블 (YOLO + U-Net):
  • U-Net 모델: ResNet34 백본을 사용한 U-Net 을 히트맵 회귀 (Heatmap Regression) 모델로 학습시켰습니다. 각 세포 중심에 가우시안 커널을 적용하여 히트맵을 생성하고 MSE 손실 함수로 최적화했습니다.
  • 특징: U-Net 은 YOLO 대비 Recall 은 낮지만 정밀도 (Precision) 가 매우 높습니다.
  • 결합: YOLO 앙상블 결과와 U-Net 결과를 다시 통합하여, 공간적으로 일치하는 감지 결과는 평균화하고, 한쪽 모델에서만 나온 감지는 신뢰도 임계값을 0 으로 설정하여 모두 보존합니다.

2.3. 최적화 파이프라인 (3 단계)
최종 앙상블 결과의 정밀도를 높이고 배경 노이즈를 제거하기 위해 다음 3 단계를 거칩니다.

1. Non-Maximum Suppression (NMS): 중복 감지를 제거합니다. 기존 방식보다 관대하게 설정된 IoU 0.75 임계값을 사용하여 밀집된 세포를 분리하고, mAP50-95 메트릭의 특성을 고려하여 다양한 IoU 수준에서 정답을 잡을 가능성을 높였습니다.
2. 공간 밀도 필터링 (Spatial Density Filtering): 이미지를 4x4 그리드로 나누어 처리합니다.
   • 고밀도 영역 (30 개 이상 감지): 모델 불확실성으로 인한 위양성이 많으므로 신뢰도 임계값을 0.1로 높입니다.
   • 저밀도 영역: 희귀한 이상 세포를 놓치지 않기 위해 임계값을 0.001로 낮춥니다.
3. 이진 분류 정제 (Binary Classification Refinement): 낮은 신뢰도 (0.01 미만) 의 예측 중 위양성을 제거하기 위해 EfficientNet-B0 이진 분류기를 학습시켰습니다.
   • 학습 데이터: Ground Truth 를 '세포', IoU < 0.1 인 예측을 '배경/노이즈'로 레이블링하여 Hard Negative Mining 기법을 적용했습니다.
   • 결과: 신뢰도 0.05 임계값을 적용하여 위양성을 제거하면서도 병리적 사례에 대한 민감도를 유지합니다.

3. 주요 기여 (Key Contributions)

• 다중 스케일 주석 조정: 고정된 주석 크기의 한계를 극복하기 위한 동적 박스 크기 조정 기법 도입.
• 상호 보완적 앙상블: 높은 Recall 을 가진 YOLO 와 높은 Precision 을 가진 U-Net 을 결합하여 서로의 단점을 보완하는 하이브리드 아키텍처 설계.
• 맥락 인식 최적화 파이프라인: 단순한 NMS 를 넘어, 이미지의 공간적 밀도에 따라 동적으로 임계값을 조절하고, 이진 분류기를 통해 최종 위양성을 제거하는 정교한 후처리 프로세스 개발.

4. 결과 (Results)

• 성능: 제안된 프레임워크는 RIVA 챌린지에서 mAP50-95 점수 0.5909를 기록하여 2 위를 차지했습니다.
• 검증 데이터셋 성능: 내부 검증 세트에서는 최적화된 파이프라인을 통해 mAP50-95 0.6232를 달성했습니다.
• 모델 비교:
  • YOLOv8n (50x50): 가장 높은 Recall(0.9937) 을 보였으나 위양성 (FP) 이 많았습니다.
  • U-Net: TP 수는 적었지만 정밀도가 높아 F1 점수 (0.7425) 가 가장 높았습니다.
  • 최종 앙상블: YOLO 의 높은 탐지율과 U-Net 의 높은 정밀도를 결합하여 전체적인 성능을 극대화했습니다.
• 트레이드오프 분석: mAP50-95 를 최적화하기 위해 낮은 신뢰도 임계값을 사용했으나, 임상적 유용성을 고려할 때 신뢰도를 약간 높이면 F1 점수는 크게 향상되지만 mAP 는 미미하게 감소하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 임상적 함의: 이 연구는 세포학 검사의 자동화 가능성을 보여주며, 특히 높은 Recall을 유지하면서도 정밀도를 개선하는 균형 잡힌 접근법의 중요성을 강조합니다.
• 미래 방향: mAP50-95 점수 최적화 (높은 Recall 위주) 와 임상적 필요 (높은 Precision 위주, 위양성 감소) 사이의 트레이드오프를 인지하고, 실제 진단 보조 도구로 활용하기 위해서는 신뢰도 임계값 조정을 통한 정밀도 향상이 필요함을 시사합니다.
• 오픈소스: 구현 코드와 소스는 GitHub 를 통해 공개되어 재현성과 후속 연구를 장려합니다.

이 논문은 파프 도말 분석에서 단일 모델의 한계를 극복하고, 다양한 아키텍처의 강점을 결합하여 다단계 최적화 파이프라인을 구축함으로써 의료 영상 분석의 정확도를 높인 성공적인 사례입니다.