Multi-Class Gastric Histopathology Classification Using a Hybrid Swin Transformer–ConvNeXt Model

기술 요약: 하이브리드 Swin Transformer–ConvNeXt 모델을 이용한 다중 클래스 위암 조직 병리 분류

문제 정의
현재 위암 진단은 병리학자의 염색된 조직 슬라이드에 대한 수동 미세 현미경 검사에 크게 의존하고 있습니다. 이 과정은 노동 집약적이고 시간이 많이 소요되며, 전문가들 사이에서도 관찰자 간 변동성(inter-observer variability)이 발생하기 쉽습니다. 딥러닝이 의료 영상 분석 분야를 발전시켜 왔음에도 불구하고, 기존의 많은 도구들은 이진 분류(암 vs 비암)에 국한되어 있어 병리학자에게 필요한 세밀한 조직 맥락을 제공하지 못하는 한계가 있습니다. 특히, 양성 조직 유형(예: 기질, 정상 점막, 림프구)을 구분하는 것은 임상적 맥락에서 매우 중요하지만, 자동화된 시스템에는 여전히 도전 과제로 남아 있습니다.

방법론
저자들은 위 조직 병리 패치를 8개의 별도 클래스로 분류하도록 설계된 하이브리드 딥러닝 시스템을 개발했습니다. 클래스는 하나의 악성 클래스(종양/TUM)와 7개의 양성 클래스(지방/ADI, 부스러기/DEB, 림프구/LYM, 점액/MUC, 평활근/MUS, 정상 점막/NOR, 기질/STR)로 구성됩니다.

• 데이터셋: 본 연구는 8개의 대상 클래스에 걸친 고해외 해상도 패치를 포함하는 위암 조직 병리 조직 이미지 데이터셋(GCHTID)을 활용했습니다. 데이터는 훈련(80%), 검증(10%), 테스트(1셋)(10%) 세트로 분할되었습니다.
• 전처리: 노이즈와 염색 가변성을 해결하기 위해 저자들은 특정 전처리 파이프라인을 구현했습니다. 다양한 조합을 평가한 결과, 중간값 필터링(경계선을 흐리게 하지 않으면서 노이즈를 제거함)을 적용한 후 CLAHE(제한된 적응형 히스토그램 평활화)를 수행하는 것이 가장 좋은 결과를 냈습니다. 이미지는 224×224 크기로 조정되었으며 ImageNet 통계치를 사용하여 정규화되었습니다.
• 모델 아키텍처: 핵심 혁신은 서로 보완적인 귀납적 편향(inductive biases)을 가진 두 아키텍처의 가중치 앙상블입니다.
  • Swin Transformer (Base): 이동 윈도우 어텐션(shifted-window attention)을 통해 전역적 구조 레이아웃을 포착하는 데 활용되었습니다.
  • ConvNeXt (Base): 미세한 국소 텍스처 및 세포 패턴에 대한 민감도를 포착하는 데 활용되었습니다.
  • 앙상블 전략: 두 모델 모두 ImageNet 사전 학습 가중치로 초기화되었습니다. 추론 시, 경험적으로 결정된 Swin 0.7, ConvNeX 0.3의 가중치 비율로 예측값을 평균화했습니다.
• 학습 구성: 학습은 혼합 정밀도(AMP)를 사용하여 무료 티어 T4 GPU에서 진행되었습니다. 모델은 코사인 어닐링(cosine annealing)과 함께 AdamW 옵티마이저, 레이블 스무딩(0.1)이 적용된 교차 엔트로피 손실, 그리고 가중치의 지수 이동 평균(EMA)을 사용했습니다. 특히, 서로 다른 적응 속도를 수용하기 위해 ConvNeXt 브랜치는 Swin 브랜치보다 10배 높은 학습률(3×10⁻⁴ vs 3×10⁻⁵)을 사용했습니다.

시스템 구현
연구 프로토타입을 사용 가능한 도구로 전환하기 위해 저자들은 풀스택 애플리케이션을 구축했습니다.

• 백엔드: 학습된 앙상블(BEST_MODEL.pth)을 제공하는 Flask REST API입니다.
• 프론트엔드: 사용자가 이미지를 업로드하고, 신뢰도 점수와 함께 예측 결과를 확인하며, 색상으로 구분된 진단 설명을 볼 수 있는 웹 인터페이스입니다.
• 데이터 관리: SQL 데이터베이스(SQLite/MySQL)는 예측 이력을 저장하며, 추적성을 위해 결과를 사용자 계정과 연결합니다.
• 출력: 시스템은 PDF 보고서를 생성하고, 예측된 조직 유형에 대한 "위험 수준" 및 평이한 언어로 된 설명을 제공합니다.

주요 결과

• 성능: 하이브리드 앙상블은 75.35%의 테스트 정확도를 달em성하여, 모든 단일 모델 베이스라인 및 대안 조합을 능가했습니다.
  • 훈련 정확도: 88.76%
  • 최고 검증 정확도: 76.99%
  • 정밀도/재현율/F1: 모두 75.4% 근처에 머물렀으며, 이는 오류가 특정 클래스에 집중되지 않고 전체적으로 분포되어 있음을 나타냅니다.
• 비교 분석:
  • 단일 모델들은 뚜렷한 약점을 보였습니다: EfficientNet-B3는 심하게 과적합되었고(훈련 99% / 테스트 70%), ViT는 국소 텍스처 민감도가 떨어졌습니다(테스트 70%).
  • ConvNeXt–Swin 조합은 가장 일관된 성능을 보였으며, ViT+Swin과 같은 다른 하이브리드 시도보다 우수한 성능을 보였습니다.
• 클래스별 성능:
  • 높은 성능: 지방, 림프구, 평활근은 뚜렷한 시각적 특징 덕분에 정확하게 분류되었습니다.
  • 어려움: 모델은 시각적 유사성을 공유하는 **정상 점막(NOR)**과 기질(STR) 분류에서 가장 큰 어려움을 겪었습니다. 이 두 클래스가 대부분의 혼동 오류를 차지했습니다.
  • 종양 탐지: 모델은 종양 클래스에 대해 가장 높은 재현율(~0.80)을 달성했습니다. 저자들은 이를 선별 검사 도구로서 바람직한 실패 모드로 언급했는데, 이는 양성 조직에 대한 위양성이 악성 종양을 놓치는 것보다 덜 치명적이기 때문입니다.

의의 및 한계점
본 논문은 이 작업을 임상 수준의 도구가 아닌 연구 프로토타입으로 규정합니다. 주요 의의는 단일 아키텍처가 달성할 수 있는 것 이상으로 다중 클래스 조직 병리 분류를 개선하기 위해 서로 다른 귀낙적 편향(전역적 어텐션 vs 국소 컨볼루션)을 결합하는 것이 유효한 전략임을 입증했다는 점에 있습니다.

저자들은 다음과 같은 몇 가지 한계점을 명시적으로 인정했습니다:

• 정확도 천장: ~75%의 정확도는 특히 NOR와 STR 사이의 지속적인 혼동을 고려할 때 임상 배포에는 불충분합니다.
• 데이터 제약: 모델은 염색 정규화 없이 단일 공개 데이터셋으로 학습되었으므로, 서로 다른 스캐너나 염색 프로토콜에 대한 일반화 능력이 제한적입니다.
• 하이퍼파라미터 튜닝: 컴퓨팅 자원 제약(무료 클라우드 GPU)으로 인해 하이퍼파라미터 탐색이 체계적이라기보다는 얕게 이루어졌습니다.
• 보안: 프로토타입으로서, 실제 환자 데이터를 처리하는 데 필요한 강력한 보안 체계를 갖추고 있지 않습니다.

향후 방향
저자들은 임상적 유용성을 향한 명확한 경로를 제시하며 다음을 우선순위로 둡니다:

1. 설명 가능성: 예측을 유도하는 영역을 시각화하여 사용자 요청을 해결하기 위한 Grad-CAM 또는 SHAP 통합.
2. 데이터 다양성: NOR/STR 혼동을 해결하기 위해 염색 정규화 및 고급 증강 기법(MixUp, CutMix)을 적용한 다기관 데이터셋 학습.
3. 배포: 클라우드 인프라로의 이동, 병원 정보 시스템(HIS)과의 통합, 자원이 제한된 환경을 위한 모바일 인터페이스 개발.
4. 확장: 이 하이브리드 접근 방식을 대장암 및 폐암과 같은 다른 암 유형에도 적용.