Triple-Phase Multimodal Knowledge Aggregation Framework for Microbial Keratitis Subtype Diagnosis on Slit-Lamp Photography

기술 요약: 미생물 각막염 아형 진단을 위한 3단계 다중 모드 지식 집합 프레임워크

문제 정의
미생물 각막염(Microbial Keratitis, MK)은 표적 치료를 유도하기 위해 원인 병원체(세균성 대 진균성)를 신속하게 식별해야 하는 심각한 각막 감염 질환이다. 현재의 표준 진단법인 배양 및 PCR 방식은 시간이 오래 걸리며(수일 소요), 병원체를 식별하지 못하는 경우가 50% 이상에 달한다. 이러한 지연은 종종 최적이지 않은 경험적 치료로 이어져 임상 결과를 악화시킨다. 세극등 사진(Slit-lamp photography, SLP)은 널리 사용되는 저비용 영상 모달리티이지만, 다양한 조명 모드(형광 물질을 포함한 확산 청색광, 산란 광원, 확산 백색광) 하에서 특정 바이오마커(예: 각막 실질 침윤, 전방 축농)를 포착함에도 불구하고, 미묘한 시각적 차이와 영상 조건의 상당한 이질성 때문에 이미지만으로 세균성 및 진균성 아형을 구분하는 것은 어렵다. 기존의 딥러닝 접근 방식은 외부 코호트에 적용될 때 일반화 성능이 떨어지는 경향이 있으며, 다기관 데이터를 통합하여 평가할 경우 지리적 및 분포적 편향이 가려질 수 있다.

방법론
저자들은 SLP 이미지와 임상 메타데이터를 사용하여 세균성 대 진균성 MK를 분류하도록 설계된 **3단계 다중 모드 지식 집합 프레임워크(Triple-Phase Multimodal Knowledge Aggregation Framework)**를 제안한다. 이 프레임워크는 세 가지 조명 모달리티인 확산 청광(플루오레신 포함), 산란 광원(Sclerotic scatter), 확산 백색광의 데이터를 통합한다.

1. 데이터 큐레이션 및 전처리:

   • 미국과 인도에서 수집된 1,645명의 환자(진균성 1,048명, 세균성 597명)와 17,158장의 이미지를 포함하는 대규모 다기관 데이터셋을 구축하였다.
   • 림버스 기반 크로핑(Limbus-based Cropping): 연결성 기반 세그멘테이션 네트워크(BiconNet)를 사용하여 림버스 영역을 크롭함으로써, 질병 관련 영역에 집중하고 불필요한 배경 노이즈(공막, 눈꺼풀)를 제거하였다.
   • 메타데이터 통합: 임상 변수(외상 이력, 유기물/물 노출, 콘택트렌즈 사용, 시력)를 임베딩하여 이미지 특징과 결합하였다.

2. 1단계: 교차 모달리티 대조 학습 (Cross-Modality Contrastive Learning, CMCL):

   • 대조 학습을 사용하여 범용 모델을 사전 학습시킨다. 동일한 환자의 이미지는 조명 모드나 배율에 관계없이 양성 쌍(positive pairs)으로 취급하고, 서로 다른 환자의 이미지는 음성 쌍(negative pairs)으로 취급한다.
   • 이 단계의 목적은 다양한 영상 조건에서도 지속되는 질병 특이적 특징을 포착하여 **모달리티 불변 표현(modality-invariant representations)**을 학습하는 것이다.

3. 2단계: 모달리티별 미세 조정 (Modality-Specific Fine-Tuning):

   • 사전 학습된 가중치를 세 개의 별도 네트워크(청색, 산란 광원, 백색광)로 전이시킨 후, 각 조명 모드에 맞게 미세 조정한다.
   • 미세 조정 중 분류 손실(classification loss)에 대조 손실(contrastive loss)이라는 규제 항을 추가하여, 학습된 불변 특징을 유지하면서 동시에 모달리티 특이적 단서에 적응하도록 한다.

4. 3단계: 특징 수준 다중 모드 앙상블 (Feature-Level Multimodal Ensemble):

   • 단순 다수결 투표 대신, 각 모달리티별 네트워크의 분류 헤드 직전 레이어에서 특징 벡터를 추출한다.
   • 모달리티별로 벡터를 평균화하며(누락된 모달리티는 제로 벡터 초기화로 처리), 이를 하나의 특징 행렬로 결합한다.
   • 다층 퍼셉트론(MLP)을 통해 이 특징들을 융합하여 최종 환자 수준의 예측을 도출한다.

주요 기여

1. 데이터셋 구축: MK에 대한 주석이 달린 SLP 데이터셋의 부족 문제를 해결하기 위해, 풍부한 임상 메타데이터가 결합된 대규모 다기관 다중 모달리티 데이터셋(1,645명 환자, 17,158장 이미지)을 구축하였다.
2. 새로운 프레임워크: 대조 사전 학습, 모달리티별 미세 조정, 특징 수준 앙상블 학습을 통해 영상의 이질성을 명시적으로 해결하는 3단계 구조를 도입하였다.
3. 엄격한 평가 프로토콜: 저자들은 기존의 다기관 연구가 가진 치명적인 결함을 지적한다. 즉, 통합된 데이터에 대한 집계 지표는 지리적 격차를 가려 과도하게 낙관적인 결과를 낼 수 있다. 저자들은 세 가지 프로토콜(원래 분포, 재샘플링, 완전 균형 서브셋) 하에서 사이트별 층화 평가를 도입하여 보다 현실적인 교차 사이트 일반화 능력을 평가하였다.

결과

• 전반적 성능: 제안된 프레임워크는 85.84%의 정확도, 84.46%의 평균 F1-score, 0.885의 AUC를 달 Achieve하며, ResNet-50, DenseNet-121, SwinV2-T, DeepIK 등의 베이스라인 모델을 능가하는 최첨단(SOTA) 성능을 달성하였다.
• 세균성 분류: 본 프레임워크는 역사적으로 어려웠던 세균성 사례의 인식 능력을 눈에 띄게 향상시켰다. 세균성 F1-score는 기존 베이스라인의 최고치인 약 76.7%에서 **80.0%**로 증가하였으며, 높은 진균성 F1-score(89.0%)를 유지하였다.
• 모달리티 분석: 모델은 산란 광원 조명(84.81% 정확도)에서 가장 우수한 성능을 보였으며, 단일 모달리티 베이스라인과 비교하여 모든 모달리티에서 일관된 성능 향상을 보였다.
• 사이트별 일반화:
  • 원본 데이터셋에서 모든 방법론은 인도에서는 진균성 성능이 높고 미국에서는 세균성 성능이 높은 양상을 보였는데, 이는 지리적 편향을 나타낸다.
  • 재샘플링 및 균형 잡힌 평가 설정 하에서 제안된 프레임워크는 여전히 최상위 성능을 유지하며, 베이스라인 모델들에 비해 더 높은 견고성과 공정성을 입증하였다.
  • 위치 메타데이터를 제외한("No Location") 추론 실험에서도 지리적 편향이 여전히 나타났는데, 이는 모델이 이미지 자체로부터 사이트 특이적 시각적 단서(예: 센서 노이즈, 인구 통계적 특성)를 암묵적으로 학습함을 시사한다.

의의 및 주장
본 논문은 이 연구가 미생물 각막염의 접근 가능한 AI 보조 진단을 향한 중요한 진전임을 주장한다. 3단계 프레임워크를 활용함으로써, 이질적인 세극등 이미지로부터 강건한 모달리티 불변 특징을 추출할 수 있으며, 이를 통해 까다로운 세균성 아형의 진단 정확도를 높일 수 있음을 입증하였다.

결정적으로, 저자들은 자신들의 평가 방법론이 실제 현장 배치에 더 충실한 벤치마크를 제공한다고 주장한다. 이들은 단순히 데이터를 통합하여 평가하는 방식이 특정 지리적 영역에서의 심각한 약점을 은폐할 수 있음을 강조한다. 엄격하고 균형 잡힌, 그리고 재샘플링된 평가 설정에서도 최상위 성능을 유지하는 본 프레임워크의 능력은 공정하고 일반화 가능한 교차 사이트 배포 가능성이 높음을 시사한다.

저자들은 오프라인 성능은 강력하지만, 실제 현장 진단 워크플로에서의 전향적 검증이 필수적임을 언급하며 임상 배포에 대해 신중한 태도를 유지하고 있다. 또한, 현재의 이진 분류(세균성 vs 진균성) 체계, 숏컷 러닝(shortcut learning)을 완화하기 위한 더 넓은 지리적 대표성 확보 필요성, 그리고 향후 전향적 연구에서의 표준화된 영상 프로토콜의 필요성 등 현재의 한계점도 인정하고 있다.