💻 computer science

A Novel Open-Set Domain Adaptation Framework for Histopathology Image Classification: A Style-Aware and Density-Guided Approach

본 논문은 외관 정규화를 위한 스타일 교정 모듈과 밀도 기반 미지 샘플 탐지를 위한 GMM 기반 ClusterNet 및 극치 이론을 통합함으로써, 염색으로 인한 공변량 변화와 미지의 조직 범주 문제를 모두 효과적으로 해결하는 병리 이미지 분류를 위한 새로운 오픈 셋 도메인 적응 프레임워크인 SADG를 제안한다.

원저자: Reyhane Ghaffari, Mohammad Sadegh Helfroush, Kamran Kazemi, Abbas Khosravi

게시일 2026-10-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Reyhane Ghaffari, Mohammad Sadegh Helfroush, Kamran Kazemi, Abbas Khosravi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 의학의 세계에서 병리학자의 가장 중요한 도구는 종종 현미경입니다. 그들은 암과 같은 질병을 식별하기 위해 화려한 염색약으로 염색된 아주 작은 조직 조각들을 검사합니다. 오늘날 컴퓨터도 디지털 이미지를 스캔하여 이상 징후를 찾아내는 인공지능을 사용하여 이 작업을 수행하는 법을 배우고 있습니다. 하지만 이러한 컴퓨터 프로그램은 현실 세계의 이미지가 자신들이 훈련받은 이미지와 똑같이 보이지 않는다는 고집스러운 현실에 직면해 있습니다. 한 병원에서 준비된 슬라이드는 다른 병원의 슬라이드와 다르게 약간 다르게 염색되거나 다른 기기로 스캔되어 색상과 질감이 변할 수 있습니다. 더욱이, 다섯 가지 유형의 조직을 인식하도록 훈련된 컴퓨터가 갑자기 본 적 없는 여섯 번째 유형의 조직을 마주할 수도 있습니다. 만약 소프트웨어가 이러한 변화를 처리하지 못하거나 새로운 미지의 조직을 인식하지 못한다면, 질병을 잘못 식별하거나 새로운 문제를 아예 포착하지 못하는 위험한 실수를 저지를 수 있습니다.

시라즈 공과대학교(Shiraz University of Technology)와 디킨 대학교(Deakin University)의 연구진은 이러한 컴퓨터 시스템이 이 복잡한 현실을 헤쳐 나갈 수 있도록 돕는 새로운 접근 방식을 개발했습니다. 그들은 '오픈 세트 도메인 적응(open-set domain adaptation)'이라는 복잡한 과업을 위해 특별히 설계된 SADG라는 프레임워크를 만들었습니다. 쉽게 말해, 이는 컴퓨터에게 새로운 시각적 스타일에 적응하는 법을 가르치는 동시에, 배운 적 없는 것을 식별하는 법을 동시에 가르치는 것을 의미합니다. 연구팀은 암이 흔히 발생하는 부위인 대장 조직 이미지 수천 장을 사용하여 그들의 방법을 테스트했으며, 이때 서로 다른 병원과 염색 조건을 나타내는 두 개의 대규모 공개 데이터셋을 사용했습니다. 그들의 목표는 이미지의 색상이 변하더라도 알려진 조직 유형을 정확하게 분류하면서도, 훈련 데이터에는 전혀 존재하지 않았던 카테고리에 속하는 조각을 올바르게 식별할 수 있는 시스템을 구축하는 것이었습니다.

그들의 성공의 핵심은 컴퓨터가 직면하는 두 가지 주요 문제, 즉 시각적 차이와 미지의 카테고리를 처리하는 방식에 있습니다. 첫째, 그들은 시각적 변화를 해결했습니다. 조직 샘플을 스캔할 때 조명, 대비 또는 사용된 화학 염료의 변화는 동일한 조직을 다르게 보이게 할 수 있습니다. 연구진은 시스템에 일종의 필터 역할을 하는 특별한 모듈을 구축했습니다. 이 모듈은 스캐닝 과정으로 인해 발생하는 표면적인 시각적 차이를 제거하는 동시에, 진단에 실제로 중요한 심층적인 구조적 세부 사항은 신중하게 보존합니다. 이를 통해 컴퓨터는 염색의 색상 때문에 혼란을 겪기보다 세포의 모양과 배열에 집중할 수 있습니다.

두 번째이자 아마도 더 어려운 과제는 미지의 조직 유형을 다루는 것입니다. 전통적인 방법들은 종종 모든 새로운 이미지를 기존의 카테고리 중 하나로 강제로 밀어 넣거나, 모든 미지의 샘플을 하나의 모호한 "기타" 범주로 묶어버립니다. 연구진은 이러한 접근 방식이 결함이 있다고 판단했는데, 미지의 조직들이 모두 동일하지 않으며 그들만의 내부 구조와 패턴을 가지고 있기 때문입니다. 미지의 조직들을 하나의 상자에 강제로 집어넣는 대신, 새로운 시스템은 데이터의 지형을 그려냅니다. 이 시스템은 데이터의 자연스러운 밀도를 기반으로 이미지를 클러스터링하여, 알려진 조직이 어디에 살고 있고 어디에 공백이 존재하는지에 대한 상세한 지도를 만듭니다. 이 지도를 이해함으로써 시스템은 각 이미지에 대한 점수를 계산할 수 있습니다. 이미지가 알려진 조직의 밀집 지역에 떨어져 있다면 확신을 가지고 분류됩니다. 만약 이미지가 희박한 지역에 떨어져 있거나 알려진 그룹에서 멀리 떨어져 있다면, 시스템은 그것을 새로운 것으로 인식합니다.

임의적인 기준점에 의존하지 않고 이러한 결정을 내리기 위해, 팀은 데이터 분포의 극단적인 가장자리를 살펴보는 통계적 기법을 사용했습니다. 이를 통해 시스템은 고정된 규칙 없이도 샘젤이 미지인지 여부를 판단할 확률을 추정할 수 있습니다. 또한 그들은 컴퓨터에게 자신의 추측에 대해 겸손해지는 법을 가르치는 방법도 도입했습니다. 시스템이 불확실할 때는 잘못된 답을 강요하기보다 불확실성을 인정하도록 권장됩니다. 반대로, 시스템이 알려진 조직 유형에 대해 확신이 있을 때는 더욱 확신을 갖도록 강화됩니다. 이러한 균형은 컴퓨터가 새로운 미지의 조직을 익숙한 것으로 확신하며 잘못 라벨링하는 것을 방지합니다.

그들의 테스트 결과는 놀라웠습니다. 대장 조직 데이터셋에 이 방법을 적용했을 때, 시스템은 기존의 최첨단 기술들을 지속적으로 능가했습니다. 컴퓨터가 큰 데이터셋에서 특성이 다른 더 작은 데이터셋으로 적응해야 했던 특정 시나리오에서, 시스템은 알려진 조직을 식별하는 데 98.40%의 정확도를 달랄했습니다. 더 중요한 것은, 미지의 것을 찾아내는 데 매우 뛰어났다는 점인데, 다른 테스트 구성에서 97.60%의 탐지 점수를 기록했습니다. 이 수치들은 시스템이 주의를 분산시키는 시각적 변화를 무시하는 법을 배웠을 뿐만 아니라, 완전히 새로운 것을 마주했을 때를 감지하는 예리한 감각까지 발달시켰음을 나타냅니다.

연구진은 또한 시스템의 각 부분이 이러한 성공에 어떻게 기여했는지 탐구했습니다. 그들은 시각적 차이를 걸러내는 모듈을 제거했을 때 성능이 크게 떨어지는 것을 발견했으며, 이는 스타일 변화를 처리하는 것이 필수적임을 입증했습니다. 마찬가지로, 데이터의 밀도를 매핑하는 메커니즘을 제거했을 때 시스템은 알려진 것과 미지의 것을 구분하는 데 어려움을 겪으며 자주 혼동하는 모습을 보였습니다. 그들은 또한 데이터를 매핑하는 데 사용되는 클러스터의 수가 매우 중요하다는 것을 발견했습니다. 너무 많거나 너무 적은 그룹을 사용하는 것은 시스템을 덜 효과적으로 만들었습니다. 적절한 균형을 찾음으로써, 그들은 컴퓨터가 숲과 나무를 동시에 볼 수 있도록 보장했습니다.

이 연구는 인공지능이 진정으로 임상 현장에서 유용해지기 위해서는 의료 데이터의 자연스러운 가변성을 처리할 수 있을 만큼 견고해야 함을 시사합니다. 인공지능은 완벽하게 통제된 조건에서만 작동하는 경직된 도구가 되어서는 안 됩니다. SADG 프레임워크는 데이터의 자연스러운 구조를 존중하고 컴퓨터에게 자신의 한계를 인식하도록 가르침으로써, 정확하면서도 안전한 시스템을 구축할 수 있음을 보여줍니다. 연구진은 자신들의 방법이 중요한 진전이지만, 궁극적인 목표는 최소한의 감독만으로도 새로운 도메인에 훨씬 더 빠르게 적응할 수 있는 모델을 만드는 것이라고 언급했습니다. 그들의 연구 결과는 모든 슬라이드가 고유하며 예상치 못한 일이 항상 일어나는 실제 세계에서 병리학자를 도울 수 있는 AI를 향한 유망한 길을 제시합니다.

기술 요약: 조직병리 이미지 분류를 위한 새로운 오픈셋 도메인 적응 프레임워크

문제 정의
계산 병리학에서, 레이블이 지정된 소스 도메인에서 레이블이 없는 타겟 도메인으로 전환될 때 딥러닝 모델은 두 가지 핵심적인 문제에 직면합니다: **공변량 변화(covariate shift)**와 **의미론적 변화(semantic shift)**입니다. 공변량 변화는 염색 프로토콜, 스캐닝 장치 및 이미징 조건의 변화로 인해 발생하며, 이는 외관상의 불일치를 초래합니다. 의미론적 변화는 타겟 도인에 소스 학습 분포에는 존재하지 않는 조직 카테고리(알 수 없는 클래스)가 포함될 때 발생합니다. 이러한 시나리오는 **오픈셋 도메인 적응(Open-Set Domain Adaptation, OSDA)**으로 공식화됩니다.

기존의 OSDA 방법들은 조직병리 분야에서 주로 두 가지 이유로 실패합니다:

알려지지 않은 샘플의 과도한 단순화: 많은 접근 방식이 모든 미지의 샘플을 단일 카테고리로 붕괴시키며, 미지의 조직이 가진 고유한 구조적 및 의미론적 다양성을 무시합니다. 이는 미지의 샘플이 알려진 클래스와 유사할 때 적응 성능을 저하시키는 부정적 전이(negative transfer)를 유발할 수 있습니다.
부적절한 스타일 불변성: 자연 영상(natural images)을 위해 개발된 방법들은 강력한 스타일 불변성을 강제하는 경우가 많습니다. 그러나 조직병리에서는 외관 관련 특성(예: 특정 염색 패턴)이 진단적으로 유의미한 정보를 포함할 수 있으므로, 이를 완전히 제거하기보다 보존해야 합니다.

방법론: SADG 프레임워크
저자들은 공변량 변화와 의미론적 변화를 동시에 해결하기 위해 설계된 통합 프레임워크인 SADG(Style-Aware and Density-Guided)를 제안합니다. 이 아키텍처는 분류를 위한 Co-Net과 밀도 모델링을 위한 ClusterNet, 그리고 **스타일 정류 모듈(Style Rectification Module, SRM)**이 통합된 두 개의 주요 네트워크로 구성됩니다.

스타일 정류 모듈 (SRM):
진단적으로 유의미한 스타일 정보를 버리지 않으면서 공변량 변화를 완화하기 위해, SRM은 백본(ResNet-50)의 초기 및 중간 레이어에 삽입됩니다. 이는 인스턴스 정규화(Instance Normalization, IN)를 사용하여 외관 특유의 변동을 억제한 다음, 채널 어텐션 메커니즘을 통해 잔차 특징을 작업 관련 성분( $R^+$ )과 작업 무관 성분( $R^-$ )으로 분해합니다. 이들은 다시 결합되어 정규화에 의해 억제된 의미론적 정보를 복구하며, 결과적으로 스타일과 의미론을 효과적으로 분리합니다.
밀도 유도 클러스터링 (ClusterNet):
미지의 샘플을 하나의 단일 집단으로 취급하는 방식과 달리, SADG는 **가우시안 혼합 모델(Gaussian Mixture Model, GMM)**을 사용하여 타겟 도메인의 고유한 밀도 구조를 모델링합니다.

ClusterNet은 미분 가능한 방식으로 소프트 할당을 사용하여 타겟 특징을 $K$ 개의 클러스터로 분할합니다.
클래스 조건부 프로토타입: 공유된 알려진 클래스에 대해, 본 프레임워크는 분류기 신뢰도에 따라 가중치를 부여하여 타겟 특징을 집계함으로써 프로토타입( $\mu_c$ )과 공분산 행렬( $\Sigma_c$ )을 구축합니다. 이를 통해 프로토타입이 타겟 도메인 내 실제 알려진 클래스의 분포를 반영하도록 보장합니다.

GEM 점수 및 EVT 보정:
고정된 임계값 없이 미지의 샘플을 탐지하기 위해, SADG는 가우시안 혼합 기반 에너지 측정(Gaussian Mixture-based Energy Measurement, GEM) 점수를 도입합니다. 이 점수는 알려진 클래스 프로토타입에 대한 타겟 샘플의 로그 가능도(log-likelihood)를 평가합니다.

극치 이론 (Extreme Value Theory, EVT): GEM 점수의 꼬리 분포는 임계값 초과(Peaks-Over-Threshold, POT) 방법을 사용하여 모델링됩니다. 이를 통해 시스템은 수동으로 정의된 결정 경계의 경직성을 피하면서, 샘플이 미지의 클래스에 속할 확률( $\tau_t$ )을 동적으로 추정할 수 있습니다.

적응형 학습 전략:
프레임워크는 적응을 유도하기 위해 다중 목적 손실 함수를 사용합니다:

밀도 유도 정렬 ( $L_{align}$ ): 분류기의 출력을 GMM에서 유도된 밀도 유도 사후 분포와 정렬하여, 분류기가 잠재적 클러스터 구조를 존중하도록 합니다.
동질 클러스터 학습 ( $L_{entH}$ ): 신뢰할 수 있는 의미론적 동질 클러스터(클러스터 크기 및 클래스 친화도 기반)를 식별하여 알려진 클래스에 대한 확신을 강화합니다.
미지 샘플 분리 ( $L_{entU}$ ): 높은 $\tau_t$ 를 통해 식별된 의사 미지(pseudo-unknown) 샘플에 엔트로피 최대화를 적용하여, 이들이 알려진 클래스 영역으로 붕괴되는 것을 방지합니다.

주요 기여

통합 프레임워크: SADG는 OSDA 환경의 조직병리 분야에서 공변량 변화와 의미론적 변화를 동시에 처리하는 최초의 프레임워크입니다.
밀도 인식 미지 모델링: GMM 기반의 ClusterNet을 활용함으로써, 미지의 샘플이 하나의 카테고리로 붕괴되는 것을 방지하고 타겟 도메인의 고유한 밀도 구조를 명시적으로 모델링합니다.
임계값 없는 탐지: EVT를 통해 보정된 GEM 점수를 통합하여, 미지 클래스 확률을 추정하는 견고한 임계값 없는 메커니즘을 제공합니다.
스타일 보존: SRM은 진단적으로 유의미한 스타일 정보를 유지하면서 외관에 의한 불일치를 효과적으로 억제하여, 자연 영상 기반 OSDA 방법의 한계를 해결합니다.

실험 결과
본 프레임워크는 두 가지 대장 결장 조직병리 데이터셋인 Kather-16 (이미지 5,000장, 8개 클래스) 및 Kather-19 (이미지 100,000장, 9개 클래스)에서 평가되었습니다. 실험은 미지 샘플의 비율이 다른 세 가지 오픈셋 구성(약 7%에서 75% 범위)을 포함했습니다.

성능: SADG는 기존의 SOTA OSDA 방법들(예: OSBP, STA, UADAL, ANNA) 및 OSR 방법들(예: GHOST, OpenMax)을 일관되게 능가했습니다.
- 모든 태스크에서 평균 **폐쇄 집합 정확도(Closed-Set Accuracy, ACC) 91.28%**와 평균 **AUC 90.27%**를 달연했습니다.
- Kather-19 $\to$ Kather-16 Split 2 시나리오에서, SADG는 98.40% ACC를 달성하며 두 번째로 우수한 방법론을 크게 앞질렀습니다.
절제 연구 (Ablation Studies):
- SRM을 제거했을 때 ACC와 AUC 모두에서 상당한 하락이 발생하여, 염색 변이를 처리하는 데 있어 SRM의 필요성을 확인했습니다.
- 밀도 유도 정렬( $L_{align}$ ) 또는 미지 샘플에 대한 엔트로피 최대화( $L_{entU}$ )를 제거하면 성능이 급격히 저하되었으며, 이는 타겟 밀도 구조를 보존하고 미지 샘플의 붕괴를 방지하는 것의 중요성을 강조합니다.
- 소프트 프로토타입 추정(분류기 신뢰도 가중치 사용)은 하드 할당보다 특히 미지 샘플의 비율이 증가할 때 더 견고한 것으로 증명되었습니다.
효율성: SADG는 듀얼 네트워크 학습 및 GMM 피팅으로 인해 일부 베이스라인보다 계산 복잡도가 높지만, 제한된 오버헤드 내에서 최고 수준의 성능 지표를 달성하며 유리한 트레이드오프를 보여줍니다.

의의 및 주장
본 논문은 데이터 분포가 변화하고 미지의 조직 카테고리가 불가피하게 발생하는 실제 임상 현장에 SADG가 견고한 솔루션을 제공한다고 주장합니다. "단일 미지 카테고리" 가정을 넘어 미지의 샘플을 모델링하고 진단적으로 유의미한 스타일 특징을 보존함으로써, SADG는 조직병리 분류를 위한 더 신뢰할 수 있는 접근 방식을 제시합니다. 저자들은 이 연구가 최소한의 감독만으로 모델이 새로운 센터와 보이지 않는 조직 유형에 적응할 수 있게 함으로써, 임상 환경에서의 수동 주석 의존도를 줄이는 단계라고 위치시킵니다. 향후 연구로는 새로운 도메인에 더욱 빠르게 적응하기 위한 메타 학습 전략을 탐구할 것을 제안합니다.

기술 요약: 조직병리 이미지 분류를 위한 새로운 오픈셋 도메인 적응 프레임워크

유사한 논문