기술 요약: SPROUT - 프로토타입 기반 프롬핑을 통한 학습 없는 핵 인스턴스 분할

1. 문제 제기

정확한 핵 인스턴스 분할은 암 예후 및 진단과 같은 하류 임상 통찰력에 필수적인 계산 병리학의 기초 과제입니다. 그러나 기존 접근 방식은 세 가지 주요 과제를 직면하고 있습니다:

1. 데이터 부족과 비용: 픽셀 단위 주석은 노동 집약적이며 희소하여, 완전 감독 방식의 확장성을 제한합니다.
2. 도메인 간극과 변동성: 병리 이미지는 좁은 색상 스펙트럼, 염색 변동성, 그리고 약한 경계를 가진 밀집된 세포 배열을 보여줍니다. 이로 인해 자연 이미지나 특정 데이터셋으로 훈련된 모델은 분포 변화 하에서 실패합니다.
3. 현재 기반 모델의 한계: Segment Anything Model(SAM) 과 같은 비전 기반 모델은 제로샷 기능을 제공하지만, 정밀한 프롬프팅 필요성으로 인해 병리학에 직접 적용되는 데는 장애가 있습니다. 기존 학습 없는 프롬프팅 전략은 종종 외부 참조 이미지 (퓨샷) 에 의존하는데, 염색 및 형태학적 차이로 인해 비실용적입니다. 더 나아가 자연 이미지나 병리 특화 백본으로 훈련된 특징 추출기는 미세 조정 없이는 미묘하고 이질적인 세포 수준 특징을 포착하지 못하는 경우가 많습니다.

본 논문은 일반 기반 모델과 조직병리학의 특정 요구 사항 사이의 간극을 메우기 위해 완전한 학습 및 주석 없는 프레임워크가 필요하다고 주장합니다.

2. 방법론: SPROUT

저자들은 파라미터 업데이트나 외부 주석 없이 SAM 을 유도하여 핵 인스턴스 분할을 수행하는 SPROUT(Stain Priors with pRototypical partial Optimal transport for Unlabeled prompTing, 무주석 프롬프팅을 위한 프로토타입 기반 부분 최적 수송을 활용한 염색 사전 지식) 프레임워크를 제안합니다. 파이프라인은 세 가지 핵심 단계로 구성됩니다:

A. 특징 - 프로토타입 유사도 매핑 (자기 참조 전략)

외부 참조 이미지에 의존하는 대신, SPROUT 는 헤마톡실린과 에오신 (H&E) 염색의 생화학적 친화력을 활용하여 슬라이드별 자기 참조를 구축합니다.

• 염색 사전 지식: 이미지를 광학 밀도 공간으로 변환하고 헤마톡실린 (핵) 과 에오신 (세포질/배경) 농도 지도로 분해합니다.
• 고신뢰도 마스크: 이러한 농도 지도에 오츠 (Otsu) 임계값을 적용하여 고신뢰도 전경 (핵) 과 배경 영역을 식별합니다.
• 프로토타입 추출: 이러한 고신뢰도 영역의 특징을 사전 훈련된 인코더 (예: DINOv2, H-optimus-1, 또는 병리 특화 백본) 에서 추출합니다. 이러한 특징은 K-평균 클러스터링을 통해 해당 슬라이드의 의미적 앵커로 작용하는 대표적 프로토타입($P_{fg}$ 및 $P_{bg}$) 을 도출하는 데 사용됩니다.

B. POT-Scan (점진적 부분 최적 수송)

전체 특징 지도를 유도된 프로토타입에 매핑하면서 노이즈와 모호성을 처리하기 위해, SPROUT 는 점진적 부분 최적 수송 (POT-Scan) 방식을 사용합니다.

• 부분 OT 공식화: 모든 질량을 이동시키도록 강제하는 표준 최적 수송 (OT) 이나 버려진 질량을 패널티로 부과하는 불균형 OT 와 달리, 부분 OT 는 질량의 일부가 매칭되지 않은 채 남을 수 있도록 합니다. 이는 모호하거나 노이즈가 있는 특징을 자연스럽게 필터링합니다.
• 점진적 정렬: 수송 비율 $\rho$는 작은 초기 값에서 점진적으로 증가합니다. 이를 통해 알고리즘은 먼저 쉽고 고신뢰도 특징을 정렬한 후 점차 모호한 영역을 포함시켜 견고한 특징 할당을 보장합니다.
• 솔버: 문제는 선택되지 않은 질량을 흡수하기 위한 슬랙 열을 포함한 불균형 OT 문제로 재구성되어, Sinkhorn-Knopp 알고리즘을 통해 효율적으로 해결됩니다.

C. 활성화 프롬프팅 및 정제

이동된 특징은 가중치가 재조정되어 이미지 공간으로 매핑되어 활성화 지도를 생성하며, 이는 SAM 을 위한 프롬프트로 변환됩니다.

• 점 생성: 전경 활성화 지도는 이진화되고, 콤팩트 영역에 대한 워터셰드 기반 절차로 양의 점 프롬프트가 샘플링됩니다. 음의 점은 충분한 커버리지를 보장하기 위해 확장된 배경 마스크에서 균일하게 샘플링됩니다.
• SAM 추론: SAM 은 이러한 양의 점과 음의 점 프롬프트를 사용하여 패치 수준의 추론을 수행하고 인스턴스 마스크를 생성합니다.
• 포함 인식 NMS: 예측을 정제하는 후처리 단계가 적용됩니다. 이는 여러 개의 작은 핵을 둘러싸는 큰 마스크에 페널티를 부과하는 포함 인식 비최대 억제 (NMS) 를 적용합니다. 최종 점수는 SAM 의 신뢰도와 정규화된 헤마톡실린 채널 응답을 결합하여 오양성을 필터링합니다.

3. 주요 기여

1. 최초의 완전 학습 없는 프레임워크: SPROUT 는 주석이나 모델 재훈련이 필요 없는 H&E 병리학에서의 핵 인스턴스 분할을 위한 최초의 프레임워크로 제시됩니다. 이는 병리학에서 퓨샷 전략의 한계를 해결하기 위해 외부 참조 이미지 필요성을 제거하는 새로운 자기 참조 메커니즘을 도입합니다.
2. POT-Scan 방식: 저자들은 이론적으로 근거 있는 점진적 부분 최적 수송 방식을 제안합니다. 이 방법은 핵 커버리지와 노이즈 억제를 적응적으로 균형 있게 조절하여, 모호한 영역을 필터링하면서 특징을 프로토타입에 정렬하는 원칙적인 방법을 제공합니다.
3. 견고한 성능: 이 프레임워크는 모델 아키텍처를 변경하지 않고도 적절한 프롬프트 설계와 패치 기반 분해를 통해 SAM 에서 직접 경쟁력 있는 분할 성능을 달성할 수 있음을 보여줍니다.

4. 실험 결과

저자들은 SPROUT 를 네 가지 벤치마크 데이터셋 (MoNuSeg, CPM17, TNBC, PanNuke) 에서 평가했습니다.

• 성능: SPROUT 는 SAM 기반 베이스라인 (예: MedSAM, UN-SAM), 완전 감독 모델 (예: U-Net), 그리고 약한 감독 접근법보다 일관되게 우수한 성과를 거두었습니다.
  • 까다로운 MoNuSeg 데이터셋에서 SPROUT 는 AJI 0.621을 달성하여 이전 최상의 SAM 기반 방법 (MedSAM) 보다 8.2% 의 절대적 개선을 보였으며, 완전 감독 U-Net(0.421) 을 능가했습니다.
  • 또한 MoNuSeg 에서 0.795, CPM17 에서 0.821 의 우수한 Dice 점수를 달성했습니다.
• 일반화: 이 방법은 다양한 특징 추출기 (자연 이미지 및 Virchow2, H-optimus-1 과 같은 병리 훈련 백본 모두) 와 다양한 패치 크기에서 견고한 성능을 보여주었습니다.
• 효율성: POT-Scan 과 SAM 단계로 인해 경량 피드포워드 모델보다 추론 시간이 길지만, 훈련 및 주석의 상당한 설정 비용을 회피합니다. 이 방법은 표준 하드웨어에서 병렬화를 통해 1 분 미만 (실제 시간) 에 이미지를 처리합니다.
• 애블레이션 연구: 실험을 통해 자기 참조 전략, 부분 OT(탐욕적 또는 균형 OT 대비), 그리고 포함 인식 NMS 가 성능에 있어 핵심 구성 요소임을 확인했습니다.

5. 의의 및 주장

본 논문은 SPROUT 가 병리학에서 확장 가능하고 학습 없는 핵 인스턴스 분할을 위한 새로운 패러다임을 확립한다고 주장합니다. 그 의의는 다음과 같습니다:

• 도메인 간극 해소: 슬라이드별 염색 사전 지식을 사용하여 자기 참조를 구축함으로써, 미세 조정이나 외부 참조 없이 도메인 간극을 완화합니다.
• 실용성: 주석이 불가능하거나 데이터 공유가 제한된 시나리오 (예: 사설 기관 데이터셋) 에 대한 해결책을 제공하여, 신속하고 대규모의 분할 결과 생성을 가능하게 합니다.
• 기반 모델 활용: 비전 기반 모델의 제로샷 기능이 대규모 재훈련에만 의존하는 것이 아니라, 신중한 프롬프트 엔지니어링과 생물학적 사전 지식을 통해 조직병리학에서 해제될 수 있음을 보여줍니다.
• 확장성: 저자들은 이 프레임워크가 H&E 에만 엄격하게 국한되지 않으며, DSB2018 데이터셋에서 질적으로 입증된 바와 같이 전경/배경 사전 지식을 적응함으로써 형광 현미경과 같은 다른 모달리티로 확장될 수 있다고 지적합니다.

저자들은 시각적 단서의 신뢰도에 따라 성능이 좌우되며, 심각한 염색 부패나 비정형 색상 분포에서는 이 방법이 어려움을 겪을 수 있음을 인정하며 겸손한 어조를 유지합니다. 그러나 그들은 SPROUT 를 디지털 병리학에서 신뢰할 수 있는 엔드투엔드 AI 통합을 향한 유망하고 효율적이며 신뢰할 수 있는 단계로 위치시킵니다.