기술 요약: EviBall – 소량의 샘플을 이용한 전체 슬라이드 이미지 분류를 위한 클래스 조건부 증거 검색

1. 문제 정의

전체 슬라이드 이미지(Whole Slide Image, Wisi) 분류는 진단적 단서가 희소하고, 공간적으로 조직되어 있으며, 클래스에 의존적인 증거 기반 작업입니다. 홀리스틱(holistic)한 객체 표현에 의존하는 일반적인 자연 이미지와 달리, WSI 분류는 기가픽셀 규모의 조직 경관 전반에 분포된 특정 조직학적 증거를 식별해야 합니다.

현재의 접근 방식들은 소량 학습 감독(few-shot supervision)(클래스당 극소수의 라벨링된 슬라이드만 사용 가능한 상황) 하에서 다음과 같은 중대한 문제에 직면합니다:

• 집계의 한계: 기존의 다중 인스턴스 학습(Multiple Instance Learning, MIL) 및 시각-언어 방법론은 파편화된 패치 특징들을 하나의 글로벌 슬라이드 표현으로 집계하는 경향이 있습니다. 제한된 감독 환경에서는 희소한 로컬 단서들을 일관된 진단적 증거로 조직하는 신뢰할 수 있는 메커니즘을 학습하는 것이 어렵습니다.
• 클래스 불가지론적 융합(Class-Agnostic Fusion): 공유된 슬라이드 표현은 후보 클래스와 그 대안을 뒷받는 증거들을 동일한 특징 벡터 내로 압축해 버립니다. 이러한 얽힘은 클래스별 추론과 해석 가능성을 제한합니다.
• 의미론적 불일치: 멀티모달 방법론이 의미론적 가이드를 도입하더라도, 이들은 종종 텍-온리(text-only) 사전 지식(예: 거대 언어 모델로부터의 정보)에 의존하는데, 이는 분자적 엔드포인트 예측에 있어 간접적일 수 있으며, 의미 정보를 글로벌 특징으로 융합함으로써 클래스별 증거를 보존하지 못하는 문제를 야기합니다.

핵심 과제는 패치 수준의 조밀한 주석 없이도 로컬 패치들을 신뢰할 수 있는 클래스별 증거 단위로 조직하여, 희소한 슬로-레벨 라벨 하에서도 견고한 추론을 가능하게 하는 것입니다.

2. 방법론: EviBall

저자들은 EviBall이라는 클래스 조건부 증거 검색 프레임워크를 제안하며, 이를 통해 소량 학습 WSI 분류를 글로벌 표현 학습이 아닌 구조화된 증거 추론으로 재정의합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다:

A. 증거 볼(Evidence Ball) 구축

패치를 고립된 인스턴스로 취급하는 대신, EviBall은 패치들을 **증거 볼(Evidence Balls)**이라 불리는 조밀하고 구조화된 단위로 그룹화합니다. 각 볼 $B_k$는 세 가지 속성을 인코딩합니다:

1. 의미 중심(Semantic Center, $c_k$): 집계된 의미적 내용.
2. 공간 중심(Spatial Center, $s_k$): 집계된 공간적 위치.
3. 지지 질량(Support Mass, $q_k$): 증거의 상대적 강도 또는 신뢰도.

구축 과정은 다음과 같습니다:

• 다양성 인식 초기화: 로컬 영역을 분할하고, 각 영역 내에서 가장 유사하지 않은 두 개의 패치를 시드로 선택하여 의미적으로 다양한 후보 볼을 초기화합니다.
• 로컬 증거 바인딩: 로컬 의미-공간 친화도(Local Semantic-Spatial Affinity, LSSA) 연산을 통해 초기화된 시드와 인접 패치 간의 호환성을 측정합니다. 이는 로컬 친화도 행렬을 사용하여 할당 가중치를 계산함으로써, 볼이 일관된 로컬 패턴을 포착하도록 하면서 글로벌 매칭 노이즈를 줄입니다.
• 공간 게이트형 중심 업데이트: 공간 게이트는 초기 중심과 집계된 공간 중심 사이의 변위(displacement)를 기반으로 의미 중심의 정교화 과정을 조절합니다. 이를 통해 의미 업데이트가 일관된 공간적 이동에 의해 뒷받침될 때만 발생하도록 하여 정교화 과정을 안정화합니다.
• 다양성 정규화: 동일 영역 내의 공존하는 증거 볼들에 대해 동일 영역 다양성 정규화(same-region diversity regularizer)를 적용하여, 이들이 중복된 패턴이 아닌 상호 보완적인 로컬 패턴을 포착하도록 유도합니다.

B. 작업 관련 클래스 의미 쿼리 생성

클래스 인지 방식으로 증거를 검색하기 위해, EviBall은 특정 작업에 맞춤화된 의미 쿼리를 생성합니다:

• 언어 가이드 쿼리: 형태학 중심 작업의 경우, LLM이 각 클래스에 대한 병리학적 설명을 생성하며, 이는 고정된 텍스트 인코더(TITAN)에 의해 인코딩되어 쿼리를 형성합니다.
• 분자 가이드 쿼리: 분자 엔드포인트 예측(예: 유전자 발현)의 경우, 텍st 기반 설명은 불충분합니다. 대신, 프레임워크는 사전 학습된 전사체 기초 모델(scGPT)을 사용하여 유전자 발현 상태(low vs. high bins)를 기반으로 한 쿼리를 생성합니다.
• 어댑터 투영(Adapter Projection): 소스 특화 어댑터는 이러한 다양한 쿼리를 증거 볼 임베딩 공간으로 투영합니다.

C. 클래스 조건부 증거 검색

모든 증거를 하나의 글로벌 벡터로 집계하는 전통적인 MIL과 달리, EviBall은 각 클래스 쿼리에 대해 독립적으로 **지지 인식 교차 주의(support-aware cross-attention)**를 수행합니다:

• 지지 인식 주의(Support-Aware Attention): 주의 메커니즘은 각 증거 볼의 **지지 질량($q_k$)**에 기반한 가산 편향(additive bias) 항을 포함합니다. 이는 의미적 관련성이 유사할 때 지지량이 높은 볼이 더 큰 주의 가중치를 받도록 보장합니다.
• 클래스별 예측: 각 클래스 쿼리는 자신의 증거를 뒷받 l하는 증거 볼들을 선택적으로 검색하여 별도의 클래스 조건부 표현을 형성합니다. 이 표현들은 클래스별 예측 헤드를 통과하여 로짓(logits)을 생성합니다. 이는 작업을 구조화된 증거를 둘러싼 후보 클래스 간의 경쟁으로 재구성합니다.

3. 주요 기여

1. 증거 중심 프레임워크: 고립된 패치 인스턴스에서 의미, 공간적 조직, 지지 질량을 공동으로 인코딩하는 조밀하고 공간적으로 일관된 증거 단위인 **증거 볼(Evidence Balls)**을 도입하여 모델링의 초점을 전환했습니다.
2. 작업 적응형 의미 쿼리: 언어 기반 가이드를 넘어, 분자 엔드포인트 예측을 위해 분자 유래 의미(scGPT 활용)를 통합함으로써 멀티모달 MIL을 확장했습니다.
3. 클래스 조건부 검색: 각 클래스 쿼리가 관련 증거 볼을 선택적으로 검색하는 지원 인식 및 클래스 조건부 디코더를 통해, 글로벌 집계 방식에서 발견되는 증거 얽힘 문제를 해결했습니다.
4. 강력한 소량 학습 성능: 다양한 소량 학습 설정에서 구조화된 증거 구축과 클래스 조건부 검색이 기존의 비전-언어 MIL 베이스라인보다 우수함을 광범한 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 형태학 중심 분류와 분자 엔드포인트 예측을 모두 포함하는 네 가지 소량 학습 WSI 분류 작업에 대해 EviBall을 평가했습니다:

• RCC-Subtyping (신세포암 유형 분류)
• BRCA-Subtyping (유방암 유형 분류)
• IMP-Grading (면역 표현형 등급 결정)
• BCNB-PR (유방암 프로게스테론 수용체 예측)

성능 하이라이트:

• 우수성: EviBall은 1-shot, 2-shot, 4-shot, 8-shot 설정 모두에서 ABMIL, CLAM, TransMIL, RRT, ViLaMIL, FOCUS, MUSE와 같은 베이스라인을 능가하거나 대등한 최고 수준의 성능을 일관되게 달了했습니다.
• 분자 가이드: BCNB-PR 작업에서, EviBall-RNA 변형(분자 가이드 쿼리 사용)이 EviBall-LLM 변형(텍스트 전용 쿼리 사용)보다 일반적으로 더 높은 성능을 보였으며, 특히 2/4/8-shot 설정에서 두드러졌습니다. 이는 분자 엔드포인트에 대해서는 텍스트 사전 지식보다 작업 관련 분자 의미론이 더 적절한 가이드를 제공함을 시사합니다.
• 안정성: 성능 향상이 다양한 샷 수에 걸쳐 일관되게 유지되어, 레이블 부족에 대한 방법론의 견고함을 보여주었습니다.

절제 연구(Ablation Studies):

• 증거 볼을 패치 수준 교차 주의로 대체했을 때 가장 큰 성능 저하가 발생하여, 구조화된 증거 단위의 필요성을 확인했습니다.
• 클래스 조건부 표현을 공유 슬라이드 특징으로 평균화하는 방식(Variant II)은 성능을 저하시켜, 클래스 조건부 검색의 이점을 검증했습니다.
• 지지 질량 편향이나 공간 게이트 업데이트를 제거하면 성능이 감소하여, 증거의 강도와 공간적 일관성의 중요성을 강조했습니다.

5. 의의 및 주장

본 논문은 EviBall이 다음과 같은 방식을 통해 기존 MIL 패러다임의 근본적인 한계를 해결한다고 주장합니다:

• 작업의 재정의: 제약 없는 글로벌 집계 메커니즘 학습에서 구조화된 증거 검색 및 경쟁으로 전환했습니다.
• 해석 가능성 향 향상: 클래스별 증거 볼을 검색함으로써, 모델은 예측에 대해 공간적으로 국소화되고 클래스 특화된 증거를 제공합니다. 이는 이질적인 유방암 슬라이드 분석에서 모델이 공간적으로 광범한 증거를 바탕으로 IDC 대신 ILC를 정확히 식별한 사례를 통해 입증되었습니다.
• 유연성: 프레임워크는 언어 및 분자 데이터를 포함한 서로 다른 의미 출처를 성공적으로 통합하여, 작업 관련 가이드가 효과적인 증거 검색에 필수적임을 보여줍니다.

저자들은 결론적으로 EviBall이 제한된 감독 하에서 희소한 진단적 단서를 조직하는 데 더 신뢰할 수 있는 접근 방식을 제공하며, 더 해석 가능하고 정확한 계산 병리학 모델을 위한 경로를 제시한다고 밝힙니다.