기술 요약: SLAM-AGS

1. 문제 정의

계산 세포학(Computational cytology)은 딥러닝을 이용한 암 진단 적용을 저해하는 두 가지 핵심적인 과제에 직면해 있습니다:

1. 신뢰할 수 없고 비용이 많이 드는 인스턴스 레이블: 기가픽셀 단위의 전체 슬라이드 이미지(WSI)에 대해 포괄적인 패치 수준의 주석(annotation)을 확보하는 것은 비용이 매우 많이 듭니다. 결과적으로, 완전 지도 학습(fully supervised training)은 실행 불가능한 경우가 많습니다.
2. 극도로 낮은 목격율(Witness Rates): 세포학 WSI에서 양성 패치(비정상 세포를 포함하는 패치)의 비율은 전체 패치 중 1% 미만인 경우가 많습니다. 이러한 극도로 낮은 목격율에서, 슬라이드 수준의 레이블에만 의존하는 표준 약지도 학습(weakly supervised methods) 방식은 음성 인스턴스에 의해 지배됩니다. 이는 과적합, 희귀 양성 사례에 대한 일반화 능력 저하, 그리고 모델이 양성 백(bag)과 음성 백을 구분하지 못하는 모델 붕괴(model collapse)로 이어집니다.

다중 인스턴스 학습(Multiple Instance Learning, MIL)은 슬라이드 수준 레이블링을 위한 표준적인 해결책이지만, 인스턴스 수준의 구분이 약하게 지도되고 양성 신호가 희소할 때는 어려움을 겪습니다. 또한, 자기 지도 학습(self-supervised)과 약지도 학습(weakly supervised) 목적 함수를 결합한 기존의 다중 작업 사전 학습(multi-task pretraining) 방법들은 종종 **그래디언트 충돌(gradient conflicts)**을 겪으며, 이는 학습을 불안정하게 만들고 약한 감독의 이점을 제한합니다.

2. 방법론: SLAM-AGS

저자들은 슬라이드 음성 및 슬라이드 양성 패치 모두를 위한 표현 학습을 공동으로 최적화하면서 학습 과정을 안정화하도록 설계된 프레임워크인 SLAM-AGS(Adaptive Gradient Surgery를 사용한 슬라이드 레이블 인식 다중 작업 사전 학습)를 제안합니다.

2.1. 다중 작업 사전 학습 목적 함수

이 프레임워크는 패치를 슬라이드 수준 레이블에 따라 분류하여 WeakSupCon 접근 방식을 변형합니다:

• 슬라이드 음성 패치 (지도 유사성): 건강한(음성) 슬라이드에서 추출된 패치는 알려진 공유 음성 레이블을 가진 것으로 취급됩니다. 모델은 이 음성 인스턴스들의 특징 공간 내 조밀한 표현을 장려하기 위해 Supervised Contrastive (SupCon) 손실에서 유도된 **유사성 손실(Similarity Loss)**을 최적화합니다.
• 슬라이드 양성 패치 (자기 지도 대비 학습): 양성 슬라이드(정상 세포와 비정상 세포가 혼합되어 있을 수 있음)에서 추출된 패치는 레이블이 없는 것으로 취급됩니다. 모델은 이 패치들에 대해 SimCLR 대비 학습 목적 함수를 최적화하여 견고하고 레이블이 없는 시각적 특징을 학습합니다.

전체 손실은 두 목적 함수의 합입니다: $L = L_{Similarity} + L_{SimCLR}$.

2.2. 적응형 그래디언트 수술 (Adaptive Gradient Surgery)

이질적인 목적 함수를 결합할 때 발생하는 불안정성을 해결하기 위해, SLAM-AGS는 PCGrad 알고리즘을 기반으로 한 적응형 그래디언트 수술을 통합합니다:

1. 충돌 해결: 작업 간의 코사인 유사도가 음수일 때(충돌을 나타냄), 알고리즘은 각 작업의 그래디언트를 다른 작업의 그래디언트에 대한 법선 평면 위로 투영합니다. 이를 통해 파괴적인 간섭을 제거합니다.
2. 그래디언트 재스케일링 (Gradient Rescaling): 본 연구의 핵심 혁신은 그래디언트 재스케일링 단계입니다. 표준 투영 방식은 유효 그래디언트 크기를 줄여 수렴을 늦출 수 있습니다. SLAM-AGS는 원래 결합된 그래디언트의 노름($\|g_{sum}\|$)과 투영된 그래디언트의 노름($\|g_{pc}\|$)을 계산합니다. 만약 투영된 노름이 더 작다면, 원래의 업데이트 크기를 유지하기 위해 그래디언트를 다음과 같이 재스케일링합니다:
   $$g_{pc} \leftarrow g_{pc} \cdot \frac{\|g_{sum}\|}{\|g_{pc}\|}$$
   이를 통해 충돌하는 방향은 제거하면서도, 학습 신호의 전체적인 규모는 유지되도록 보장합니다.

2.3. 다운스트림 파이프라인

사전 학습된 인코더는 어텐션 기반 다중 인스턴스 학습(MIL) 어그리게이터(구체적으로 PAMIL)에 통합됩니다. 이를 통해 다음이 가능합니다:

• 백 수준 예측 (Bag-level prediction): 전체 슬라이드 분류 (예: 악성 종양 탐지).
• 인스턴스 수준 검색 (Instance-level retrieval): 어텐션 점수를 사용하여 양성 백 내에서 가장 비정상적인 패치를 식별하고 검색.

3. 실험 설정

• 데이터셋: May-Grünwald-Giemsa/Pappenheim 염색 WSI를 특징으로 하는 골수 세포학(Bone Marrow Cytology) 데이터셋 [14].
• 시뮬레이션: 통제된 목격율을 가진 MIL 환경을 시뮬레이션하기 위해, "림프구(Lymphocytes)"(다수 클래스)를 "정상"으로 레이블링하고, 7가지 소수 세포 유형을 "비정상" 클래스로 병합했습니다. 정상 백에 비정상 인스턴스를 주입하여 목표 목격율을 **10%, 5%, 1%, 0.5%**로 설정했습니다.
• 베이스라인: 해당 방법은 약지도 학습(Weakly Supervised), SimCLR, WeakSupCon, 그리고 그래디언트 재스케일링이 없는 SLAM-AGS 변형 모델과 비교되었습니다.
• 평가 지표:
  • 백 수준 (Bag-level): F1-Score.
  • 인스턴스 수준 (Instance-level): Recall@400 (어텐션 점수에 의해 순위가 매겨진 상위 400개 패치 중 올바르게 식별된 핵심 인스턴스의 수).

4. 주요 결과

실험 결과, SLAM-AGS는 특히 목격율이 낮아질수록 기존 방법들을 크게 능가하는 것으로 나타났습니다:

• 백 수준 분류 (F1-Score):
  • 10% 및 5% 목격율에서 SLAM-AGS는 각각 97.1%와 96.0%로 가장 높은 점수를 기록하며, 약지도 학습(53.4%) 및 WeakSupCon(84.6%)을 능가했습니다.
  • 0.5% 목격율에서 그 차이가 가장 두드러졌습니다. SLAM-AGS는 **66.4%**를 달성한 반면, 약지도 학습, SimCLR, WeakSupCon은 모두 무작위 성능 수준(~50%)으로 붕괴되었습니다.
• 인스턴스 수준 탐지 (Recall@400):
  • SLAM-AGS는 모든 목격율에서 60% 이상의 탐지율을 유지했습니다 (예: 0.5% WR에서 65.3%).
  • 경쟁 방법들(SimCLR, WeakSupCon)은 낮은 목격율에서 거의 무작위 수준(~40-45%)으로 떨어져, 핵심적인 비정상 인스턴스를 효과적으로 식별하는 데 실패했습니다.
• 절제 연구 (Ablation Study): "SLAM-AGS w/o rescaling" 변형 모델은 현저히 낮은 성능(예: 0.5% WR에서 F1 46.0%)을 보였으며, 이는 그래디언트 재스케일링 구성 요소가 최적화를 안정화하고 학습 신호를 보존하는 데 필수적임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 양성 신호가 극도로 희소한 계산 세포학 분야에 대한 견고한 해결책을 SLAM-AGS가 제공한다고 주장합니다. 핵심적인 의의는 다음과 같습니다:

1. 그래디언트 간섭이 주요 병목 구간임: 희소한 양성 레이블이 존재하는 다중 작업 사전 학습에서, 자기 지도 및 약지도 목적 함수 사이의 충돌하는 그래디언트는 학습을 불안정하게 만드는 주요 원인입니다.
2. 적응형 수술을 통한 안정성 확보: 그래디언트 투영과 크기 보존 재스케일링을 결합함으로써, 본 프레임워크는 지도 학습과 자기 지도 학습 목적 함수가 서로 간섭하는 대신 서로를 강화할 수 있도록 합니다.
3. 극한의 희소성에서의 성능: SLAM-AGS는 표준 약지도 및 자기 지도 방법들이 실패하는 영역인 **0.5%**의 목격율에서도 안정적인 사전 학습과 우수한 다운스트림 성능을 가능하게 합니다.

저자들은 그래디언트 충돌을 완화하고 업데이트를 재스케일링하는 것이 희소한 감독 환경에서 견고한 표현 학습을 위해 매우 중요하다는 결론을 내립니다. 또한, 인스턴스 수준의 검색은 안정적으로 유지되지만, 가장 낮은 목격율에서 백 수준의 F1 점수는 여전히 약간 저하된다는 점을 언급하며, 향-식별된 인스턴스 수준 신호를 더 잘 활용하기 위해 MIL 어그리게이터를 개선하는 것이 향후 과제임을 시사했습니다.

재현성: 저자들은 전체 구현 및 평가 프레임워크를 https://github.com/Ace95/SLAM-AGS에 오픈 소스로 공개하였습니다.