기술 요약: DINO-MVR

문제 정의

의료 영상 분할은 병변 정량화 및 치료 계획과 같은 임상 작업에 필수적이지만, 픽셀 및 볼록 단위 주석의 높은 비용과 희소성이라는 심각한 병목 현상에 직면해 있습니다. U-Net 및 nnU-Net과 같은 지도 학습 모델은 풍부한 라벨이 있을 경우 우수한 성능을 발휘하지만, 도메인 이동에 취약하며 새로운 모달리티에 대해 재학습이 필요합니다.

최근의 기반 모델, 특히 DINO 계열과 같은 자기지도 학습 비전 트랜스포머 (ViT) 는 작업별 라벨 없이 밀집된 특징 표현을 제공합니다. 그러나 핵심적인 질문이 남아 있습니다: 백본을 완전히 동결 (frozen) 상태로 유지할 경우, '리드아웃 (readout)' 메커니즘만 개선함으로써 얼마나 많은 분할 성능을 회복할 수 있을까요? 기존 접근법은 주로 프롬프트 가능 모델 (예: SAM) 이나 파라미터 효율적 적응 (예: 어댑터) 에 의존하지만, 이러한 방법들은 여전히 프롬프트나 도메인별 사전 학습을 필요로 할 수 있습니다. 본 논문은 병목 현상을 백본 미세 조정 대신 전문적인 다중 뷰 리드아웃 전략을 통해 해결할 경우, 동결된 자연 이미지 사전 학습 DINOv3 백본이 정확한 의료 분할을 지원할 수 있는지 조사합니다.

방법론: DINO-MVR

저자들은 동결된 DINOv3 특징에 대한 의료 분할을 리드아웃 문제로 간주하는 DINO-MVR(Multi-View Readout) 을 제안합니다. 이 방법은 백본 업데이트를 전혀 수행하지 않고, 경량 프로브와 추론 시 집계 (aggregation) 에 집중합니다.

1. 동결 특징 스택

• 백본: 모든 파라미터가 동결된 사전 학습 DINOv3 ViT-B/16 인코더를 사용합니다.
• 특징 추출: 해상도 $r$로 조정된 입력 이미지에 대해, 모델은 마지막 세 개의 트랜스포머 블록($L-2, L-1, L$) 에서 패치 토큰 특징을 추출합니다. 인접한 최종 레이어가 상호 보완적인 국소 및 의미론적 정보를 인코딩한다는 통찰을 활용하여, 이를 연결하여 특징 텐서 $Z^{(r)} \in \mathbb{R}^{h_r \times w_r \times 3d}$를 형성합니다.
• 입력 처리: MRI, CT 와 같은 단일 채널 의료 이미지는 백본의 입력 요구 사항과 일치하도록 세 채널로 복제됩니다.

2. 경량 스케일별 리드아웃

• 프로브: 무거운 디코더 대신 DINO-MVR 은 작은 스케일별 다층 퍼셉트론 (MLP) 프로브를 학습합니다.
• 아키텍처: 각 프로브는 연결된 패치 특징을 두 레이어 네트워크 ($2304 \to 256 \to 1$, ReLU 포함) 를 통해 전경 로짓 (foreground logits) 으로 매핑하며, 스케일당 약 0.59M 개의 학습 가능 파라미터를 포함합니다.
• 학습: 프로브는 이진 교차 엔트로피 (BCE) 와 소프트 Dice 손실의 조합으로 최적화됩니다. 백본은 정적 상태로 유지되며, 프로브 파라미터 $\theta_r$만 업데이트됩니다.

3. 다중 뷰 추론

동결된 표현의 활용도를 극대화하기 위해, 프레임워크는 추론 시 여러 상호 보완적인 뷰를 통해 특징을 쿼리합니다:

• 해상도 뷰: 입력은 두 가지 해상도 ($512$및$1024$) 에서 처리됩니다. 낮은 해상도는 균질 영역에서 안정성을 제공하고, 높은 해상도는 경계 세부 정보를 보존합니다.
• 추론 시 증강 (TTA): 원본 이미지와 그 수평/수직 반전에 대해 예측이 생성됩니다. 이러한 예측은 각 해상도 내에서 평균화되어 방향별 변이를 줄입니다.
• 엔트로피 기반 퓨전: 두 해상도에서 얻은 확률 지도는 이진 엔트로피에 기반한 하드 가중치 규칙을 사용하여 퓨전됩니다. 코어 (512) 브랜치가 신뢰할 수 있는 경우 (엔트로피 $\le \tau=0.3$), 해당 예측이 사용되며 그렇지 않으면 정밀 (1024) 브랜치가 선택됩니다. 이는 추가 학습 가능 파라미터를 필요로 하지 않습니다.
• 공간 정제: 퓨전 후 공간 및 외관 일관성을 강제하기 위해 비모수적 DenseCRF 가 적용됩니다.

4. 볼륨 확장

3D 볼륨 (예: MRI) 의 경우, 2D 파이프라인이 슬라이스 단위로 적용됩니다. 3D 디코더를 학습하지 않고 슬라이스 간 일관성을 보장하기 위해 z 축을 따라 가우시안 스무딩 사전($\sigma_z = 4$) 이 적용됩니다. 이는 고립된 슬라이스별 오류를 억제하고 볼륨 일관성을 향상시킵니다.

주요 기여

1. 리드아웃 중심 공식화: 저자들은 DINOv3 백본을 동결함으로써 리드아웃 메커니즘의 기여도를 격리하여, 백본 적응 없이도 상당한 분할 성능을 추출할 수 있음을 입증했습니다.
2. 다중 뷰 리드아웃 프레임워크: DINO-MVR 은 특징 깊이 (마지막 3 개 블록), 입력 해상도 (멀티스케일), 그리고 추론 시 변환을 결합하고, 엔트로피 기반 선택 및 공간 정규화를 통해 이를 퓨전하는 전략을 도입합니다.
3. 주석 효율성: 이 프레임워크는 최소한의 라벨 데이터로 강력한 성능을 달성합니다. 볼륨 설정에서, 단 5 명의 주석 환자를 사용하여 40 명 환자 기준 실행의 거의 모든 성능을 회복합니다.

실험 결과

이 방법은 고정된 프로토콜 하에 세 가지 벤치마크에서 평가되었습니다: Kvasir-SEG(내시경), ISIC 2018(피부경), 그리고 BraTS 2021 FLAIR(MRI).

• 2D 성능:

  • Kvasir-SEG: Dice 유사도 계수 (DSC) 0.895 및 IoU 0.838 을 달성하여 SegDINO 기준 (0.877 DSC) 과 전통적인 U-Net 변형들을 능가했습니다.
  • ISIC 2018: DSC 0.897 및 IoU 0.827 을 달성하여 SegDINO 기준 (0.858 DSC) 을 상회했습니다.
  • 제거 실험 (Ablation studies) 은 마지막 세 개의 트랜스포머 블록 사용, 비선형 MLP 프로브 (선형 대비), 그리고 멀티 해상도 TTA 가 성능에 결정적임을 확인했습니다.

• 주석 효율성 (BraTS):

  • 환자 수 제한 환경에서, 단 5 명의 주석 환자로 학습한 DINO-MVR 은 40 명 환자를 사용한 기준 실행의 성능을 98.4% 회복했습니다 (0.8937 DSC 대 0.9082 DSC).
  • 이 적응은 40 명 환자 기준의 675.6 초에 비해 92.3 초의 학습 시간만 필요로 했습니다.

• 볼륨 일관성:

  • z 축 가우시안 스무딩 적용은 슬라이스 단위 처리 (스무딩 없음) 에 비해 DSC 를 약 0.01 향상시키고 95 백분위수 하우스도르프 거리 (HD95) 를 현저히 감소시켰습니다.

중요성 및 주장

본 논문은 효과적인 다중 뷰 리드아웃과 결합될 경우, 동결된 자기지도 학습 비전 백본이 정확한 의료 분할을 지원할 수 있다고 주장합니다. 그 중요성은 적응의 부담을 비용이 많이 드는 백본 미세 조정이나 프롬프트 엔지니어링에서 경량이고 효율적인 리드아웃 프로브로 전환하는 데 있습니다.

저자들은 DINO-MVR 을 프롬프트 가능 기반 모델 (SAM 등) 과 파라미터 효율적 적응 방법의 구조화된 대안으로 위치시킵니다. 이는 의료 분할에 필요한 "구조적 및 경계 단서"가 이미 동결된 DINOv3 특징 내에 존재하며, 과제는 이러한 특징을 어떻게 쿼리하고 퓨전하느냐에 있음을 보여줍니다. 결과는 많은 의료 작업의 경우, 적응 단계 동안 주석 요구 사항과 계산 오버헤드를 극적으로 줄이면서도 "리드아웃 전용" 접근 방식으로 최첨단 성능을 달성할 수 있음을 시사합니다.