MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring

기술 요약: MaRS – 마할라노비스 잔차 점수 기반의 견고한 분포 외(Out-of-Distribution) 탐지

문제 정의
파운데이션 모델은 의료 영상에 대해 매우 기술적인 표현(representation)을 제공하지만, 환자군, 영상 장치 또는 획득 조건의 변화로 인한 분포 변화(distribution shifts)가 발생할 경우 그 신뢰성이 저하됩니다. 분포 외(OOD) 탐지는 안전한 임상 배포를 위해 필수적이지만, 기존 방법론들은 구체적인 한계에 직면해 있습니다. 신뢰도 기반 방법(Confidence-based methods)은 클래스 불균형과 미보정(miscalibration) 문제로 인해 취약성을 보일 수 있습니다. 거리 기반 방법(예: Deep kNN, Mahalanobis)은 고차원 임베딩 공간에서 근접 이웃 간의 거리가 정보력을 잃거나 공분산 추정이 어려워질 때 성능이 저하될 수 있습니다. 재구성 기반 방법(Reconstruction-based methods)은 인-디스트리뷰션(In-distribution, ID) 매니폴드를 학습하고 재구성 오차가 큰 샘플을 식별하지만, 일관되지 않은 성능으로 인해 채택이 제한적이었습니다. 저자들은 이러한 불일치가 재구성 품질의 저하 때문이 아니라, 재구성 오차를 점수화하는 방식에서 기인한다고 주장합니다. 표준적인 접근 방식은 균일한 $L_2$ 잔차 노름(residual norm)을 사용하는데, 이는 잔차의 비등방성(anisotropic) 구조를 붕괴시켜 저분산 방향에서 발생하는 유익한 편차를 억제합니다.

방법론: MaRS
저자들은 고정된 백본 특징(frozen backbone features) 위에서 작동하도록 설계된 레이블 프리(label-free) 방식의 완전 사후(fully post-hoc) OOD 탐지기인 **MaRS (Mahalanobis Residual Scoring)**를 소개합니다. 이 방법은 세 가지 주요 구성 요소로 이루어집니다:

1. 오토인코더를 통한 매니폴드 투영: 고정된 백본 $\Phi$가 생성하는 특징 $z$가 주어졌을 때, 가벼운 오토인코더 $(E, D)$를 ID 특징에 대해 학습시켜 재구성 손실 $\|z - \hat{z}\|_2^2$을 최소화합니다. 기하학적으로 이는 ID 매니폴드 $M_{ID}$로의 투영 $\Pi_{M_{ID}}(z)$를 구현합니다. 재구성 잔차는 $r(x) = z - \hat{z}$로 정의됩니다.
2. 잔차 공간 분석: 저자들은 ID 잔차가 작고 재구성의 불완전함을 반영하는 반면, OOD 잔차는 학습된 매니폴드로부터의 이탈을 반영하는 체계적인 성분을 포함하고 있음을 관찰했습니다. 결정적으로, 이러한 잔차의 분포는 매우 **비등방적(anisotropic)**입니다.
3. 마할라노비스 점수화: 균일한 $L_2$ 노름 대신, MaRS는 잔차 공간에서의 마할라노비스 거리를 사용하여 OOD 점수를 계산합니다:
   $$S_{MaRS}(x) = r(x)^\top \Sigma^{-1} r(x)$$
   여기서 $\Sigma$는 ID 잔차의 공분산 행렬입니다. 고유값 분해 $\Sigma = U\Lambda U^\top$를 통해, 점수는 주성분에 대한 제곱 투영의 가중 합으로 표현됩니다:
   $$S_{MaRS}(x) = \sum_{i=1}^{D} \frac{(u_i^\top r(x))^2}{\lambda_i}$$
   이 공식은 저분산(안정적인) 방향(즉, $\lambda_i$가 작은 방향)의 편차를 증폭시키고, 고분산 방향($\lambda_i$가 큰 방향)의 영향력은 줄입니다. 클래스 조건부 평균에 의존하는 임베딩 공간의 마할라노비스 방식과 달리, Ma_RS는 레이블이 필요 없는 방식이며 단일 글로벌 잔차 공분산에 의존하여 클래스 의미론적 변동을 억제하고 분포적 드리프트를 격리합니다.

주요 기여

• MaRS 프레임워크: 오토인코더 재구성 잔차에 마할라노비스 거리를 적용하는 플러그 앤 플레이(plug-and-play) 방식의 레이블 프리 OOD 탐지기입니다. 이는 고정된 백본 특징 위에서 직접 작동하므로 계산 효율성이 높으며, 백본의 미세 조정 없이도 다양한 모달리티에 적응할 수 있습니다.
• 잔차 비등방성의 식별: 본 논문은 잔차의 비등방성을 OOD 탐지를 위한 핵심적이고 이전에 간과되었던 신호로 식별했습니다. 저자들은 잔차 공간에서의 분산 인식 마할라노비스 점수화가 균일한 $L_2$ 집계보다 실질적으로 우수한 성능을 보임을 입증했습니다.
• 아키텍처 및 규모에 대한 견고성: 저자들은 MaRS가 다양한 백본 아키텍처(지도 학습 기반 ViT 및 자기 지도 학습 기반 DINOv3)와 모델 규모(Small 및 Base) 전반에서 견고하게 작동함을 보여줍니다. 또한, 이 방법은 잠재 공간 베이스라인들이 정규화를 요구하는 것과 달리, 고유한 비등방성 분산 구조가 보존되는 사전 정규화(pre-normalization) 특징 위에서 작동할 때 이점을 얻습니다.

실험 결과
세 가지 영상 모달리티(조직 병리, 흉부 X-선, 피부 병변)와 다양한 유형의 분포 변화(공변량 변화, Near-OOD, Far-OOD, 의미론적 변화), 그리고 다양한 모델 제품군에 대해 광범위한 실험이 수행되었습니다.

• 성능: MaRS는 기존의 신뢰도 기반(MSP, ODIN, ViM), 거리 기반(Deep kNN, OCSVM, Mahalanobis++), 재구성 기반(Residual, AE) 베이스라인들을 일관되게 능가했습니다.
• 통계적 유의성: MaRS는 3회의 실행과 5개의 데이터셋 분할에 걸쳐 AUROC 및 FPR@95 측면에서 가장 강력한 잠재 공간 베이스라인인 Mahalanobis++를 유의미하게 앞질렀습니다 (쌍체 윌콕슨 부호 순위 검정, $p < 0.05$).
• 절제 연구 결과: 잔차 공분산의 스펙트럼 분석 결과, 분산의 90% 이상이 전체 주성분의 1/3 미만에 집중되어 있음이 밝혀졌습니다. OOD 편차는 나머지 저분산 방향에 집중되는 것으로 나타났습니다. 저분산 부공간(subspace)에서 OOD 대 ID 잔차 에너지 비율은 1.64배 더 컸으며, 이는 마할라노비스 점수화가 이러한 유익한 신호를 효과적으로 격리함을 확인시켜 줍니다.
• 정규화 민감도: 표준 잠재 공간 베이스라인의 경우 정규화가 성능을 향상시키지만, Ma_RS의 경우 분산 스펙트럼을 평탄하게 만들고 OOD 신호가 가장 두드드러지는 저분산 방향을 억제함으로써 오히려 성능을 저하시킵니다.

의의
본 논문은 기존 재구성 기반 OOD 탐지기의 핵심적인 한계가 등방성 재구성 오차(isotropic reconstruction errors)를 암묵적으로 가정한다는 점에 있다고 주장합니다. 균일한 $L_2$ 집계를 공분산 인식 마할라노비스 점수화로 대체함으로써, MaRS는 이 한계를 해결합니다. 저자들은 이 접근 방식이 고정된 표현 위에서 사후(post-hoc) OOD 탐지를 위한 단순하면서도 강력한 원칙을 제공하며, 클래스 레이블이나 사전 정의된 부분 공간 가설에 의존하지 않고도 의료 영상 모달리티와 모델 규모 전반에 걸쳐 잘 일반화되는 견고한 레이블 프리 솔루션을 제공한다고 단언합니다. 이 연구는 향чно 의료 분야의 OOD 탐지 개선이 단순히 재구성 품질이나 백본 표현을 개선하는 것보다, 잔차 공간의 비등방성을 더 잘 모델링하는 것에 달려 있을 수 있음을 시사합니다.