기술 요약: 해석 가능한 OOD 탐지를 위한 희소 오토인코더 (Sparse Autoencoders)

문제 정의

머신러닝 모델, 특히 심층 신경망(DNN)은 테스트 시 데이터가 훈련 데이터와 동일한 분포를 따른다는 가정하에 작동한다. 이 가정이 위배될 때(OOD, Out-of-Distribution), 모델은 과도하게 확신에 찬 잘못된 예측을 내놓는 경우가 많다. 기존의 OOD 탐지 방법들은 두 가지 주요 한계점을 갖는다:

1. 최종 레이어에 대한 의존성: 대부분의 방법은 최종 레이어의 표현(예: 로짓 또는 임베딩)만을 활용하며, 중간 네트워크 레이어에 존재하는 풍부한 계층적 정보를 간과한다. 본 논문에서 입증되었듯, ID(In-Distribution)와 OOD 입력을 구분하는 판별 구조는 초기 레이어에는 나타나지만, 최종 표현에서는 모호해지거나 압축되는 경-향이 있다.
2. 해석 가능성의 결여: 탐지 점수가 효과적이더라도, 왜 특정 샘플이 OOD인지, 혹은 어떤 내부 표현이 ID와 OOD를 구분하는지에 대한 통찰을 거의 제공하지 못한다. 이는 분포 변화(distribution shifts)가 저수준의 시각적 손상(corruption)에서 기인하는지, 아니면 고수준의 의미론적 불일치(semantic mismatches)에서 기인하는지 진단하는 것을 방해한다.

방법론: SAID

저자들은 고정된 사전 학습된 비전 모델의 중간 활성화 값에 대해 희소 오토인코더(SAE)를 학습시키는 사후(post-hoc) OOD 탐지 프레임워크인 **SAID (Sparse Autoencoders for Interpretable Detection)**를 제안한다.

1. 중간 레이어에서의 SAE 학습

SAID는 고정된 백본 모델(예: ViT 또는 ResNet)의 선택된 레이어 $l$의 중간 특징 활성화($a = f_l(x)$)에 대해 별도의 SAE를 학습시킨다.

• 아키텍처: 저자들은 가장 활발한 상위 $k$개의 차원만을 남기고 나머지 차원을 명시적으로 제로화하여 희소성을 강제하는 Top-k SAE를 사용한다. 이는 손실 함수에 L1 희소성 페널티를 추가할 필요를 없애준다.
• 목적 함수: SAE는 입력 활성화와 재구성된 활성화 사이의 평균 제곱 오차(MSE)를 최소화하도록 학습된다 ($D(E(a)) \approx a$).
• 해석 가능성: 희소성 제약은 학습된 특징들이 각 활성화된 특징이 하나의 구별되고 인간이 해석 가능한 개념에 대응하는 "단일 의미적(monosemantic)" 특성을 갖도록 유도한다.

2. 유사도 기반 OOD 스코어링

추론 시, SAID는 테스트 샘플의 희소 인코딩을 학습된 ID 클래스의 분포와 비교한다:

1. 프로토타입 구축: 각 ID 클래스 $c$와 각 레이어 $l$에 대해, 훈련 세트로부터 평균 잠재 인코딩 $\mu_{c,l}$을 계산하여 저장한다.
2. 인코딩: 테스트 입력 $x$에 대해, 사전 학습된 분류기가 클래스 $\hat{c}$를 예측한다. 각 레이어 $l$에 대한 SAE는 $x$의 중간 활성화를 희소 벡터 $z_l$로 인코딩한다.
3. 스코어링: 레이어별 OOD 점수 $s_l(x)$는 $z_l$과 예측된 클래스의 평균 인코딩 $\mu_{\hat{c},l}$ 사이의 **코사인 유사도(cosine similarity)**로 계산된다.
4. 집계: 최종 OOD 점수 $S(x)$는 모든 선택된 레이어에 걸친 코사인 유사도의 평균이다.
5. 결정: $S(x) \geq \tau$인 샘플은 ID로 분류되며, 그렇지 않으면 OOD로 분류된다.

3. VLM을 통한 개념 주석(Annotation)

해석 가능성을 제공하기 위해, 저자들은 SAE 잠재 특징을 주석 달기 위해 시각-언어 모델(VLM, 구체적으로 GPT-5.5)을 사용한다.

• 각 잠재 특징에 대해, 해당 특징을 가장 강하게 활성화하는 상위 25개의 ID 이미지를 검색한다.
• 이 이미지들을 공유된 시각적 패턴을 설명하도록 하는 프롬프트와 함께 VLM에 전달하여, 인간이 읽을 수 있는 개념 레이블(예: "회색 털", "날개")을 생성한다.
• 이를 통해 ID와 OOD 입력이 의미론적으로 일관된 개념을 활성화하는지 분석할 수 있다.

주요 기여

1. 새로운 탐지 프레임워크: 중간 레이어의 SAE 인코딩을 활용하여 OOD 탐지 성능을 향상시키는 사후 방식인 SAID를 도입하였다.
2. 중간 레이어 유용성 입증: 중간 레이어가 최종 레이어 표현에서 소실되기 쉬운 판별 정보를 포함하고 있음을 실증적으로 보여주었으며, 이를 통해 의미론적 및 공변량 변화(covariate shifts) 모두에서 개선된 탐지 성능을 달성하였다.
3. 해석 가능성 및 진단: SAE 유래 개념 레이블을 진단 도구로 사용하였다. 저자들은 ID 입력이 이미지와 의미론적으로 일치하는 개념을 활성화하는 반면, OOD 입력은 불일치하거나 일관되지 않은 개념을 활성화함을 보여줌으로써, 레이어별 분포 변화를 파악할 수 있음을 입증하였다.

실험 결과

방법론은 ViT-B/16 및 ResNet-50 백본을 사용하여 ImageNet-1K (ID)를 대상으로 다양한 OOD 데이터셋(SSB-Hard, NINCO, ImageNet-C, ImageNet-R 등)에 대해 평가되었다.

• 성능: SAID는 의미론적 및 공변량 변화 벤치마크 모두에서 평균적으로 최첨단(SOTA) 성능을 달s성하였다.
  • ViT 백본에서, SAID는 두 가지 변화 유형(예: 의미론적 변화에서 92.4% AUROC, 공변량 변화에서 83.5% AUROC) 모두에서 최고의 평균 AUROC를 기록하며 VIM, RMDS, KNN과 같은 베이스라인을 능가하였다.
  • ResNet-50에서도 SAID는 가장 높은 평균 AUROC를 달성하였으나, 기존 방법들과의 격차는 더 작았다.
• 중간 레이어의 영향: 절제 연구(Ablation studies)를 통해 중간 레이어의 SAE를 추가하는 것이 최종 레이어만 사용하는 것보다 AUROC를 일관되게 향상시킨다는 것을 확인하였다. 가장 정보량이 많은 레이어는 데이터셋에 따라 달라지며(예: 텍스처/공변량 변화에는 초기 레이어, 의미론적 변화에는 후기 레이어가 유용), 이는 집계 전략의 정당성을 뒷받침한다.
• 개념 분석: 정량적 분석 결과, ID 샘플은 OOD 샘플보다 높은 "개념 일치도(concept agreement, 활성화된 개념이 이미지와 의미론적으로 일치하는 비율)"를 보였다. 이 격차는 후기 레이어에서 특히 두드러졌으며, 이는 분포 변화가 고수준 개념 표현에서 매우 가시적임을 시사한다.

의의 및 한계

의ness:
본 논문은 SAID가 네트워크 계층 전체에 분산된 정보를 활용함으로써 탐지 정확도를 높이는 동시에, 분포 변화가 학습된 표현에 어떻게 영향을 미치는지 해석할 수 있는 메커니즘을 제공한다고 주장한다. "블랙박스" 로짓을 넘어 희소한 개념 기반 특징으로 나아감으로써, SAID는 모델이 저수준의 손상 때문인지 혹은 고수준의 의미론적 불일치 때문인지 진단할 수 있게 한다.

한계:
저자들은 몇 가지 제약 사항을 인정한다:

• 도메인 범위: 현재 평가는 비전 도메인으로 제한되어 있다.
• 고정된 희소성: 고정된 $k$-희소성 제약은 서로 다른 데이터 포인트의 가변적인 복잡성에 적응하지 못하고, 입력당 활성화되는 특징의 수가 일정하다고 가정한다.
• 계산 비용: 여러 중간 레이어에 대해 고용량 SAE를 학습시키는 것은 자원 집약적이어서, 매우 큰 모델이나 자원이 제한된 환경에서의 적용 가능성을 제한할 수 있다.