Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 희소 오토인코더 (Sparse Autoencoders, SAEs) 는 CLIP 과 같은 비전 모델의 내부 표현을 해석하는 강력한 도구로 부상했습니다. 기존 연구들은 주로 SAE 가 추출한 개별 특징 (feature) 이 무엇을 의미하는지 (Semantic Meaning) 에 집중해 왔습니다 (예: '개', '자동차' 등의 개념).
• 문제점:
  • 의미론적 해석만으로는 특징이 활성화되는 근본적인 동인을 파악하기 어렵습니다. 예를 들어, '개'라는 특징이 이미지 전체의 개를 통합한 것인지, 아니면 국소적인 털 질감에 반응하는 것인지 구분하지 못합니다.
  • SAE 사전 (dictionary) 이 커지고 특징이 세분화될수록 의미론적 해석만으로는 특징의 기능적 역할을 일관되게 설명하기 어렵습니다.
  • 기존 연구는 정보의 범위 (Information Scope), 즉 특징이 시각적 증거를 얼마나 넓은 공간적 범위에서 통합하는지에 대한 차원을 간과했습니다.

2. 제안 방법론 (Methodology)

저자들은 의미론적 정체성 (Semantic Identity) 이 아닌 정보 범위 (Information Scope) 를 새로운 해석 차원으로 도입했습니다. 이를 정량화하기 위해 다음과 같은 방법론을 제안했습니다.

가. 컨텍스트 의존성 점수 (Contextual Dependency Score, CDS)

• 개념: SAE 특징이 공간적 변화 (contextual shifts) 에 대해 얼마나 안정적인지를 측정하는 지표입니다.
  • 낮은 CDS: 국소적 (Local) 정보 범위. 이미지 패치 (patch) 의 특정 내용에만 반응하며 공간적 이동에 안정적입니다.
  • 높은 CDS: 전역적 (Global) 정보 범위. 이미지 전체의 맥락에 의존하며, 작은 공간적 변화에도 활성화 패턴이 크게 변합니다.
• 측정 프로세스 (Shifted Context Cropping, SCC):
  1. 원본 이미지를 두 개의 겹치는 영역 (Overlapping crops) 으로 자릅니다. 두 영역은 픽셀 단위로 동일한 내용을 가지지만, 절대적 위치와 주변 맥락 (비겹치는 영역) 이 다릅니다.
  2. 두 이미지를 ViT 에 입력하여 특징의 활성화 맵 (Activation Map) 을 추출합니다.
  3. 겹치는 영역에서 두 활성화 맵 간의 차이를 지구의 이동 거리 (Earth Mover's Distance, EMD) 로 계산합니다.
  4. 이 EMD 값을 정규화하여 CDS를 산출합니다.

나. 이상치 토큰 (Outlier Tokens) 분석

• ViT 에서 나타나는 높은 노름 (Norm) 을 가진 '이상치 토큰'이 전역 정보를 집계하는 역할을 한다는 기존 가설을 검증했습니다.
• SCC 실험을 통해 이상치 토큰의 위치가 미세한 컨텍스트 변화에도 예측 불가능하게 이동하는 공간적 불안정성 (Spatial Instability) 을 확인했습니다. 이는 전역 신호가 국소 신호보다 컨텍스트 변화에 훨씬 민감함을 시사합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 해석 차원 도입: SAE 특징의 정보 범위 (Information Scope) 를 국소적 (Local) 과 전역적 (Global) 으로 구분하는 새로운 해석 축을 제시했습니다.
2. CDS 지표 제안: 특징의 공간적 활성화 변화를 통해 컨텍스트 의존성을 정량화하는 Contextual Dependency Score (CDS) 를 제안했습니다.
3. 기능적 역할 규명: CDS 를 기반으로 SAE 특징을 Low-CDS (국소) 와 High-CDS (전역) 그룹으로 나누고, 하류 작업 (Downstream tasks) 에서 이 두 그룹이 수행하는 서로 다른 기능적 역할을 실증했습니다.

4. 실험 결과 (Results)

저자들은 CLIP (B/16, L/14, L/14-336px) 및 다른 ViT 모델 (DINOv2, SigLIP2 등) 에서 SAE 를 학습하고 다음과 같은 결과를 도출했습니다.

• CDS 분포 및 특징 분리:

  • SAE 특징의 CDS 분포는 명확한 이중 모드 (Bimodal) 를 보입니다. 대부분의 특징은 낮은 CDS 를 가지지만, 뚜렷한 고 CDS 피크도 존재합니다.
  • 이를 임계값 ($\gamma$) 을 기준으로 Low-CDS 세트와 High-CDS 세트로 분리할 수 있습니다.
  • High-CDS 특징은 이상치 토큰 (Outlier tokens) 에서 주로 활성화되며, Low-CDS 특징은 정상 토큰 (Non-outlier) 에서 주로 활성화됩니다.

• 특징 제거 실험 (Feature-Group Removal):

  • 이미지 분류 (ImageNet):
    • High-CDS 제거: 오히려 분류 정확도가 향상되었습니다. 이는 선형 분류기 (Linear Probe) 가 국소적 신호 (Low-CDS) 에 더 쉽게 의존할 수 있음을 시사합니다.
    • Low-CDS 제거: 작은 모델에서는 성능이 급격히 저하되었으나, 대규모 모델 (L/14-336px) 에서는 오히려 성능이 향상되기도 했습니다. 이는 모델 규모가 커질수록 전역 맥락 정보가 분류에 더 유용해질 수 있음을 보여줍니다.
  • 밀집 예측 작업 (Semantic Segmentation, Depth Estimation):
    • Low-CDS 제거: ADE20K(세그멘테이션) 와 NYUd(깊이 추정) 작업에서 성능이 크게 저하되었습니다. 이는 국소적 정보 (Low-CDS) 가 픽셀 수준의 정밀한 예측에 필수적임을 의미합니다.
    • High-CDS 제거: 성능에 큰 영향을 미치지 않거나 오히려 약간 향상되었습니다. 이는 전역 맥락 정보가 밀집 예측의 핵심 요소라기보다 보조적인 역할을 함을 시사합니다.

• 시각화:

  • Low-CDS 특징은 특정 객체나 속성에 명확하게 국소화 (Spatial Grounding) 된 활성화 패턴을 보입니다.
  • High-CDS 특징은 확산된 (Diffuse) 활성화 패턴을 보이며, 특정 영역보다는 이미지 전체의 맥락에 반응합니다.

5. 의의 및 결론 (Significance)

• 해석 가능성의 확장: SAE 특징 해석을 '무엇을 나타내는가 (What)'에서 '어떤 범위의 정보를 통합하는가 (How broadly)'로 확장했습니다.
• 모델 동작 이해: CLIP 및 ViT 모델이 국소적 세부 사항과 전역적 맥락을 어떻게 분리하여 처리하는지에 대한 구조적 통찰을 제공합니다. 특히, 이상치 토큰이 전역 정보를 집계하는 불안정한 메커니즘임을 규명했습니다.
• 실용적 시사점:
  • 모델 최적화: 분류 작업에서는 High-CDS 특징을 제거하여 모델을 단순화하거나 성능을 높일 수 있는 가능성이 있습니다.
  • 작업별 특징 활용: 밀집 예측 (Segmentation, Depth) 에는 Low-CDS 특징이 필수적이므로, 이러한 작업에 특화된 모델 설계나 특징 선택 전략에 기여합니다.
• 일반화: CLIP 에 국한되지 않고 DINOv2, SigLIP2 등 다양한 비전 트랜스포머 아키텍처에서도 동일한 현상이 관찰되어, 이 발견이 보편적인 ViT 의 특성이임을 입증했습니다.

요약하자면, 이 논문은 정보 범위 (Information Scope) 를 정량화하는 새로운 지표 (CDS) 를 통해 SAE 특징의 기능적 역할을 재정의하고, CLIP 모델의 내부 표현이 국소적 신호와 전역적 맥락으로 어떻게 구조화되어 있는지에 대한 깊은 진단적 통찰을 제공합니다.