Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers

1. 연구 배경 및 문제 정의 (Problem)

• 가설의 한계: 기존 연구들은 가중치 희소성 (Weight Sparsity) 이 모델의 계산 경로를 단순화하고, 언어 모델에서 발견된 것처럼 '압축된 회로 (Compact Circuits)'를 생성하여 해석 가능성 (Interpretability) 을 높일 것이라고 가정해 왔습니다.
• 미해결 과제: 그러나 구조적 희소성 자체가 의미론적 (Semantic) 해석 가능성을 향상시키는지, 특히 자연어 처리가 아닌 비전 (Vision) 모델에서는 어떻게 작용하는지는 명확하지 않았습니다.
• 핵심 질문: 가중치 희소성을 도입한 Vision Transformer(ViT) 가 실제로 더 단순한 기능적 모듈을 형성하고, 뉴런의 선택성 (Selectivity) 이나 회로의 명확성을 개선하는가?

2. 방법론 (Methodology)

저자들은 IMPACT (Interpretability Multi-level Pipeline for Assessing Computational Transparency) 라는 새로운 다단계 평가 프레임워크를 제안하여 밀집형 (Dense) 과 희소형 (Sparse) ViT 를 비교 분석했습니다.

2.1 실험 설정

• 모델: DeiT-III B/16 (Supervised ViT) 을 베이스로 사용.
• 희소화 기법: Wanda (Weight and Activation Norm Product) 프루닝 알고리즘을 적용하여 10%~90% 의 희소도를 가진 모델을 생성. (70% 희소도를 주된 분석 포인트로 선정).
• 데이터: ImageNet-1K.

2.2 IMPACT 프레임워크 (4 단계 분석)

해석 가능성을 4 가지 상호 보완적인 수준에서 평가합니다.

1. 뉴런 수준 (Neuron Level): 개별 뉴런의 특성을 분석.
   • 메트릭: 선택성 (Selectivity, AUROC), 제거 영향 (Ablation Impact), 클래스 분산 (Class Variance), 라벨 엔트로피 (Label Entropy).
   • 목적: 희소화가 뉴런의 다의성 (Polysemanticity) 을 줄이고 특정 클래스에 더 집중하게 하는지 확인.
2. 레이어 수준 (Layer Level): 중간 표현의 해리 (Disentanglement) 분석.
   • 도구: BatchTopK 희소 오토인코더 (SAE) 사용.
   • 목적: 밀집형과 희소형 모델의 활성화 값을 SAE 로 분해하여, 희소 모델이 더 해리된 (disentangled) 특징을 학습하는지 평가.
3. 회로 수준 (Circuit Level): 태스크 수행에 필요한 최소 기능적 회로 추출.
   • 기법: 학습 가능한 노드 마스킹 (Learnable Node Masking) 을 통해 특정 클래스 예측에 필수적인 최소 회로 추출.
   • 메트릭: NCQ (Normalized Circuit Quality). 회로의 충실도 (Accuracy) 와 압축률 (Edge 수 감소) 을 동시에 고려한 지표.
4. 모델 수준 (Model Level): 전체 모델의 예측 근거 해석.
   • 기법: Transformer Attribution (Chefer et al. 방법) 및 Insertion/Deletion 메트릭.
   • 목적: 입력 이미지의 어떤 부분이 예측에 기여했는지에 대한 설명의 신뢰도 (Faithfulness) 평가.

3. 주요 기여 (Key Contributions)

1. 체계적 비교: 언어 모델에서 주로 연구되던 희소 회로 분석을 비전 도메인 (Vision Transformers) 으로 확장하여, 밀집형과 희소형 모델의 해석 가능성을 체계적으로 비교했습니다.
2. IMPACT 프레임워크 제안: 뉴런, 레이어, 회로, 모델 수준의 4 단계에 걸쳐 해석 가능성을 종합적으로 측정하는 새로운 파이프라인과 NCQ 지표를 도입했습니다.
3. 근거 기반 결론 도출: 구조적 희소성이 반드시 기계적 투명성 (Mechanistic Transparency) 을 보장하지 않음을 실험적으로 증명했습니다.

4. 주요 결과 (Key Results)

4.1 회로 수준 (Circuit Level) - 구조적 감소는 확인됨

• 결과: 희소 모델 (70%) 은 밀집형 모델보다 약 2.5 배 적은 엣지 (Edges) 로 회로를 구성했습니다.
• NCQ: NCQ 점수가 밀집형 (0.602) 에서 희소형 (0.780) 으로 증가하여, 회로가 더 작아지고 충실도는 유지됨을 보였습니다.
• 하지만: 희소 모델은 전체 가용 노드 중 더 큰 비율 (41.60% vs 29.03%) 을 회로에 활용했습니다. 이는 프루닝이 연결성을 줄였지만, 계산이 더 적은 기능적 유닛에 집중되는 것이 아니라 나머지 구성 요소들 사이로 분산 (Representation Spreading) 되었음을 의미합니다.

4.2 뉴런 및 레이어 수준 (Neuron & Layer Level) - 의미론적 개선 없음

• 뉴런: 희소 모델의 뉴런은 밀집형 모델과 유사한 다의성 (Polysemanticity) 을 보였습니다. 선택성, 엔트로피, 클래스 분산 등 모든 메트릭에서 일관된 개선이 관찰되지 않았습니다.
• SAE (레이어): 희소 모델에서 학습된 SAE 특징 (Features) 은 밀집형 모델 대비 더 해리되거나 단일 의미 (Monosemantic) 를 갖지 않았습니다. 오히려 높은 희소도에서는 재구성 오차가 증가하여 더 분산된 표현을 사용함을 시사했습니다.

4.3 모델 수준 (Model Level) - 제한적 개선

• 아트리뷰션 (Attribution): 낮은 희소도 (1030%) 에서 약간의 신뢰도 향상 (Insertion AUC 증가) 이 있었으나, 희소도가 높아질수록 (5070%) 이러한 경향은 사라지거나 역전되었습니다.
• 시각화: 시각적 아트리뷰션 맵에서 희소 모델이 더 명확한 공간적 위치 특정 (Spatial Localization) 을 보여주지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: "구조적 희소성 (Structural Sparsity) 은 해석 가능성 (Interpretability) 을 보장하지 않는다."
  • 프루닝은 모델의 엣지 수를 줄여 회로를 물리적으로 작게 만들지만, 내부 계산 로직이 단순해지거나 모듈화되는 것은 아닙니다. 오히려 계산이 남은 구성 요소들 사이로 분산되어, 뉴런의 다의성이나 특징의 중첩 (Superposition) 은 해소되지 않습니다.
• 시사점:
  • 단순히 가중치를 제거하는 것만으로는 더 해석 가능한 모델을 만들 수 없습니다.
  • 진정한 해석 가능성 향상을 위해서는 프루닝과 같은 사후 처리 (Post-hoc) 가 아닌, 의미론적 구조를 명시적으로 장려하는 학습 목적 함수 (Training Objectives) 나 아키텍처적 사전 지식 (Architectural Priors) 이 필요합니다.
• 한계 및 향후 과제: 본 연구는 사후 프루닝 (Post-hoc pruning) 에 기반하며, ImageNet 의 감독 학습 모델에 국한되었습니다. 처음부터 희소하게 학습된 모델이나 자기지도 학습 (Self-supervised) 모델에서의 해석 가능성 차이는 추가 연구가 필요합니다.

이 논문은 "모델이 작아지면 (Sparse) 더 이해하기 쉬워진다"는 직관에 대해 경계해야 함을 강조하며, 해석 가능성 평가를 위해 다층적 (Multi-level) 접근의 중요성을 부각시켰습니다.