From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM, 예: CLIP) 이 대규모로 배포됨에 따라, 이러한 모델의 내부 작동 원리를 이해하는 것이 점점 더 중요해지고 있습니다. 기존 해석 가능성 (Interpretability) 연구는 주로 활성화 (Activations) 에 의존하는 방식을 취해 왔습니다. 그러나 이 방식에는 다음과 같은 한계가 존재합니다.

• 데이터 의존성: 해석을 위해 대규모 데이터셋 (예: ImageNet) 이 필요하며, 이는 데이터 편향 (Bias) 에 취약합니다.
• 해석의 거칠음: Attention Head(주의 헤더) 단위에서 해석을 제공하므로, 헤더 내부의 구체적인 의미 단위 (Concept) 를 세분화하여 분석하기 어렵습니다.
• 학습 필요: 많은 방법론이 추가적인 학습이나 최적화를 필요로 합니다.

따라서, 데이터나 추가 학습 없이 모델의 가중치 (Weights) 자체를 분석하여, Attention Head 내부의 미세한 의미 구조를 해석할 수 있는 새로운 프레임워크가 필요합니다.

2. 제안 방법론: SITH (Methodology)

저자들은 SITH (Semantic Inspection of Transformer Heads) 라는 새로운 프레임워크를 제안합니다. 이는 CLIP 의 Vision Transformer(ViT) 의 가중치 공간을 직접 분석하여 데이터 없이 (Data-Free) 모델을 해석하는 방법입니다.

핵심 단계:

1. Value-Output (VO) 행렬 분리:
   • CLIP 의 Multi-Head Attention(MHA) 구조에서 각 Attention Head 의 입력과 출력을 결정하는 Value-Output (VO) 가중치 행렬 ($W_{VO}$) 을 추출합니다. 이 행렬은 헤드가 잔여 스트림 (Residual Stream) 에 어떤 정보를 '쓰는 (Write)' 지를 결정합니다.
2. 특이값 분해 (SVD):
   • 각 Attention Head 의 VO 행렬을 특이값 분해 (Singular Value Decomposition, SVD) 합니다.
   • 이를 통해 $W_{VO} = U\Sigma V^T$ 형태로 분해하며, 각 특이 벡터 (Singular Vectors) 는 헤드가 처리하는 주요 계산 방향 (Dominant Computational Directions) 을 나타냅니다.
3. COMP 알고리즘 (Coherent Orthogonal Matching Pursuit):
   • 추출된 특이 벡터를 인간이 이해할 수 있는 자연어 개념 (Concepts) 으로 해석하기 위해 새로운 알고리즘인 COMP를 제안합니다.
   • 기존 NNOMP(Non-Negative Orthogonal Matching Pursuit) 는 재구성 오차만 최소화하여 의미적으로 일관성 없는 개념 집합을 생성할 수 있습니다.
   • COMP는 재구성 정확도 (Reconstruction Fidelity) 와 의미적 일관성 (Semantic Coherence) 을 동시에 최적화합니다. 선택된 개념 집합 내의 개념들이 서로 의미적으로 밀접하게 연관되도록 정규화 항 (Coherence Term) 을 도입하여, 희소하고 일관된 개념 조합을 찾습니다.

3. 주요 기여 (Key Contributions)

1. 데이터 및 학습 불필요 (Data-Free & Training-Free): 모델의 가중치와 SVD, COMP 알고리즘만을 사용하여 CLIP 의 Attention Head 를 해석합니다. 별도의 데이터셋이나 추가 학습이 필요 없습니다.
2. 미세한粒度의 해석 (Fine-grained Interpretability): 전체 Attention Head 단위가 아닌, 단일 특이 벡터 (Singular Vector) 수준에서 해석을 제공합니다. 하나의 헤더가 여러 개념 (예: 색상, 위치, 질감) 을 어떻게 처리하는지 세분화하여 파악할 수 있습니다.
3. 해석 가능한 모델 편집 (Interpretable Model Editing):
   • 특정 개념을 증폭하거나 억제하기 위해 특이값 (Singular Values) 을 직접 조정하여 모델을 수정할 수 있습니다.
   • 이는 재학습 없이도 수행 가능하며, 다운스트림 작업 성능을 향상시키거나 원치 않는 편향을 제거하는 데 활용됩니다.
4. 모델 적응 (Model Adaptation) 분석: 미세 조정 (Fine-tuning) 이 모델의 전체 구조를 바꾸는 것이 아니라, 기존에 학습된 의미 기반 (Semantic Basis) 을 미세하게 재조정 (Reweighting) 한다는 것을 발견했습니다.

4. 실험 결과 (Results)

• 해석의 정확성과 일관성: COMP 알고리즘은 기존 방법 (Top-k, NNOMP) 보다 재구성 정확도 (Fidelity) 와 의미적 일관성 (Interpretability) 사이의 최적 균형을 이룹니다. 특이 벡터가 색상, 질감, 위치, 사람, 문자 등 명확한 시각적 개념과 매핑됨을 확인했습니다.
• 편향 제거 (Spurious Correlation Suppression): Waterbirds 데이터셋 실험에서 배경 정보 (Background) 와 관련된 특이 벡터를 제거함으로써, 모델의 Worst-group 정확도를 크게 향상시켰습니다.
• 안전성 강화 (NSFW Removal): NSFW(부적절한 콘텐츠) 개념과 관련된 특이 벡터를 식별하여 억제함으로써, 모델의 검색 안전성을 기존 Safe-CLIP 보다 향상시켰습니다.
• 성능 향상: 특정 다운스트림 작업 (Flowers 102, Oxford Pets 등) 에 관련된 개념을 증폭시켜, 재학습 없이 Zero-shot 분류 정확도를 1.0 포인트 이상 향상시켰습니다.
• 모델 적응 분석: 미세 조정 후에도 Attention Head 의 특이 벡터 공간은 안정적으로 유지되며, 조정된 방향이 미세 조정 목표 (예: 꽃, 동물, 새) 와 의미적으로 일치함을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 기계적 해석 가능성의 패러다임 전환: 활성화 기반 해석에서 벗어나 가중치 기반 해석의 가능성을 입증했습니다. 이는 모델의 내부 메커니즘을 데이터 편향 없이 직접적으로 이해할 수 있는 길을 엽니다.
• 실용적 활용성: 재학습 없이 모델을 수정 (Editing) 할 수 있어, 리소스가 제한된 환경이나 실시간 보안/편향 제어에 매우 유용합니다.
• 보편성 (Universality): 다양한 모델 아키텍처 (ViT-B, ViT-H, MobileCLIP) 에서도 유사한 기능적 Attention Head(예: 색상 감지, 위치 인식) 가 발견됨을 보여, VLM 의 구조적 보편성을 지지하는 증거를 제시했습니다.

결론적으로, 이 논문은 CLIP 과 같은 대규모 시각 - 언어 모델의 내부 작동 원리를 데이터 없이 정밀하게 해석하고, 이를 통해 모델을 의도적으로 제어할 수 있는 강력한 도구 (SITH) 를 제시했습니다.