Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 텍스트 분류 작업에서 뛰어난 성능을 보이지만, Transformer 아키텍처의 고차원 잠재 공간 (latent space) 은 직관적으로 해석하기 어렵습니다. 모델이 어떤 구체적인 개념을 기반으로 라벨링 결정을 내리는지 파악하기 어렵습니다.
• 문제점:
  • 기존 개념 기반 해석 방법 (Concept-based interpretability) 은 주로 생성 모델이나 사전 훈련된 LLM 의 일반적인 특징을 추출하는 데 초점을 맞추었으며, 텍스트 분류라는 특정 작업 (Task-specific) 에 최적화된 개념 추출은 충분히 연구되지 않았습니다.
  • 기존 방법들은 해석 가능성 (Interpretability) 과 인과성 (Causality, 즉 개념이 예측에 미치는 실제 영향) 사이의 트레이드오프가 존재하거나, 계산 비용이 매우 높다는 한계가 있습니다.
  • 추출된 개념이 인간이 이해할 수 있는 의미 (단일 의미성, Monosemanticity) 를 갖는지, 그리고 모델의 최종 예측에 얼마나 결정적인 역할을 하는지를 정량적으로 평가할 표준적인 지표가 부족했습니다.

2. 제안 방법론: ClassifSAE (Methodology)

저자들은 텍스트 분류 작업을 위해 ClassifSAE라는 새로운 지도 학습 기반의 희소 오토인코더 (Supervised SAE) 아키텍처를 제안합니다.

• 핵심 아이디어:

  • 작업 특화 학습: 일반적인 SAE 가 대규모 데이터셋에서 훈련되는 것과 달리, ClassifSAE 는 분류 데이터셋 자체에서 훈련됩니다. 이를 통해 분류 작업에 직접적으로 관련된 개념만 추출되도록 합니다.
  • 연동 분류기 (Joint Classifier): SAE 와 분류기를 동시에 훈련합니다. SAE 의 잠재 변수 중 일부 (z_class) 만을 사용하여 원래 LLM 의 분류 결과를 재현하도록 강제합니다. 이는 모델이 작업과 관련된 핵심 개념을 z_class 에 집중시키고, 나머지는 재구성 (reconstruction) 에만 사용하도록 유도하여 특징의 분해 (disentanglement) 를 촉진합니다.
  • 활성화율 희소성 손실 (Activation Rate Sparsity Loss): 특정 특징이 데이터셋의 너무 많은 부분에서 활성화되는 것을 방지하기 위해, 배치 내 특정 특징의 최대 활성화 비율을 제한하는 새로운 손실 항 (L_sparse_feature) 을 도입합니다. 이는 특징의 다양성을 유지하고 다의성 (Polysemanticity) 을 줄이는 데 기여합니다.
  • 입력 포인트: 분류를 위한 문장 수준의 정보를 통합한 토큰 (Decoder-only 모델의 경우 라벨 직전 토큰, Encoder-only 모델의 경우 [CLS] 토큰) 의 숨은 상태 (Hidden State) 에서 SAE 를 훈련합니다.

• 새로운 평가 지표:

  • ConceptSim: 특정 개념이 활성화된 문장들 간의 의미적 일관성 (Cosine Similarity) 을 측정하여 개념의 단일 의미성 (Monosemanticity) 을 평가합니다.
  • SentenceSim: 동일한 상위 활성화 개념 집합을 공유하는 문장들 간의 유사성을 측정하여, 개념이 문장 간 의미 구조를 얼마나 잘 포착하는지 평가합니다.

3. 주요 기여 (Key Contributions)

1. ClassifSAE 아키텍처 제안: 텍스트 분류를 위해 설계된 새로운 지도 학습 SAE 를 제안하여, LLM 의 내부 표현에서 세밀한 (fine-grained) 개념을 추출합니다.
2. 새로운 평가 지표 도입: 외부 문장 인코더 (Sentence-BERT) 를 기반으로 한 ConceptSim과 SentenceSim을 통해 인간 주석 없이 개념의 해석 가능성과 일관성을 정량화합니다.
3. 광범위한 벤치마크: 7 개의 백본 LLM(BERT, GPT-J, LLaMA 등) 과 4 개의 분류 데이터셋 (AG News, IMDB, TweetEval 등) 에서 기존 방법 (TopK-SAE, ICA, ConceptSHAP, HI-Concept) 과 비교 평가했습니다.
4. 성능 및 효율성 입증: ClassifSAE 는 기존 최첨단 방법인 HI-Concept 대비 최대 83% 적은 훈련 시간을 소요하면서도, 해석 가능성 지표에서는 최상위권을 기록하고 인과성 지표에서도 경쟁력 있는 결과를 보여주었습니다.

4. 실험 결과 (Results)

• 해석 가능성 (Interpretability): ClassifSAE 는 ConceptSim 점수가 가장 높게 나타났습니다. 이는 추출된 개념들이 더 명확하고 단일한 의미 (Monosemantic) 를 가지며, 관련 문장들 간의 의미적 일관성이 높음을 의미합니다.
• 인과성 (Causality): 개념을 제거 (Ablation) 했을 때 모델의 예측 정확도가 얼마나 변하는지 측정한 ∆f_cond 지표에서 ClassifSAE 는 HI-Concept 다음으로 2 위를 기록했습니다. HI-Concept 이 명시적인 인과 손실 함수를 사용했음에도 불구하고, ClassifSAE 는 연동 분류기 구조를 통해 작업 관련 특징을 효과적으로 분리하여 높은 인과성을 달성했습니다.
• 완전성 (Completeness): 추출된 개념으로 숨은 상태를 재구성했을 때 원래 분류 결과를 유지하는 비율 (Recovery Accuracy, RAcc) 은 모든 방법에서 양호하게 유지되었습니다.
• 계산 효율성: HI-Concept 과 ConceptSHAP 는 모델의 하위 레이어를 반복적으로 통과해야 하는 반면, ClassifSAE 는 경량 분류기와 결합된 SAE 만 훈련하므로 훈련 시간이 획기적으로 단축되었습니다.
• 시각화: PCA 시각화 및 워드 클라우드를 통해 ClassifSAE 가 '스포츠'라는 대분류 내에서 '축구', '테니스'와 같은 세부 주제까지 구분하는 세밀한 개념을 포착함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 트레이드오프 해소 시도: 기존 연구에서 해석 가능성과 인과성은 종종 상충되는 것으로 여겨졌으나, ClassifSAE 는 두 가지 모두에서 높은 성능을 보여주어 이 균형을 맞추는 새로운 방향을 제시했습니다.
• 실용성: LLM 이 특정 분류 작업에서 어떻게 의사결정을 내리는지 이해하려는 연구자나 개발자에게, 저비용으로 고품질의 해석 가능한 개념을 추출할 수 있는 실용적인 도구를 제공합니다.
• 미래 작업: 현재는 텍스트 모달리티에 국한되어 있으나, 이 접근법은 다른 모달리티나 더 깊은 레이어 분석으로 확장될 수 있는 가능성을 열어두었습니다.

요약하자면, 이 논문은 텍스트 분류를 수행하는 LLM 의 '블랙박스' 내부에서 어떤 개념이 결정에 영향을 미치는지를 밝히기 위해, 작업 특화형 SAE 와 새로운 평가 지표를 결합하여 해석 가능성과 인과성을 동시에 향상시킨 혁신적인 방법론을 제시했습니다.