Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 관계적 지식 (예: "중국의 수도는?", "사랑을 프랑스어로 번역하면?") 을 표현하고 추론하는 데 탁월한 능력을 보입니다. 기존 연구들은 이러한 능력을 단순한 선형 변환이나 벡터 산술로 설명하려 시도했으나, 이는 계층별 (layerwise) 해석에 그쳐 구체적인 특징 (feature) 과 그 상호작용에 대한 세밀한 이해를 제공하지 못했습니다.

최근 희소 오토인코더 (SAE, Sparse Autoencoder) 를 통해 LLM 의 내부 표현에서 해석 가능한 단의미적 (monosemantic) 특징을 추출하는 연구가 진행되었으나, 서로 다른 계층의 특징들이 어떻게 조직화되고 협력하여 특정 응답을 생성하는지 (예: '중국'과 '수도'라는 개념이 어떻게 결합되어 '베이징'을 출력하는지) 에 대한 명확한 메커니즘은 여전히 불분명합니다. 기존에 제안된 교차 계층 트랜스코더 (Cross-layer transcoders) 기반의 계산 그래프는 노드가 너무 밀집되어 있어 수동으로 그룹화하지 않으면 해석이 어렵다는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 희소 특징 공활성화 (Sparse Feature Coactivation) 를 활용하여 LLM 의 계층 간 특징 네트워크를 구축하고, 이를 통해 의미적으로 일관된 연결 성분 (connected components) 을 자동으로 추출하는 프레임워크를 제안했습니다.

• 데이터 수집 및 특징 선택:
  • Gemma 2 2B(및 9B) 모델에 사전 학습된 SAE 를 통합하여 다양한 사실 및 언어 관계 추론 태스크 (국가 정보, 단어 번역, 동사 변형) 에 대한 입력 프롬프트를 실행했습니다.
  • 각 계층에서 활성화된 SAE 특징 중 상위 $k$개 (top-k) 를 선택하여 특징 텐서를 구성했습니다.
• 그래프 구축 및 가지치기:
  • 인접한 계층 간의 특징 활성화 패턴의 시간적 상관관계 (Pearson 상관 계수) 를 기반으로 방향성 그래프를 구축했습니다.
  • 다양한 문맥에서 자주 활성화되어 해석이 어려운 일반적 특징 (high-density features) 을 제거하기 위해 활성화 밀도 (activation density) 기반 가지치기를 수행하여 희소한 서브그래프를 생성했습니다.
• 성분 (Component) 식별:
  • 가지치기된 그래프에서 약하게 연결된 구성 요소 (weakly connected components) 를 식별하여, 특정 개념 (Concept, 예: '중국') 이나 관계 (Relation, 예: '수도') 를 나타내는 의미적으로 일관된 모듈을 추출했습니다.
• 인과적 검증 (Causal Validation):
  • 추출된 성분의 기능을 평가하기 위해 개입 (Intervention) 실험을 수행했습니다.
    • Ablation (제거): 특정 성분의 특징 활성화 값을 0 으로 설정하여 모델 출력에 미치는 영향을 측정 (KL 발산 변화).
    • Amplification (증폭): 특정 성분의 활성화 값을 증폭시켜 모델이 프롬프트와 무관한 반사실적 (counterfactual) 응답을 생성하도록 유도 (Steering).

3. 주요 기여 및 발견 (Key Contributions & Results)

A. 인과적 의미 모듈의 발견 및 조작

• 예측 가능한 반사실적 응답: 추출된 개념 및 관계 성분을 선택적으로 제거하거나 증폭함으로써 모델의 출력을 예측 가능한 방식으로 변경할 수 있었습니다.
  • 예: '중국' 성분을 제거하고 '나이지리아' 성분을 증폭하면, "중국의 수도는?"이라는 질문에 "아부자 (나이지리아의 수도)"라고 답변하도록 유도할 수 있습니다.
  • 성공률: 개별 개념/관계 기반 유도 시 최대 98%, 개념 - 관계 복합체 (Compound) 기반 유도 시 최대 90% 의 성공률을 기록했습니다.
• 모듈의 조합성 (Composability): 개념 성분과 관계 성분을 동시에 조작하면 새로운 복합 반사실적 응답이 생성되었습니다. 이는 LLM 이 지식을 독립적인 모듈로 저장하고 이를 조합하여 추론함을 시사합니다.

B. 지식의 위계적 조직화 (Hierarchical Organization)

• 계층별 분포 차이:
  • 개념 (Concept) 성분: 구체적인 실체 (국가, 단어 등) 를 나타내는 성분은 주로 초기 계층 (1 층) 에서 나타나며, 전체 계층에 걸쳐 분포하거나 초기~중간 계층에 집중되는 경향이 있습니다.
  • 관계 (Relation) 성분: 추상적인 관계 (수도, 번역 언어, 시제 등) 를 나타내는 성분은 후기 계층에 집중되어 있습니다.
  • 이는 생물학적 신경망 및 인공 신경망에서 고차원 추상화가 후기 처리 단계에서 이루어진다는 기존 이론과 일치합니다.

C. 개별 특징 대비 성분의 우월성

• 단일 SAE 특징을 조작하는 것보다, 여러 특징으로 구성된 성분 (Component) 을 조작하는 것이 훨씬 효과적이었습니다.
  • 개별 특징 기반 유도 성공률 (평균 7583%) 에 비해, 성분 기반 유도 성공률 (평균 9096%) 이 현저히 높았습니다.
  • 이는 개념이 단일 특징이 아닌 특징 군집 (population) 으로 분산 표현 (distributed representation) 되어 있음을 의미하며, 전체 기능 그룹을 조작해야 효과적임을 보여줍니다.

D. 특이성 (Specificity)

• 추출된 성분을 제거했을 때, 해당 태스크 외의 다른 태스크 성능은 대부분 유지되었습니다. 이는 추출된 모듈이 특정 개념/관계에 대해 높은 특이성을 가지며, 모델의 전반적인 기능을 손상시키지 않고 표적 조작이 가능함을 입증했습니다.

4. 의의 및 결론 (Significance)

이 연구는 LLM 내부의 지식 조직 방식에 대한 중요한 통찰을 제공합니다.

1. 지식의 모듈화: LLM 은 복잡한 지식을 개별적인 "개념"과 "관계" 모듈로 분리하여 저장하고, 이를 계층적으로 조합하여 추론한다는 것을 입증했습니다.
2. 효율적인 해석 및 제어: 전체 회로 (circuit) 를 추적하는 데 드는 높은 계산 비용을 들이지 않고도, 희소 특징 공활성화 패턴을 분석함으로써 LLM 의 행동을 해석하고 표적 조작 (Steering) 할 수 있는 경량 프레임워크를 제시했습니다.
3. 실용적 응용: 모델의 신뢰성, 안전성, 투명성을 높이고 인간 의도와의 정렬 (alignment) 을 유지하기 위해 모델의 특정 지식을 정밀하게 제어할 수 있는 방법론을 제시했습니다.

요약하자면, 본 논문은 SAE 기반의 희소 특징 공활성화를 통해 LLM 내부의 인과적 의미 모듈을 자동 발견하고, 이를 통해 모델의 추론 과정을 해체하고 재구성할 수 있음을 보여주었습니다. 이는 기계적 해석 가능성 (Mechanistic Interpretability) 연구의 새로운 지평을 열고, 향후 더 안전하고 제어 가능한 LLM 개발의 기초를 마련합니다.