기술 요약: 가중치 희소 트랜스포머의 개별 파라미터는 해석 가능한 것으로 보인다

문제 정의

기계론적 해석 가능성(mechanistic interpretability)의 핵심 목표는 신경망 내 개별 구성 요소의 기능을 이해하는 것이다. 회로 찾기(circuit finding)와 같은 지배적인 접근 방식은 특정 하위 분포 내에서의 관련 행동을 바탕으로 가중치를 역공학한다. 그러나 기존 문헌에 따르면, 개별 가중치는 종종 여러 회로에 참여하며, 다양한 입력 부분 집합에 걸쳐 서로 다르게 기여한다.

표준 밀집(dense) 트랜스포머에서 개별 가중치를 전역적으로 이해하는 것은 중첩(superposition) 때문에 방해를 받는데, 여기서 가중치 기저(basis)는 네트워크의 파라미터에 대한 해석 가능한 기저가 아니다. 본 논문은 높은 비율의 가중치가 0으로 강제되는 가중치 희소(weight-sparse) 트랜스포머가 전역적 해석 가능성을 위한 다루기 쉬운 테스트베드를 제공하는지 조사한다. 핵심 질문은 다음과 같다: 단일한 비제로(nonzero) 가중치를 그것이 중요한 특정 입력들을 특징짓는 방식으로 규정함으로써 전체 훈련 분포에 대해 전역적으로 이해할 수 있는가?

방법론

저자들은 특정 가중치가 언제 활성화되는지에 대한 인간이 읽을 수 있는 설명을 생성하고 검증하기 위해 설계된 자동화된 LLM 기반 파레라인을 도입한다. 이 파이프라인은 세 단계로 작동한다:

1. 중요도 위치 계산:

   • 대상 가중치 $w$에 대해, 모델을 정상 상태와 $w$를 제거(0으로 설정)한 상태 모두에서 실행한다.
   • 원래 모델과 제거된 모델 사이의 위치별 쿨백-라이블러(KL) 발산(divergence)을 계산한다.
   • 가장 높은 누적 KL 발산을 보이는 위치들(상위 90%)을 해당 가중치가 가장 큰 영향을 미치는 "중요도 위치"로 식별한다.

2. 후보 술어(Predicate) 생성:

   • 상위 영향력 위치를 둘러싼 토큰 컨텍스트를 LLM에 전달한다.
   • LLM은 이러한 컨텍스트의 공통점을 설명하는 $f(\text{tokens}, \text{pos}) \to \text{bool}$ 형태의 $N$개 후보 파이썬 함수(술어)를 생성하도록 프롬프트된다.
   • 프롬프트는 코드의 우아함보다 영향을 받는 컨텍스트의 커버리지(coverage)를 강조한다.

3. 점수 산정 및 검증:

   • 후보들은 LLM이 본 적 없는 홀드아웃 코퍼스(held-out corpus)에 대한 조건부 제로 제거(conditional-zero ablation) 테스트를 통해 점수가 매겨진다.
   • 복구(Recovery): 술어가 참인 경우에만 가중치를 다시 활성화했을 때, 제거 효과가 얼마나 복구되는지를 측정한다.
   • 역(Inverse): 술어가 거짓인 경우에만 가중치를 복구했을 때의 효과를 측정한다(너무 광범위한 술어를 방지하기 위함).
   • 커버리지 게이트(Coverage Gate): 술어는 최소 하나 이상의 위치에서 실행되지만 코퍼스의 50% 이하에서 실행되어야 유효하다 ($0 < p(f) \leq 0.5$).
   • 해석 가능성 점수: $\min(\text{recovery}, 1 - \text{inverse})$로 정의된다. 최적의 후보가 임계값(예: $T=0.75$)을 통과하고 커버리지 게이트를 통과하면 해당 가중치는 해석 가능한 것으로 간주된다.
   • 강건성(Robustness): 일반화 여부를 보장하기 위해, 최적의 술어를 $K=10$개의 서로 소인 홀드아웃 슬라이스(held-out slices)에서 다시 점수화한다. 평균 점수가 임계값을 안정적으로 초과하는 경우에만 가중치를 "강건하게 해석 가능하다"고 카운트한다.

실험 설정

이 파이프라인은 네 가지 모델에 대해 평가되었다:

• 희소 모델(Sparse Models):
  • Gao et al. (2025): 파이썬 코드로 훈련된 가중치 희소 코딩 트랜스포머 (~99% 희소성).
  • Drori (2026): SimpleStories 코퍼스로 훈련된 희소-밀집 쌍 (희소 코어에 대해 ~98% 희소성).
• 밀집 대조군(Dense Controls):
  • Drori (2026) Dense: 희소 모델과 대응되는 희소성 제약이 없는 모델.
  • Pythia-70m: The Pile로 훈련된 표준 밀집 사전 학습 모델.

주요 결과

1. 희소 모델이 현저히 더 해석 가능하다

단일하고 짧으며 일반화 가능한 설명을 허용하는 비제로 가중치의 비율은 밀집 모델보다 희소 트랜스포머에서 실질적으로 높다.

• 강건한 해석 가능성 비율:
  • Gao et al. (2025) Sparse: 비제로 가중치의 ~15.0%.
  • Drori (2026) Sparse: 비제로 가중치의 ~9.6%.
  • Drori (2026) Dense: 비제로 가중치의 ~1.5%.
  • Pythia-70m: ~0.4%.
• 신뢰할 수 없는 설명(홀드아웃 데이터에서 실패하는 설명)을 제외하면 이 격차는 더욱 커진다.

2. 점수의 안정성

희소 모델에서 가중치의 해석 가능성 점수는 특정 테스트 코퍼스 슬라이스의 산물이 아니라 가중치 자체의 안정적인 속성이다.

• 신뢰성: 희소 모델의 경우, 서로 다른 홀드아웃 슬라이스 간의 점수 분산 중 ~85–90%는 가중치 간의 실제 차이를 반영한다.
• 밀집 모델의 불안정성: 밀집 모델(특히 Pythia-70m)의 경우, 점수 분산의 ~47%만이 안정적이며 나머지는 샘플링 노이즈이다. 이는 밀집 모델에서의 겉보기 해석 가능성이 전역적 가중치 함수을 포착하기보다는 특정 훈련 슬라이스의 표면 패턴에 과적합되어 발생함을 시사한다.

3. 술어의 성격

LLM이 생성한 술어는 일반적으로 짧고 국소적이다:

• 가장 흔한 형태: 단일 토큰 조회 (예: "토큰이 숫자입니까", "집합 {th, ode, b}에 속합니까").
• 이차적 형태: 즉각적인 이웃 테스트 (예: "이전 단어가 -ed로 끝납니까").
• 술어는 긴 프롬프트에 걸쳐 상태를 유지하거나 2~3개의 인접 토큰 이상을 넘어서는 경우가 드물다.

4. 사례 연구

• 숫자 탐지(Digit Detection): 숫자 토큰에서 활성화되는 Gao 희소 모델의 뉴런은 각각 특정 숫자 개수(한 자리 수, 두 자리 수 등)를 게이팅하는 9개의 개별적으로 해석 가능한 가중치로 분해된다.
• 언어 동사(Speech Verbs): 활성화 수준에서 "언어 동사 탐지기"로 보이는 Drori 희소 모델의 뉴런은 가중치 수준에서 다섯 가지 병렬적 기능 역할로 분해된다: 언어 동사 활성기, 정신 동사 억제기, 법조동사(modal-verb) 억제기, 문장 부호 게이트, 특정 토큰 게이트.

의의 및 주장

본 논문은 가중치 희소 트랜스포머의 의미 있는 비율(12–31%)이 훈련 분포 전반에 걸쳐 일반화되는 단일하고 짧은 설명으로 개별적으로 해석될 수 있음을 주장한다. 이는 밀로 모델(0–3%)과는 대조적이다.

저자들은 이 작업이 신경망이 구현하는 "알고리즘"을 이해하는 단계라고 위치시킨다. 희소 훈련이 생존한 가중치들을 압축적이고 읽기 쉬운 회로로 조직하도록 강제한다는 것을 보여줌으로써, 본 논문은 가중치 희소 트랜스포머가 개별 파라미터 해석 파이프라인을 개발하기 위한 자연스러운 테스트베드 역할을 할 수 있음을 시사한다. 저자들은 일단 밀집 모델에 대한 해석 가능한 기저가 식별되면, 이러한 파이프라인이 프런티어 언어 모델에도 적용될 수 있다고 언급한다.

한계점

저자들은 다음과 같은 몇 가지 한계를 명시적으로 밝힌다:

• 설명의 범위: 이 방법은 가중치가 언제 활성화되는지를 식별할 뿐, 활성화되었을 때 무엇을 계산하는지는 식별하지 않는다.
• 언어적 제약: (토큰 컨텍스트에 대한 파이썬 함수라는) 술어 언어는 의미적 특징(예: "사람을 지칭함")이나 여러 토큰에 걸친 복잡한 상태 구조를 표현할 수 없다. 이러한 구조에 의존하는 가중치는 명확한 기능적 역할이 있더라도 "해석 불가능"으로 분류된다.
• 분포 변화: 홀드아웃 코퍼스는 동일한 사전 훈련 분포에서 추출되었으므로, 분포 변화에 따른 생존 여부는 테스트되지 않았다.
• 하한선: 보고된 수치는 현재의 술어 표현력에 의해 제한된, 이 방법이 찾을 수 있는 것의 하한선이다.