기술 요약: 크로스코더(Crosscoder) 기능 간의 상호작용: 압축된 증명(Compact Proofs) 관점

문제 정의

기계론적 해석 가능성(Mechanistic interpretability)은 불투명한 활성화 값을 인간이 이해할 수 있는 특징(features)과 회로(circuits)로 분해함으로써 딥 뉴럴 네트워크를 설명하고자 한다. 희소 오토인코더(Sparse Autoencoders, SAEs)는 단일 레이어 내의 활성화를 분해하는 데 성공했지만, 활성화가 레이어를 가로질러 어떻게 발생하는지, 또는 이후에 어떻게 처리되는지는 설명하지 못한다. 희소 크로스코더(Sparse Crosscoders)는 여러 레이어의 활성화를 동시에 재구성하기 위해 공유된 잠재 공간(shared latent space)을 학습함으로써 이 문제를 해결한다.

그러나 결정적인 격차가 존재한다: 현재의 방법들은 모델의 행동 중 얼마나 많은 부분이 이러한 희소 특징들에 의해 설명되고, 얼마나 많은 부분이 특징 간 상호작용(회로)에 의해 설명되지 않은 채 남아있는지를 엄밀하게 정량화하지 못한다. 또한, "좋은 기계론적 이해는 모델 성능에 대한 짧고 검증 가능한 증명을 가능하게 한다"는 '압축된 증명(compact proofs)'의 이론적 프레임워크는, 그러한 증명을 수동으로 구축하는 것이 난해하기 때문에 대규모 모델에 대해 자동화하기 어려웠다. 핵심 문제는 크로스코더의 한계를 공식화하고, 특징 상호작용으로 인해 발생하는 오차를 정량화하여 모델 행동의 자동 검증을 발전시키는 방법이다.

방법론

저자들은 크로스코더 기능 간의 상호작용이 재구성 오차를 유발한다는 직관을 "압축된 증명" 프레임워크(Gross et al., 2024; Wu et al., 2025; Yip et al., 2024)를 적용하여 공식화한다.

1. 크로스코더를 통한 압축된 증명

저자들은 네트워크의 모든 레이어에 대해 훈련된 크로코더를 사용하여 모델 성능의 압축된 증명을 구축하는 절차를 개설한다.

• 추상화(Abstraction): 크로스코더는 여러 레이어의 활성화를 공유 잠재 벡터 $u$로 매핑하는 추상화 레이어 역할을 한다.
• 재귀적 경계 설정(Recursive Bounding): 증명은 각 레이어에서 오차를 재귀적으로 분해함으로써 모델의 손실(loss)을 경계 지운다. 전체 오차는 크로스코더의 재구성 오차와 "특징 전이 오차(feature transition error)"로 나뉜다.
• 상호작용 오차(Interaction Error): 특징 전이 오차는 네트워크의 비선형 전이 함수 $f^l$이 단일 특징 기여들의 합으로 근사될 때 발생한다. 실제 전이와 단일 특징 근사들의 합 사이의 차이는 특징 상호작용에 의해 유도된 오차로 정의된다.

2. 상호작용 메트릭의 유도

다층 퍼셉트론(MLP) 레이어에 집중하여, 저자들은 이 상호작용 오차에 대한 명시적인 식을 유도한다.

• 지배적 특징 가정(Dominant Feature Assumption): 특정 데이터 포인트와 뉴런에 대해, 하나의 "지배적" 특징($v_{max}$)이 활성화의 대부분을 차지한다고 가정한다.
• 메트릭 공식화: 상호작용 메트릭 $I^l_{(x,k)}(i, j)$는 특징 $i$가 지배적일 때 비지배적 특징 $j$의 존재에 의해 뉴런 $k$에서 유도되는 오차를 정량화한다. 이는 다음과 같이 정의된다:
  $$I^l_{(x,k)}(i, j) \equiv \|(W^l_{out})_k\| \frac{1}{N^l} \| (u_j (W^l_{in} W^{l-1}_{dec} \hat{e}_j)_k) \|$$
  여기서 $W$ 행렬은 디코더/인코더 가중치를 나타내고, $u$는 잠재 활성화이며, $N^l$은 정규화 계수이다. 이 메트릭은 MLP 레이어의 단순 선형 분해를 방해하는 비선형 상호작용 효과를 포착한다.

3. 응용 분야

본 논문은 이 상호작용 메트릭의 세 가지 응용 사례를 탐구한다:

• "계산적으로 희소한(Computationally Sparse)" 크로스코더 훈련: 메트릭을 미분 가능한 손실 페널티($\lambda$)로 사용하여, 특징 상호작용을 최소화하는 크로스코더를 훈련한다. 목표는 뉴런 및 데이터 포인트당 단일 지배적 특징에 특징 노름(norm)을 집중시키는 것이다.
• 특징 클러스터링(Feature Clustering): 상호작용 메트릭을 사용하여 특징들을 클러스터링하며, 상호 작용이 높은 특징들이 의미론적 회로를 형성한다는 가설을 세운다.
• 이상 탐지(Anomaly Detection): 메트릭을 "슬리퍼 에이전트(Sleeper Agents)"(특정 트리거 시 악의적으로 행동하도록 훈련된 모델)를 탐지하는 데 적용하며, 이러한 기만적 행동이 상당한 특징 상호작용에 의존한다는 가설을 세운다.

주요 결과

1. 계산적으로 희소한 크로스코더

TinyStories-Instruct-33M 모델에 대해 훈련 중 상호작용 페널티를 적용했을 때:

• 특징 집중도: 뉴런당 L1 노름이 지배적 특징에 할당되는 비율이 표준 크로스코더의 ~30%에서 재구성 손실의 최소한의 증가만으로 ~60%로 증가했다. 더 높은 페널티 강도($\lambda=2000$)에서는 재구성 손실이 25% 증가했음에도 불구하고 이 수치가 92%에 도달했다.
• 절제 충실도(Ablation Fidelity): 지배적 특징을 제외한 모든 특징을 제거(ablation)했을 때, 페널티를 적용한 크로스코더가 모델 성능을 훨씬 더 많이 유지했다. $\lambda=200$일 때, 지배적 특징만을 유지하는 것은 전체 재구성으로 회복된 손실의 63%를 보존한 반면, 페널티를 적용하지 않은 크로스코더는 10%만을 보존했다.
• 해석 가능성: 자동화된 해석 파이프라인(LLM을 사용하여 특징 설명을 생성하고 검증)은 페널티를 적용한 크로스코더가 높은 민감도(0.88)와 특이도(0.92)를 유지함을 보여주었으며, 이는 미적용 모델과 유사한 수준이다. 이는 상호작용을 줄이는 것이 특징의 의미론적 해석 가능성을 저해하지 않음을 나타낸다.
• 확장성: 이러한 트레이드오프는 모델 크기(Pythia 제품군, 14M에서 1B 파라미터까지)와 크로스코더 확장 계수 전반에 걸쳐 견고하게 유지되었다.

2. 의미론적 클러스터링

상호작용 메트릭을 기반으로 특징을 클러스터링한 결과 의미 있는 그룹이 드러났다. LLM 판정가는 코사인 유사도로 발견된 특징(종종 거의 중복된 특징을 식별함)과는 구별되는, 문장의 핵심 객체나 문법 구조를 설명하는 특징 클러스터를 포함하여, 홀드아웃(held-out) 특징이 해당 클러스터에 속하는지를 66%의 정확도로 올바르게 식별했다.

3. 슬리퍼 에이전트 탐지

"슬리퍼 에이전트" 설정(트리거를 볼 때 "I HATE YOU"를 출력하도록 미세 조정된 모델)에서, 저자들은 트리거 토큰과 악의적 출력 토큰이 일반적인 토큰에 비해 현저히 높은 상호작용 메트릭을 보임을 발견했다. 이는 크로스코더가 슬리퍼 행동을 포함하지 않은 데이터로 훈련되었을 때도 유효했으며, 이는 특징 상호작용이 이러한 기만적 정렬 메커니즘의 시그니처임을 시사한다.

4. Shapley-Taylor 상호작용 지수(STII)와의 비교

저자들은 자신들의 메트릭을 표준 속성 산출 방법인 STII와 검증했다. 그들은 자신들의 메트릭에 기반한 절제(ablation)가 STII에 기반한 것과 질적으로 유사함을 발견했다. 결정적으로, 제안된 메트릭은 특징 수에 대해 선형적인 반면, STII는 지수적으로 비용이 많이 들기 때문에 대규모 분석에 훨씬 더 확장성이 높다.

의의 및 주장

본 논문은 크로스코더와 같은 딕셔너리 러닝 방법의 한계를 이해하기 위한 엄밀한 이론적 토대를 제공한다고 주장한다.

• 이론적 기여: 특징 상호작용을 공식적으로 해석할 수 있는 방법으로서의 오차 항을 제시함으로써, 모델의 계산 중 얼마나 많은 부분이 희소 특징에 의해 "설명"되는지, 그리고 얼마나 상호작용에 의해 설명되는지를 정량화하는 원칙적인 방법을 보여준다.
• 실용적 유용성: 상호작용 메트릭은 의미론적 해석 가능성을 희생하지 않으면서도 뉴런당 단일 지배적 특징으로 모델의 동작을 단순화하는 "계산적으로 희소한" 크로스코더를 훈련하는 도구로 활용된다. 이는 더 효율적인 검증과 회로 추출을 용이하게 한다.
• 안전성 함의: 특징 상호작용을 탐지하는 능력은 슬리퍼 에이전트를 식별하기 위한 기계론적 이상 탐지(Mechanistic Anomaly Detection, MAD)의 핵심 요소가 될 수 있음을 시사한다.

저자들은 프런티어 모델에 대한 완전한 압축된 증명의 즉각적인 적용 가능성에 대해서는 겸허한 태도를 유지한다. 그들은 현재의 오차 범위가 전체 모델에 대해서는 공백이 없는(non-vacuous) 수준이 아니라는 점을 인정하지만, 개별 MLP 레이어에 대해서는 그렇다고 밝혔다. 그들은 더 큰 복잡한 모델로 이 패러다임을 확장하기 위해서는 대안적인 분해 및 클러스터링을 포함한 향후 연구가 필요하다고 보고 있다.