기술 요약: 대규모 언어 모델 해석을 위한 확장 가능한 회로 학습 (Scalable Circuit Learning for Interpreting Large Language Models)

1. 문제 정의

기계론적 해석 가능성(Mechanistic interpretability)은 핵심 구성 요소(예: 어텐션 헤드, 뉴런)를 연결하는 압축된 부분 그래프인 **회로(circuits)**를 식별함으로써 대규모 언어 모델(LLM) 행동의 이면에 있는 "이유"를 밝히는 것을 목표로 한다. 그러나 기존의 회로 학습 방법은 두 가지 주요 병목 현상에 직면해 있다:

1. 다의성(Polysemanticity): LLM의 가공되지 않은 뉴런은 다의적이다. 즉, 단일 뉴런이 서로 관련 없는 여러 개념에 활성화될 수 있다. 이는 학습된 회로를 조밀하고 노이즈가 많으며 인간이 해석하기 어렵게 만든다.
2. 확장성(Scalability): **희소 오토인코더(Sparse Autoencoders, SAEs)**는 활성화를 고차원의 단일 의미적(monosemantic) 특징으로 분해하여 해결책을 제시하지만, 기존의 중재 기반(intervention-based) 회로 학습 방법(예: 인과적 추적, 속성 패칭)은 SAE 특징의 높은 차원으로 확장하기 어렵다. 이러한 방법들은 모든 구성 요소에 대해 비용이 많이 드는 역사실적 중재(순전파 및 역전파 과정)를 요구하므로, 대규모 모델과 고차원 특징 공간에서는 실행이 불가능하다.

2. 방법론: CircuitLasso

저자들은 비용이 많이 드는 중재 기반 파이프라인을 대신하여 희소 선형 회귀(sparse linear regression) 프레임워크를 사용하는 확장 가능한 회로 학습 접근 방식인 CircuitLasso를 제안한다.

핵심 공식

CircuitLasso는 중재를 통해 인과 효과를 추정하는 대신, LLM의 계산 그래프를 희소 선형 구조 방정식 모델(SEM)로 취급한다. $N$개의 구성 요소(뉴런 또는 SAE 특징)와 $M$개의 관측치가 주어졌을 때, 이 방법은 다음과 같은 가중치 행렬 $A$를 찾는다:
$$X \approx A^\top X$$
여기서 $X$는 활성화 행렬이다. 목표는 희소성($\ell_1$ 페널티) 및 비순환성 제약을 최소화하면서 의존성을 나타내는 유향 비순환 그래프(DAG)를 학습하는 것이다:
$$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$$

제약 조건 처리 및 확장성

• 비순환성(Acyclicity): 복잡하고 계산 집약적인 연속 비순환 제약을 강제하는 대신, CircuitLasso는 트랜스포머의 알려진 피드 포워드(feed-forward) 아키텍처를 활용한다. 이 방법은 레이어 $i$가 레이어 $j < i$에만 의존한다는 블록 상삼각 구조를 가정한다. 이를 통해 문제를 FISTA 알고리즘을 통해 효율적으로 해결 가능한 일련의 독립적인 Lasso(희소 선형 회귀) 하위 문제로 변환한다.
• 관측 데이터(Observational Data): 이 방법은 순전파 과정에서의 활성화값(관측 데이터)만을 사용하여 작동하며, 중재 기반 방법에서 요구되는 다수의 순전파 및 역전파 과정을 피한다.
• SAE 통합: 이 프레임링은 SAE 특징($z \in \mathbb{R}^D$, 여기서 $D \gg d$)에서 직접 작동하도록 확장된다. 레이어별 SAE 특징 간의 의존성을 학습할 수 있으며, 최종 레이어 특징을 다운스트림 예측 대상($y$)과 연결할 수도 있다.

복잡도 분석

이론적 분석(Proposition 3.2)은 특정 체제(regime) 하에서, 특히 구성 요소 위치의 수($L$)가 시퀀스 길이 및 모델 차원에 비해 적당할 때, CircuitLasso가 최신 중재 기반 방법(예: EAP-ig)보다 보장된 효율성 이점을 제공함을 입증한다. 비용은 $O(M L^2 d^2)$로 확장되는 반면, 중재 방법은 전체 모델을 통과하는 추가적인 순전파/역전파 비용에 따라 확장된다.

3. 주요 기여

1. CircuitLasso 알고리즘: 중재가 많이 필요한 파이프라인을 관측 기반의 Lasso 기반 접근 방식으로 대체하는 희소 회귀 대리 모델을 제공한다.
2. SAE에 대한 확장성: 고차원의 단일 의미적 SAE 특징에 대해 효율적으로 회로를 학습할 수 있는 최초의 방법으로, 기존 기술의 계산적 제한을 극복한다.
   로써 명확하고 인간이 해석 가능한 방식으로 LLM을 통해 의미적 개념이 어떻게 전파되는지 설명한다.
3. 이론적 효율성: 회귀 기반 접근 방식이 중재 기반 베이스라인보다 증명 가능하게 더 빠르다는 조건을 확립하는 공식적 분석을 제공한다.
4. 경험적 검증: 모델 뉴런 및 SAE 특징에 대한 실험을 통해 CircuitLasso가 계산 비용을 대폭 절감하면서도 SOTA 베이스라인과 유사한 구조적 정확도를 달성함을 보여준다.

4. 실험 결과

벤치마크 성능 (모델 뉴런)

InterpBench(86개의 준합성 트랜스포머 및 간접 목적어 식별 작업)에서 평가:

• 정확도: CircuitLasso(선형 변형)는 평균 구조 해밍 거리(SHD) 3.16을 달성하여, 최신 중재 기반 베이스라인인 EAP-ig(2.98)와 통계적으로 구별할 수 없을 정도로 유사하며 EAP(3.61)보다 우수했다.
• 효율성: EAP-ig(케이스당 16.3초 vs 49.1초)보다 3.0배 빠르고, EAP보다 2.1배 빨랐다.
• 비선형성: CircuitLasso의 비선형 확장 버전은 미미한 정확도 향상을 보였으나 실행 시간이 크게 증가했다. 이는 선형 대리 모델이 의존성 골격을 복구하는 데 충분함을 시사한다.

해석 가능성 사례 연구 (SAE 특징)

CoLA(언어적 수용성 코퍼스) 데이터셋에 대해 GPT-2 Small에 적용:

• 단일 의미적 회로: 이 방법은 노드가 인간이 해석 가능한 개념(예: "-self", "허기/갈증", "종결 문장 부호")에 대응하는 트리 형태의 회로를 복구했다.
• 의미적 전파: 회로는 개념이 레이어를 가로질러 어떻게 지속되고, 병합되며(여러 부모로부터 개념을 결합), 탈락하는지(특정 입력을 무시함)를 드러냈다.
• 인과적 vs 가짜 상관관계: 학습된 그래프는 인과적 의미 관계(예: "허기"가 "먹기"로 이어짐)와 데이터셋 편향에 의해 도입된 것으로 보이는 가짜 상관관계(예: "-self"와 "허기"의 공생)를 모두 포착했다.

다운스트림 유용성 (도메인 일반화)

성별 편향을 완화하면서 직업을 예측하는 Bias-in-Bios 작업에서 평가:

• 성능: CircuitLasso는 가장 강력한 비-오라클(non-Oracle) 베이스라인인 SHIFT와 대등하거나 때로는 약간 더 나은 직업 예측 정확도를 달성하면서도, 성별 누출(gender leakage)을 이상적인 50% 수준 근처로 유지했다.
• 효율성: 표 1에서 보듯, CircuitLasso는 SHIFT보다 훨씬 적은 특징과 실질적으로 적은 실행 시간을 요구했다. Gemma-2-9B 모델의 경우, CircuitLasso는 107.4초가 소요된 반면 SHIFT는 908.4초가 소요되었다.

5. 의의 및 주장

본 논문은 CircuitLasso가 기계론적 해석 가능성의 확장성 병목 현상을 성공적으로 해결했다고 주장한다. 이 연구의 주요 의의는 **"정확도의 동등성 확보를 통한 효율성"**에 있다:

• 가장 엄격한 중의 기반 방법만큼 정확하게 구조적 회로를 복구하면서도, 계산 비용은 아주 적게 소요된다.
• 단일 의미적 SAE 특징을 회로 분석에 사용할 수 있게 하여, LLM을 통해 의미적 개념이 어떻게 전파되는지에 대한 더 명확하고 인간이 해석 가능한 설명을 제공한다.
• 이 회로들로부터 얻은 통찰은 실용적이며, 기존 방법보다 훨씬 낮은 비용으로 효과적인 도메인 일반화 및 편향 완화 작업을 가능하게 한다.

저자들은 학습된 가중치의 성격에 대해 겸허한 태도를 유지하며, 선형 계수가 밑바닥의 비선형 계산에 대한 정확한 인과 효과라기보다는 **의존성 골격(dependency skeleton)**을 나타낸다고 언급했다. 그들은 이 방법을 어떤 구성 요소가 다른 구성 요소에 영향을 미치는지(which)를 효과적으로 식별하는 1차 대리 모델(first-order surrogate)로 보고 있으며, 정밀한 인과 효과의 크기를 정량화하는 도구는 아니라고 본다.