기술 요약: 뉴런 기저에서의 언어 모델 회로의 희소성

문제 제기

언어 모델 해석 가능성(interpretability) 연구는 고차원적 개념이 여러 뉴런에 분산되어 있으며 뉴런 기저(neuron basis)가 해석 불가능하다는 믿음 하에, 개별 뉴런을 분석하는 방식에서 벗어나 왔습니다. 결과적으로, 이 분야는 희소하고 해석 가능한 특징 기저(feature bases)로 표현을 분해하기 위해 희소 오토인코더(Sparse Autoencoders, SAEs)와 트랜스코더(transcoders) 같은 기법들을 채택해 왔습니다. 그러나 이러한 학습된 기저들은 근사 오류를 발생시키고, 특징의 분리(splitting) 및 흡수(absorption) 문제(다의성, polysemanticity)를 겪으며, 추가적인 학습 오버헤드를 요구합니다. 본 논문이 다루는 핵심 질문은 원래의 뉴런 기저가 본질적으로 해석 불별한 것인지, 아니면 인지된 희소성의 결여가 최적화되지 않은 분석 방법으로 인한 인위적인 결과인지 여부입니다.

방법론

저자들은 학습된 SAE 특징이 아닌 MLP 뉴런 기저(구체적으로는 다운 프로젝션 전의 활성화 값) 상에서 직접 회로를 추적하는 엔드 투 엔드 그래디언트 기반 속성(attribution) 파이프라인을 제안합니다. 이 방법론은 뉴런과 SAE 사이의 성능 격차를 좁이기 위해 두 가지 핵심적인 기술적 전환에 의존합니다:

1. 특권 기저 선택 (Privileged Basis Selection): 표준 베이스라인인 MLP 출력(post-down projection) 대신, 저자들은 다운 프로젝션 전의 MLP 활성화 값(pre-down projection MLP activations)을 활용합니다. 저자들은 아키텍처가 다운 프로젝션 전에 요소별 비선형성(예: SiLU)을 적용하기 때문에, 이 활성화 좌표가 특징들이 더 자연스럽게 정렬되는 "특권 기저"가 되어 훨씬 더 희소한 회로를 생성할 것이라고 가설을 세웠습니다.
2. 고급 속성 기법 (RelP): 본 논문은 딥 모델에서 노이즈가 심하고 계산 비용이 많이 드는(여러 번의 역전파가 필요한) 통합 그래디언트(Integrated Gradients, IG)를 대신하여 RelP(Relevance Patching)를 도입합니다. RelP는 비선형성을 선형화(예: SiLU 게이트를 상수로 취급)한 "교체 모델(replacement model)"에서 작동하는 그래디언트 기반 속성 방법입니다. 이를 통해 단 한 번의 역전파만으로 충실한 회로 발견이 가능합니다. 저자들은 속성 점수의 완결성(completeness) 속성을 보존하기 위해 게이트형 MLP를 위한 "하프 룰(half-rule)"을 구현했습니다.

파이프라인은 두 가지 표준 지표를 사용하여 회로를 평가합니다:

• 충실도 (Faithfulness): 회로의 보충 성분(모델의 나머지 부분)이 회로를 제거했을 때 원래 모델의 동작을 재현하는 능력.
• 완결성 (Completeness): 회로 자체가 나머지 부분을 제거했을 때 모델의 동작을 재현하는 능력.

실험은 Llama 3.1-8B-Instruct를 사용하여 주어-동사 일치(SVA) 벤치마크(Marks et al., 2025)와 다단계 도시-주-수도 추론 작업(Lindsey et al., 2025)에서 수행되었으며, Gemma-2 모델을 통한 추가 검증이 이루어졌습니다.

주요 결과

1. MLP 활성화는 희소한 기저이다

저자들은 MLP 활성화가 MLP 출력으로부터 유도된 것보다 훨씬 더 희소한 회로를 생성함을 입증했습니다.

• SVA 벤치마크에서 MLP 활성화로부터 구축된 회로는 유사한 충실도와 완결성을 달면서도 MLP 출력으로부터 얻은 회로보다 약 100배 더 작습니다.
• 이 발견은 뉴런 기저와 SAE 기반 표현 사이의 간극을 크게 좁힙니다.

2. RelP는 Integrated Gradients보다 우수하다

IG에서 RelP로 전환함으로써 희소성과 충실도가 더욱 향향되었습니다.

• MLP 활성화에 RelP를 사용함으로써, 저자들은 SVA 벤치마크에서 단 ~200개의 뉴로만으로 거의 완벽한 충실도와 완결성을 달성했습니다.
• RelP는 뉴런 기반 회로와 SAE 기반 회로 사이의 남은 격차를 메워, 뉴런이 희소성 측면에서 학습된 사전(learned dictionaries)과 경쟁할 수 있게 만듭니다.
• 기계론적 해석 가능성 벤치마크(MIB)에서 RelP는 5개 작업 중 3개에서 기존 IG 기반 베이스라인을 능가하는 최첨단 성능(최저 CMD 점수)을 기록했습니다.

3. 사례 연구: 다단계 추론

도시와 주, 수도를 찾는 과정(예: "Dallas가 포함된 주의 수도는 무엇인가?")을 포함하는 사례 연구에서, 저자들은 Llama 3.1-8B-Instruct의 회로를 추적했습니다.

• 저자들은 특정 추론 단계(도시를 주에 매핑하고, 주를 수도에 매핑하는 과정)에 해당하는 ~23개의 핵심 뉴런(전체 추적된 집합 중)을 식별했습니다.
• 이 뉴런들은 교차 레이어 트랜스코더(CLT)를 사용한 이전 연구의 결과와 일치하는 해석 가능한 설명(예: "Dallas", "Texas", "capital")을 가진 그룹으로 클러스터링되었습니다.
• 스티어링 실험 (Steering Experiments): 특정 뉴런 클러스터(예: "Texas" 클러스터)에 개입함으로써, 저자들은 모델의 출력을 인과적으로 변화시킬 수 있었으며, 이는 해당 뉴런들이 추론 체인에서 인과적으로 효과적임을 확인시켜 주었습니다.

4. 일반화 가능성

이러한 결과는 다양한 모델 아키텍처(Gemma-2 2B 및 9B)와 다양한 데이터 설정(쌍을 이룬 대조적 데이터 및 제로 베이스라인이 있는 비쌍 데이터)에 걸쳐 유효합니다.

의의 및 주장

본 논문은 MLP 뉴런이 SAE만큼 희소한 특징 기저라는 것을 보여주는 첫 번째 실증적 증거를 제공하며, 뉴런이 해석 불가능하다는 기존의 가정을 반박한다고 주장합니다.

• 실용성: 뉴런 기저는 학습된 사전에서 발생하는 재구성 오류, 분리 또는 흡수 문제 없이 "특권"을 가진 충실한 표현을 제공합니다.
• 효율성: 제안된 파이프라인은 SAE나 트랜스코더를 훈련하는 계산 비용을 피하며, RelP를 통해 입력당 단 한 번의 역전파만을 요구합니다.
• 재현 가능성: 오직 네이티브 뉴런 기저만을 사용하여 복잡한 회로 발견(Lindsey et al., 2025의 결과와 같은)을 재현할 수 있다는 점은, 언어 모델의 "암흑 물질(dark matter)"이 생각보다 더 접근하기 쉬울 수 있음을 시사합니다.

저자들은 인간이 거대한 회로를 해석하는 것은 여전히 과제로 남아 있지만, 학습된 희소 사전에 의존하기 전에 뉴런 기저를 우선적인 해석 경로로서 철저히 탐구해야 한다고 결론짓습니다. 이들은 본 연구를 효율적이고 확장 가능한 내부 계산 추적 도구를 제공함으로써 AI 안전 연구를 민주화하는 단계로 규정합니다.