기술적 요약: 비지도 학습을 통한 표현 공간의 해석 가능한 부분 공간으로 분해

문제 정의

기계적 해석 가능성 (Mechanistic interpretability) 은 신경망의 내부 알고리즘과 회로를 규명하는 것을 목표로 합니다. 구성 요소 (어텐션 헤드, MLP), 희소 특징 (희소 오토인코더를 통해), 그리고 특정 부분 공간에 대한 식별에서 상당한 진전이 이루어졌지만, 기존 방법들은 한계에 직면해 있습니다. 구성 요소 기반 분석은 종종 인과적 개입을 위한 전문적인 반사실적 (counterfactual) 데이터가 필요합니다. 희소 특징은 해석 가능성을 제공하지만, 모델 연산을 수정하는 입력 의존적 회로를 초래합니다. 현재 부분 공간 기반 접근법은 일반적으로 인간이 지정한 추상적 인과 모델에 의해 안내되는 지도 학습에 의존하며, 연구자들이 사전에 특정 메커니즘을 예측해야 합니다.

본 논문이 다루는 핵심 질문은, 실제 특징이나 인간이 정의한 가설에 접근할 수 없는 상태에서, 신경 모델의 표현 공간 내에서 "자연스러운" 해석 가능한 부분 공간을 순전히 비지도 방식으로 찾을 수 있는지 여부입니다.

방법론: 이웃 거리 최소화 (NDM)

저자들은 표현 공간을 직교하고 기저 정렬되지 않은 (non-basis-aligned) 부분 공간으로 분할하는 비지도 방법인 이웃 거리 최소화 (Neighbor Distance Minimization, NDM) 를 제안합니다.

핵심 직관

이 방법은 특징 그룹 내에서 신경 표현이 상호 배타성 (mutual exclusiveness) 을 보인다는 가설에 기반합니다. 만약 일련의 특징들이 상호 배타적이라면 (한 번에 하나 또는 아무것도 활성화되지 않음), 이들은 전용 부분 공간 내에서 중첩될 수 있습니다. 반대로, 서로 다른 그룹의 특징들 (동시 발생할 수 있음) 은 간섭을 피하기 위해 직교적으로 표현되어야 합니다.

• 기하학적 해석: 올바르게 분할된 공간에서, 특정 부분 공간에 투영된 데이터 포인트는 그 그룹의 활성화된 특징을 나타내는 몇 개의 집중된 선 위에 위치하게 됩니다. 결과적으로, 각 점은 해당 부분 공간 내에서 매우 가까운 이웃을 갖게 됩니다.
• 최적화 목적: NDM 은 각 결과 부분 공간 내에서 각 활성화와 그 가장 가까운 이웃 사이의 거리를 최소화하는 직교 행렬 $R$ 과 차원 구성 $c$ 를 찾습니다.

알고리즘

1. 변환: 직교 행렬 $R$ 은 모델 활성화 $h$ 를 회전 및 반사합니다. 변환된 공간은 차원 구성 $c = [d_1, \dots, d_S]$ 에 기반하여 부분 공간으로 분할됩니다.
2. 손실 함수: 목적 함수는 각 부분 공간 $s$ 내에서 가장 가까운 이웃까지의 평균 거리를 최소화합니다:
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   여기서 $\hat{h}_{n^*}^{(s)}$ 는 부분 공간 $s$ 에서 $\hat{h}_n^{(s)}$ 의 가장 가까운 이웃입니다.
3. 차원 구성: 부분 공간의 수와 그 차원은 알 수 없으므로, 이 방법은 작고 크기가 같은 부분 공간으로 시작합니다. 훈련 중에는 KSG 추정기를 사용하여 부분 공간 간의 상호 정보 (Mutual Information, MI) 를 주기적으로 추정합니다. 두 부분 공간 간의 MI 가 임계값을 초과하면 이를 병합합니다. 이 과정은 어떤 쌍도 임계값을 초과하지 않을 때까지 계속되어, 부분 공간들이 가능한 한 독립적이 되도록 분할을 찾습니다.

주요 기여 및 결과

1. 토이 모델 검증

실제 특징 그룹을 알고 있는 통제된 토이 설정에서 NDM 은 각 특징 그룹에 전용된 직교 부분 공간을 성공적으로 복원했습니다. 이 방법은 가장 가까운 이웃까지의 거리를 최소화하여, 각 부분 공간이 하나의 특징 그룹만 인코딩하도록 분할함으로써, 상호 배타성, 중첩, 그리고 부분 공간 직교성 사이의 이론적 연결을 검증했습니다.

2. GPT-2 Small 에 대한 정량적 평가

저자들은 알려진 회로 (간접 대상 식별 및 Greater-than 회로) 에 대한 부분 공간 활성화 패칭 (subspace activation patching) 을 사용하여 GPT-2 Small 에서 NDM 을 평가했습니다.

• 지표: 그들은 지니 계수 (Gini coefficient) 를 사용하여 패칭 효과의 집중도를 측정했습니다. 높은 지니 계수는 특정 정보 (예: 이전 토큰) 가 단일 부분 공간에 집중되어 있음을 나타냅니다.
• 성능: NDM 은 베이스라인 (Identity, Random, PCA, SAE-특징 클러스터링) 을 크게 능가했습니다. NDM 은 평균 지니 계수 0.71 을 달성하여 만족스러운 집중도를 위한 0.6 임계값을 훨씬 상회했으며, 베이스라인은 0.21 에서 0.38 사이였습니다.
• 증거: 결과는 NDM 이 이전 토큰이나 주어 위치와 같은 알려진 회로의 고수준 "변수"와 일치하는 부분 공간을 찾으며, 이러한 변수들이 취하는 구체적인 값과 무관함을 보여줍니다.

3. InversionView 를 통한 정성적 분석

InversionView 를 사용하여 저자들은 발견된 부분 공간의 역상 (역사상, 유사한 활성화로 매핑되는 입력) 을 분석했습니다.

• 해석 가능성: 부분 공간들은 현재 토큰, 이전 토큰, 토큰 위치, 그리고 전체 주제와 같은 맥락의 명확하고 해석 가능한 측면들을 인코딩하는 것으로 발견되었습니다.
• 일관성: 부분 공간의 기능은 서로 다른 입력에 걸쳐 일관되었습니다 (예: 특정 부분 공간이 일관되게 현재 토큰을 인코딩함). 이는 이러한 부분 공간들이 모델에 대한 안정적인 "변수"로 작용함을 시사합니다.

4. 더 큰 모델로의 확장성

이 방법은 Qwen2.5-1.5B 와 Gemma-2-2B 에 적용되어 지식 충돌 시나리오 (매개변수 지식 대 맥락 지식) 를 조사했습니다.

• 발견: NDM 은 매개변수 지식 라우팅과 맥락 지식 라우팅을 매개하는 별도의 부분 공간들을 식별했습니다. 패칭 실험은 특정 부분 공간들이 한 메커니즘은 깨뜨리면서 다른 메커니즘은 온전하게 유지하도록 설계된 반사실적 입력 하에서 강력한 효과를 보임을 보여주었습니다.
• 의의: 이는 알려진 실제 회로가 없는 더 큰 모델에서도 NDM 이 의미 있는, 분리 가능한 기능적 구조들을 발견할 수 있음을 시사합니다.

중요성 및 주장

본 논문은 NDM 이 지도 학습 없이 표현 공간을 해석 가능하고 입력 독립적인 부분 공간으로 분해함으로써 모델 내부 이해에 대한 새로운 관점을 제공한다고 주장합니다.

• 새로운 기본 단위: 저자들은 이러한 부분 공간이 부분 공간 회로 (subspace circuits) 를 위한 기본 단위가 될 수 있다고 제안합니다. 입력 의존적인 특징 회로와 달리, 부분 공간 회로는 "변수" (특징 그룹) 에 대해 작동하며 모델 가중치를 분석함으로써 (예: 어떤 어텐션 헤드가 어떤 부분 공간에서 읽거나 쓰는지) 구성될 수 있습니다.
• 비지도 발견: 이 방법은 "자연스러운" 분할이 인간의 가설이 아닌 데이터의 통계적 구조 (상호 배타성) 에 의해 주도되어 실제 세계 모델에 존재함을 보여줍니다.
• 한계: 저자들은 현재 분할이 미세하지 않을 수 있음 (예: 작은 값 집합을 가진 변수를 위한 작은 부분 공간 누락) 과 일부 부분 공간은 해석하기 어렵다는 점을 인정합니다. 또한 이 방법은 선형 표현 가설에 의존하며, 최적화가 때로는 지역 최소값에 갇힐 수 있다고 지적합니다.

결론적으로, 본 논문은 이웃 거리 최소화를 통한 비지도 분해가 신경 모델 행위를 지배하는 "변수"와 회로를 발견하는 실현 가능한 경로이며, 기계적 분석을 위한 확장 가능하고 해석 가능한 프레임워크를 제공한다고 주장합니다.