기술적 요약: 언어 모델 회로의 일관성과 특이성 측정

문제 제기

기계적 해석 가능성 (mechanistic interpretability) 분야는 "회로"를 식별함으로써 신경망을 역설계하는 것을 목표로 합니다. 여기서 회로란 모델 구성 요소 (주로 어텐션 헤드와 MLP 레이어) 의 희소 부분 그래프로, 특정 행위에 인과적으로 책임이 있는 것을 의미합니다. 기존 연구는 이러한 회로를 추출하고 그 필요성 (회로를 제거하면 성능이 저하됨) 과 충분성 (회로만으로도 행위를 재현함) 을 평가하는 방법을 확립해 왔으나, 일관성과 특이성이라는 두 가지 중요한 속성은 여전히 충분히 탐구되지 않았습니다.

• 일관성: 만약 어떤 회로가 특정 작업에 대한 모델의 알고리즘을 실제로 포착한다면, 해당 작업의 서로 다른 입력 인스턴스 간에도 동일한 구성 요소가 반복되어야 합니다. 일관성이 없다면, 해당 회로는 일반화 가능한 메커니즘이 아니라 특정 입력의 부산물일 수 있습니다.
• 특이성: 한 작업의 회로는 관련 없는 작업들의 회로와 의미 있게 구별되어야 합니다. 특이성이 없다면, 해당 회로는 모델의 일반 목적 인프라를 반영할 뿐이므로 작업별 행위를 이해하거나 개입하는 데 사용할 수 없습니다.

본 논문은 어텐션 헤드와 MLP 레이어 수준에서 발견된 회로들이 다양한 작업과 모델 계열에서 이러한 속성을 보이는지 조사합니다.

방법론

실험 설정

저자들은 알고리즘적 추론 (덧셈, 부울 논리), 정보 검색 (간접 목적어 식별 [IOI], CopyColors MCQA), 그리고 지식 집약적 벤치마크 (ARC Easy, ARC Challenge) 로 구성된 여섯 가지 작업을 평가했습니다. 이는 네 가지 아키텍처 계열의 일곱 가지 모델에서 테스트되었습니다: Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B), 그리고 OLMo-2 (1B, 사전 학습 역동성 분석용).

회로 추출

본 연구는 예제별 회로를 추출하기 위해 **Edge Attribution Patching (EAP)**을 활용했습니다. EAP 는 기울기 정보를 사용하여 인과적 효과를 근사화하며, 절대적 귀속 점수 (attribution scores) 로 구성 요소를 순위 매깁니다. 각 작업에 대해 $n=1000$개의 예제에 대해 회로를 추출했으며, 회로 크기 ($K$) 를 상위 구성 요소의 1% 에서 30% 까지 변화시키며 스윕했습니다.

평가 지표

1. 일관성 (재사용): 저자들은 각 예제별 회로에서 최소 $P$ 비율 이상으로 나타나는 구성 요소를 포함하는 "공유 구성 요소 집합" ($S_P$) 을 정의했습니다. 그리고 이 공유 집합으로 덮여 있는 각 예제별 회로의 비율인 reuse@P를 측정했습니다.
2. 필요성: 공유 구성 요소가 인과적으로 중요한지 확인하기 위해, 저자들은 공유 집합 $S_P$에 대해 제거 실험 (활성화를 0 으로 설정) 을 수행했습니다. 그리고 크기가 동일한 무작위 부분 집합을 제거한 **용량 보존 제어 (C3)**와 비교하여 정확도 하락을 측정했습니다. 양의 필요성 점수는 공유 집합이 단순한 용량 감소 이상으로 기능적으로 필수적임을 나타냅니다.
3. 특이성 (작업 간 중첩):
   • 작업 간 제거 실험: 저자들은 작업 A 의 공유 회로를 제거하고 작업 B 의 성능을 측정했습니다. 회로가 특이하다면, 작업 A 의 회로를 제거하는 것이 작업 B 보다 작업 A 의 성능을 훨씬 더 크게 저하시켜야 합니다.
   • 분해: 작업 쌍에 대해 회로를 세 개의 불교합 집합으로 분할했습니다: 공유 코어 ($C_A \cap C_B$), 작업별 ($C_A \setminus C_B$), 그리고 상호 보완적 ($C_B \setminus C_A$) 집합입니다. 각 집합을 독립적으로 제거하여 대상 작업과 다른 작업에 대한 인과적 영향을 측정했습니다.

주요 결과

1. 회로는 작업 내에서 일관성이 있다

모든 모델과 작업에서, 예제별 회로의 상당 부분이 공유 구성 요소 집합에서 추출되었습니다.

• 높은 재사용: $K=10\%$에서 대부분의 작업 - 모델 조합에서 재사용률은 40% 에서 70% 사이였습니다. 예를 들어, Llama 와 Qwen 모델에서 개별 예제 회로의 약 절반 이상이 거의 모든 예제가 공유하는 구성 요소로 이루어져 있었습니다.
• 인과적 중요성: 이러한 공유 구성 요소를 제거했을 때, 용량 일치 무작위 집합을 제거했을 때보다 정확도 하락이 훨씬 더 컸습니다. 예를 들어, 덧셈 작업에서 공유 집합을 제거하면 무작위 제어 대비 초과 정확도 하락이 0.8~1.0 발생하여, 이러한 구성 요소가 기능적으로 필수적임을 확인했습니다.
• 학습 역동성: OLMo-2-1B 에서 일관성은 사전 학습 초기에 나타났으며 (약 76B 토큰 부근에서 정점), 후기 단계에서는 저하되었습니다. 그러나 필요성 (인과적 중요성) 은 베이스라인 정확도가 향상되는 어닐링 (anneal) 단계에서야 명확하게 측정 가능해졌습니다.

2. 회로는 작업 간 특이성이 없다

서로 다른 작업이 서로 다른 메커니즘에 의존한다는 기대와 달리, 본 연구는 관련 없는 작업들 간의 회로에 광범위한 중첩이 있음을 발견했습니다.

• 구별 불가능한 성능 하락: 작업 A 의 회로를 제거하고 작업 B 를 평가했을 때, 성능 하락은 작업 B 자신의 회로를 제거했을 때와 비슷했습니다. 예를 들어, Llama-3.2-3B 에서 덧셈 회로를 제거하면 덧셈 작업에서 99% 하락이 발생했고, 다른 작업들의 회로를 제거해도 덧셈 작업에서 평균 99% 하락이 발생했습니다.
• 높은 중첩: $K=10\%$에서 작업 쌍 간 회로의 Jaccard 중첩률은 0.46 에서 0.89 사이로, 무작위 회로에서 기대되는 약 5% 를 훨씬 초과했습니다. 이 중첩은 주로 MLP 레이어에 의해 주도되었으며, 이는 작은 회로 ($K \le 10\%$) 를 지배하고 공유 코어의 대부분을 구성했습니다.
• 작업별 구성 요소는 존재하지만 미미함: 소수의 작업별 구성 요소가 식별되었으나 ($K=10\%$에서 회로의 15~30% 차지), 이를 제거했을 때 공유 코어를 제거하는 막대한 영향에 비해 추가적인 피해는 미미했습니다. 공유 코어가 성능 영향의 대부분을 차지했습니다.

3. 구성과 세분성

• MLP 우세: 작은 회로 크기에서 회로는 거의 전적으로 MLP 레이어로 구성되었습니다 (예: $K \le 10\%$인 Gemma 2 2B-IT 의 경우 95~100%). 어텐션 헤드는 회로 크기가 커짐에 따라 ($K \ge 20\%$) 더 많이 나타납니다.
• 레이어 분포: Llama 와 Qwen 계열에서는 작은 회로가 초기 레이어에 집중되는 반면, Gemma 모델은 작업에 따른 더 큰 변이를 보였습니다.

중요성과 주장

본 논문은 어텐션 헤드와 MLP 레이어의 세분성 수준에서 회로 발견은 어떤 구성 요소가 중요한지 (일관성) 는 식별하는 데 효과적이지만, 모델이 다른 작업과 구별되는 특정 작업을 수행하는 방법 (특이성) 을 격리하는 데는 실패한다고 주장합니다.

• 일반 인프라 대 작업 메커니즘: 발견된 회로들은 주로 작업별 알고리즘이 아니라 일반 목적 모델 인프라 (특히 공유 MLP 레이어) 를 식별한다는 결과가 나왔습니다. 높은 중첩은 이러한 레이어가 모든 하위 작업이 의존하는 기초 연산 (예: 매개변수 지식 저장, 토큰 매핑) 을 수행하기 때문입니다.
• 해석 가능성에 대한 함의: 특이성의 부재는 표적 이해나 개입을 위한 현재 회로 발견 방법의 유용성에 의문을 제기합니다. 만약 작업 A 의 "회로"가 작업 B 의 회로와 거의 동일하다면, 이를 식별하는 것은 작업 A 의 특정 행위보다는 모델의 일반적 기능에 대해 더 많은 것을 드러냅니다.
• 향후 방향: 저자들은 작업별 구조를 복원하기 위해서는 다음이 필요할 수 있다고 제안합니다:
  1. 더 세분화된 분석 단위: 다의적 (polysemantic) 구성 요소를 분리하기 위해 MLP 레이어를 넘어 희소 특징 회로 (예: 희소 오토인코더 사용) 로 이동.
  2. 대조적 귀속: 절대적 기준이 아닌 다른 작업에 비해 한 작업에 대해 높은 귀속을 가진 구성 요소를 식별.

본 논문은 회로의 공유 코어가 일반화와 맥락 내 학습을 주도할 수 있는 의미 있는 연구 대상이지만, 구성 요소 수준에서의 작업별 모듈성 가정은 현재 증거로 볼 때 대부분 지지받지 못한다고 결론지었습니다.