Tracking Equivalent Mechanistic Interpretations Across Neural Networks

1. 문제 정의 (Problem)

메커니즘 해석 가능성 (MI) 은 신경망이 특정 작업을 수행하는 데 관여하는 최소한의 계산 서브그래프 (회로, Circuit) 를 식별하고, 각 구성 요소에 알고리즘적 해석을 부여하는 것을 목표로 합니다. 그러나 MI 는 다음과 같은 두 가지 근본적인 도전 과제로 인해 확장 및 일반화가 어렵습니다.

1. 유효한 해석의 부재: 어떤 해석이 '유효한지'에 대한 정확한 정의가 없습니다.
2. 임의적 (Ad hoc) 인 과정: 해석을 생성하는 과정이 체계적이지 않고 수동적이며 임의적입니다.
3. 다대다 (Many-to-Many) 관계: 고수준 알고리즘 (해석) 과 저수준 회로 (Circuit) 사이에는 다대다 관계가 존재하여, 특정 회로가 어떤 해석을 구현하는지, 혹은 특정 해석이 어떤 회로에 해당하는지 명확히 식별하기 어렵습니다 (Méloux et al., 2025).

이러한 한계로 인해, 두 개의 서로 다른 모델이 동일한 고수준 알고리즘 (해석) 을 구현하고 있는지를 명시적인 해석 설명 없이 판단하는 것이 매우 어렵습니다.

2. 방법론 (Methodology)

저자들은 두 모델이 동일한 해석을 공유하는지 판단하기 위해 **구현의 동등성 (Implementation Equivalence)**을 기반으로 한 접근법을 제안합니다.

핵심 원리: 해석적 동등성 (Interpretive Equivalence)

두 해석 $A_1, A_2$가 동등하다는 것은 두 해석의 모든 가능한 구현 (Implementations) 집합이 동등함을 의미합니다. 즉, 명시적인 알고리즘 설명 없이도, 두 모델이 동일한 해석을 공유하는지 여부는 해당 해석을 구현하는 모델들의 집합이 서로 겹치는지 (또는 유사한지) 로 판단할 수 있습니다.

알고리즘: Congruity (Algorithm 1)

해석적 동등성을 근사적으로 계산하기 위해 Congruity라는 지수를 제안합니다. 이 알고리즘은 두 모델 $h_1, h_2$가 동일한 해석을 공유하는지 확인하기 위해 다음 두 단계를 수행합니다.

1. 구현체 생성 (GetImpl):

   • 주어진 모델에서 작업 수행에 불필요한 구성 요소 (회로에 속하지 않는 부분) 를 식별합니다.
   • 이러한 구성 요소에 대한 인과적 개입 (Causal Interventions) (예: 제거, 수정, 추가) 을 가하여 원래 모델과 인과적으로 동등하지만 구조적으로 다른 새로운 모델들 (구현체, $h^\star$) 을 생성합니다.
   • 이는 특정 해석을 구현하는 다양한 모델 변형들을 샘플링하는 과정입니다.

2. 표현 유사성 측정 (ReprDist):

   • 생성된 구현체들의 은닉 표현 (Hidden Representations) 공간 간의 거리를 측정합니다.
   • **선형 표현 유사성 (Linear Representation Similarity)**을 사용하여, 한 모델의 표현이 다른 모델의 표현으로 선형 변환 가능한지 확인합니다.
   • Congruity 점수 계산:
     • $h_1$의 구현체 $h^\star_1$과 $h_2$의 구현체 $h^\star_2$를 비교합니다.
     • $h_1$과 $h^\star_1$ 사이의 표현 거리가 $h_1$과 $h_2$ 사이의 거리보다 작다면, 이는 두 모델이 서로 다른 해석을 가진다는 신호로 간주됩니다.
     • 반대로, $h_1$과 $h^\star_1$의 거리가 $h_1$과 $h_2$의 거리와 유사하다면 (즉, $h_2$가 $h_1$의 구현체 집합 내에 포함된 것처럼 보인다면), 두 모델은 **해석적 동등성 (Congruent)**을 가진다고 판단합니다.

이론적 기반: 인과적 추상화 (Causal Abstraction)

• 회로 (Circuit): 모델의 계산 그래프 중 특정 작업을 수행하는 데 필수적인 부분.
• 표현 (Representation): 회로를 단순화한 추상화된 인과 모델 (선형 변환 가능한 표현 공간).
• 해석 (Interpretation): 회로를 고수준의 인간이 이해할 수 있는 알고리즘으로 추상화한 것.
• 해석적 압축 (Interpretive Compression): 특정 해석을 구현하는 모델들의 집합의 지름 (Diameter). 압축이 높을수록 구현체들의 다양성이 큽니다.

3. 주요 기여 (Key Contributions)

1. 해석적 동등성 알고리즘 제안: 모델을 직접 해석하지 않고도 두 모델이 동일한 알고리즘을 구현하는지 판단하는 Congruity 알고리즘을 개발했습니다.
2. 실험적 검증:
   • Toy Task (n-Permutation Detection): 정답이 알려진 단순 작업에서 6 가지 다른 해석을 가진 Transformer 모델들을 생성하고, Congruity 가 동일한 해석을 가진 모델끼리는 높은 동등성을, 다른 해석을 가진 모델끼리는 낮은 동등성을 보이는지 검증했습니다.
   • 실제 언어 모델 (GPT-2, Pythia): 간접 객체 식별 (IOI) 작업에서 모델 크기 (85M ~ 2.9B 파라미터) 와 모델 계열 (GPT-2 vs Pythia) 에 따라 Congruity 가 어떻게 동작하는지 분석했습니다.
   • 작업 간 축소 (Task Reduction): 복잡한 작업 (Next-token prediction) 과 단순 작업 (품사 태깅) 간의 해석적 유사성을 분석하여, 특정 토큰 유형 (구두점 등) 이 품사 태깅과 해석적으로 동등함을 발견했습니다.
3. 이론적 보장 (Theoretical Guarantees):
   • 주요 결과 1 & 2: 표현 유사성 (Representation Similarity) 이 해석적 동등성에 대한 필요충분조건임을 증명했습니다. 즉, 표현 공간이 유사하면 해석도 동등하며, 그 역도 성립합니다.
   • 주요 결과 3: 제안된 Congruity 알고리즘이 해석적 압축과 동등성을 모두 고려하여 기대값 내에서 동등성을 예측함을 보였습니다.
4. MI 평가 및 자동화 기반 마련: 해석적 동등성 프레임워크는 MI 의 엄격한 평가 방법과 자동화된 해석 발견 방법의 기초를 제공합니다.

4. 실험 결과 (Results)

• Toy Task 결과: 동일한 해석 (예: 정렬 기반, 카운팅 기반) 을 가진 모델들 간의 Congruity 점수는 평균 0.43 으로 높았으나, 다른 해석을 가진 모델들 간의 점수는 0.01 로 낮았습니다. 이는 Congruity 가 해석의 차이를 민감하게 포착함을 보여줍니다.
• 모델 스케일 및 계열 비교:
  • Pythia 계열: 다양한 크기 (160M ~ 2.8B) 의 Pythia 모델들은 IOI 작업에서 높은 내부 동등성 (Within-group congruence, ~0.92) 을 보였습니다. 이는 큰 모델의 해석을 작은 모델로 축소하여 분석할 수 있음을 의미합니다.
  • GPT-2 vs Pythia: 두 계열 간의 동등성은 0.13 으로 낮아, 서로 다른 아키텍처가 서로 다른 회로/해석을 사용함을 확인했습니다.
• 작업 간 비교: GPT-2 의 다음 토큰 예측 작업 중 '종결 구두점 (Terminal Punctuation)' 예측은 품사 태깅 (POS) 작업과 높은 동등성 (0.48 이상) 을 보였으나, '관사/전치사' 예측은 낮은 동등성을 보였습니다. 이는 구두점 예측이 문법적 (구문적) 구조에 더 의존하고, 관사/전치사는 의미적 맥락에 더 의존함을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 메커니즘 해석 가능성 분야에서 다음과 같은 중요한 기여를 합니다:

• 해석의 불확실성 해결: 명시적인 알고리즘 설명 없이도 모델 간의 해석적 유사성을 정량화할 수 있는 객관적인 기준을 제시했습니다.
• 확장성: 복잡한 대규모 모델의 해석을, 해석적 동등성이 입증된 더 작은 모델이나 단순한 작업으로 **축소 (Reduction)**하여 분석할 수 있는 길을 열었습니다.
• 이론적 엄밀성: 회로, 표현, 해석 사이의 관계를 인과적 추상화 이론을 통해 수학적으로 정립하고, 표현 유사성이 해석적 동등성을 결정한다는 것을 증명했습니다.
• 미래 방향: 이 프레임워크는 AI 안전성 (Safety) 과 신뢰성 (Trustworthiness) 을 확보하기 위해, 모델의 내부 작동 원리를 자동으로 발견하고 검증하는 도구의 기초를 제공합니다.

요약하자면, 이 연구는 "모델이 무엇을 하는지 (해석)"를 직접 설명하는 대신, "모델이 어떻게 구현되는지 (구현체 집합)"를 비교함으로써 해석적 동등성을 판단하는 새로운 패러다임을 제시했습니다.