Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

기술 요약: 내재적 구조: 기계론적 해석 가능성을 위한 스펙트럼 식별성

문제 정의
기계론적 해석 가능성(Mechanistic Interpretability, MI)은 내부 회로를 식별함으로써 신경망의 동작을 설명하는 것을 목표로 한다. 그러나 현재의 방법론, 예를 들어 희소 오토인코더(Sparse Autoencoders, SAEs)는 동일한 활성화 값으로부터 서로 다른 학습 시드나 사전 크기에 따라 실질적으로 다른 특징을 복구해내는 실행 간 변동성(run-to-run variability) 문제를 겪는다. 발견된 구조가 모델 자체의 내재적 속성인지, 아니면 단순히 발견 절차의 산물인지에 대한 이론적 보장이 없다. 본 논문은 **식별 가능성(identifiability)**의 문제를 다룬다: 즉, 좌표계나 특정 복구 알고리즘에 독립적인, 모델에 의해 유일하게 결정되는 기계론적 원형(mechanistic primitive)을 정의할 수 있는가?

방법론
저자들은 트랜스포머의 순전파(forward pass)를 깊이(depth)가 시간 역할을 하는 **제어된 동역학계(controlled dynamical system)**로 재구성한다.

1. 동역학계 정식화: $x_\ell$을 $\ell$번째 레이어의 잔차 스트림(residual-stream) 상태라고 하고, $u_\ell$를 외생 제어 입력(attention writes)이라고 하자. 레이어 업데이트는 $x_{\ell+1} = F(x_\ell, u_\ell) = x_\ell + u_\ell + m(x_\ell + u_\ell)$로 모델링된다. 여기서 $m$은 MLP 서레이어를 나타낸다.
2. 코업만 리프팅(Koopman Lifting): 비선형 동역학 $F$는 관측 함수(observables) $\Psi$ 상에서 작용하는 선형 연산자 $\mathcal{K}$로 리프팅된다. 만약 사전 딕셔너리 스팬(dictionary span) $\mathcal{H}_N$이 K-불변(K-invariant)(동역학에 대해 닫혀 있음)이라면, 연산자는 유한 차원 행렬 $A$로 제한된다.
3. 코업만 실현(Koopman Realisation): 시스템은 삼조(triple) $(A, B, C)$로 표현된다. 여기서 $A$는 전이 행렬, $B$는 제어 응답을 인코딩하며, $C$는 읽기(read-out)를 담당한다. 저자들은 스펙트럼 $\sigma(A)$(고윳값)를 좌표계에 독립적인 내재적 관심 대상으로 제안한다.
4. 추정: 저자들은 교정 데이터(잔차 상태 및 어텐션 라이트)로부터 $(A, B)$를 추정하기 위해 **제어 기능이 포함된 확장 동적 모드 분해(EDMDc)**를 사용한다.
5. 이론적 프레임워크: 본 논문은 딕셔너리의 풍부함, 지속적 흥분(persistent excitation), 스펙트럼 분리 등의 조건 하에서 스펙트럼이 복구 가능하다는 것을 입증한다.

주요 기여

• 스펙트럼 식별성 정리 (Theorem 6.1): 본 논문은 코업만 실현의 스펙트럼이 $M$개의 교정 샘플로부터 순열(permutation)을 제외하고 파라미터 속도 $M^{-1/2}$로 식별 가능함을 증명한다.
  • 고윳값은 순열에 대해 유일하며, 어떤 딕셔너리 기저의 변화에도 불변이다.
  • 일치하는 미니맥스 하한(minimax lower bound)(Theorem 7.1)은 어떤 추정기도 $M$에 대해 더 나은 속도를 달성할 수 없음을 확인해 준다.
  • 최적 매칭(Wasserstein-$\infty$)을 사용하여 간극 없는 고윳값 보장(Theorem 6.8)을 도출하였으며, 이를 통해 엄격한 스펙트럼 분리 없이도 고윳값 복구가 가능함을 보여준다. 단, 고유벡터(eigenvector) 복구에는 분리가 필요하다.
• 헤비 테일(Heavy Tails)에 대한 강건성 (Theorem 7.2): 저자들은 중앙값 평균(median-of-means) 추정치를 사용하여 헤비 테일 분포를 가진 활성화 값에 대한 식별성 보장을 확장하며, 4차 모멘트 조건 하에서도 $M^{-1/2}$ 속도가 유지됨을 보여준다.
• 모달-주성분 분리 (Modal-Principal Dissociation, Theorem 8.1): 저자들은 구조적 분리를 증명한다: 만약 실현체가 비정규(non-normal)라면(경험적 측정 결과가 이를 확인함), 주성분 방향(분산을 최대화하는 방향)은 코업만 모드(동역학을 전달하는 방향)와 일치할 수 없다. 이는 "식별 가능한 대상"(스펙트럼)과 "가독성이 있는 대상"(주성분)이 서로 다름을 의미한다.
• 개입 계산법의 대수적 완결성 (Theorem 9.2): 스펙트럼 투영자(spectral projectors)는 1차 개입(활성화 패칭, 경로 패칭 등)에 대해 완전한 가환 대수(commutative algebra)를 생성하며, 이는 리프팅된 동역학에 대한 모든 개입에 대해 유일한 폐쇄형 대표값을 제공한다.
• SAE 변동성의 구조적 기원 (Theorem 9.5): 본 논문은 SAE의 실행 간 변동성이 K-불변성(DR2)을 강제하지 못하는 목적 함수의 구조적 결과임을 입증한다. 이에 대한 해결책으로 명시적인 **불변성 페널티(invariance penalty)**를 제안한다.
• 인스턴스 의존적 축소 (Theorem 10.1): 어텐션 라이트의 낮은 유효 랭크를 활용하는 인증된 모델 축소 경계(certified model reduction bound)를 도출하였으며, 이는 트랜스포머 영역에서 고전적인 Enns–Glover 경계보다 엄격하게 정교한 오차 인증을 제공한다.

실험 결과
이론은 세 가지 사전 학습된 트랜스포머(GPT-2 small, Gemma-2-2B, Qwen3-8B-Base)를 통해 검증되었다.

• 수렴성: 스펙트럼 거리는 $M$이 증가함에 따라 분할-반절(split-half) 추정치 간의 거리가 수렴한다. Qwen3-8B-Base에서 스펙트럼 딕셔너리는 예측된 지수 $-0.506 \pm 0.031$에 도달하여 이론적인 $M^{-1/2}$ 속도와 일치함을 보여주었다.
• SAE 불변성 간극: SAE 딕셔너리는 스펙트럼 및 랜덤 딕셔너리에 비해 현저히 큰 투영 잔차(불변성 위반)를 보였으며, 이는 Theorem 9.5를 확인시켜 준다. 이 간극은 특징 선택 규칙(예: 분산 vs 빈도)에 민감하게 반응함을 보였다.
• 개입 성능: IOI(Indirect Object Identification) 회로 테스트에서, 코업만 모드는 랜덤 방향보다는 우수했으나 **주성분 분석(PCA)**보다는 성능이 낮았다. 이 성능 격차는 깊이 거리(depth distance)가 멀어짐에 따라 $4.1\times$ 감소하였으며, 이는 분리 정리(dissociation theorem)와 일치한다.
• 보편성 기준: 모델 간 보편성에 대한 스펙트럼 테스트는 동일 아키텍처의 시드 복제본들 사이를 구분하는 데 실패하였다. 이는 딕셔너리 불일치 편향(샘플링 오차가 아닌)이 현재의 보편성 주장을 제한하고 있음을 나타낸다.
• 헤비 테일: 예상과 달리, "리프팅" 과정(랜덤 푸리에 특징)이 잔차 스트림의 헤비 테일을 효과적으로 제거하여, 테스트된 특정 딕셔너리들에 대해서는(Qwen3의 특정 레이어 하나를 제외하고) 강건한 중앙값 평균 추정치가 불필요했다.

의의 및 주장
본 논문은 기계론적 해석 가능성을 엄밀한 식별 가능성 토대 위에 올려놓는다고 주장한다.

1. 내재적 지문: 코업만 스펙트럼은 오차 범위와 함께 복구 가능한 내재적, 모델-내재적 지문이며, 이를 통해 발견 방법의 산물과 구별된다.
2. 가독성의 한계: 본 논문은 식별 가능성이 가독성을 의미하지 않는다고 명시적으로 주장한다. 트랜스포머의 실현체는 비정규(non-normal)이기 때문에, 수학적으로 식별 가능한 모드(코업만 스펙트럼)는 인간이 흔히 가독성이 있다고 느끼는 분산 기반 방향(PCA)과 구조적으로 구별된다.
3. 구조적 vs 알고리즘적: SAE에서 관찰되는 변동성은 튜닝의 문제가 아니라, 동역학적 불변성을 강제하지 못하는 목적 함수의 구조적 실패이다.
4. 안전성 함의: 행동 $X$를 일으키는 메커니즘 $Y$를 식별해야 하는 안전성 논증을 위해, 본 연구는 $Y$가 절차가 아닌 모델의 속성이라는 인증서를 제공한다. 그러나 이 인증서가 행동적 커버리지나 인간의 가독성을 보장하지는 않는다는 점을 경고한다.

저자들은 코업만 스펙트럼이 트랜스포머 깊이 동역학의 수학적으로 견고한 식별 가능한 분해를 제공하지만, 인간이 읽을 수 있는 회로 발견의 직접적인 대체제는 아니며, 두 대상(식별 가능한 것 vs 가독성이 있는 것)은 비정규 영역을 점유하는 모델에서 근본적으로 다르다고 결론짓는다.