기술 요약: 트랜스포머는 불변하는 알고리즘 핵심(Invariant Algorithmic Cores)으로 수렴한다

1. 문제 정의

뉴럴 네트워크의 기계론적 해석 가능성(mechanistic interpretability)을 가로막는 핵심 장애물은 **과소결정성(underdetermination)**이다. 학습은 모델의 행동(입력에서 출력으로의 매핑)을 제약하지만, 그 행동의 내부적 구현 방식까지 제약하지는 않는다. 독립적으로 학습된 모델들은 종종 **기능적 동등성(functional equivalence)**을 보인다. 즉, 서로 매우 다른 가중치 구성과 내부 회로를 가지고 있음에도 동일한 과업을 수행한다. 손실 지형(loss landscape)의 기하학, 모델 병합(model merging), 그리고 생물학적 시스템(예: 퇴화 및 시스템 드리프트)에서 관찰되는 이 현상은 근본적인 질문을 던진다: 만약 메커니즘이 서로 다른 구현체들 사이에서 일반화되지 않는다면, 어떤 설명이 "실제"라고 할 수 있는가?

현재의 해석 가능성 연구는 특정 구현 세부 사항(예: 특정 어텐션 헤드나 희소 특징)에 집중하는 경향이 있는데, 이는 단일 학습 실행에 국한된 특이한(idiosyncratic) 것일 수 있다. 본 논문은 일반화 가능한 기계론적 이해를 달성하기 위해서는 연구의 초점을 **구현 특화적 회로(realization-specific circuitry)**에서 불변량(invariants), 즉 독립적인 학습 실행 전반에 걸쳐 공유되는 안정적인 계산 구조로 전환해야 한다고 주장한다.

2. 방법론: 알고리즘 핵심 추출 (Algorithmic Core Extraction, ACE)

본 논문은 과업에 대해 **필요충분(necessary and sufficient)**하며 여러 모델 구현체 간에 불변하는 저차원 부분 공간을 격리하기 위해 설계된 프레임워크인 **알고리즘 핵심 추출(ACE)**을 소개한다. 이 방법은 선형 시스템 이론(특히 칼만 분해와 균형 절단)의 원리를 트랜스포머에 적용하여 구체화한다.

ACE 파이프라인은 세 단계로 구성된다:

1. 추출(Extract): 은닉 차원이 $D$이고 입력이 $N$인 주어진 트랜스포머 레이어에 대해, 이 방법은 평균 중심화된 활성화($H$)와 과업 관련 출력의 자코비안($J$) 사이의 상호작용을 계산한다. $HJ^\top$에 대한 특이값 분해(SVD)를 수행함으로써, ACE는 공동으로 활성화되면서도 유의미한 방향을 식별한다. 상위 특이 벡터들은 활성화 공간으로 다시 매핑된 저차원 부분 공간("핵심")을 정의한다.
2. 검증(Validate): 추출된 핵심은 절제(ablation)를 통해 인과적으로 검증된다. 핵심이 **충분(sufficient)**하다는 것은 해당 핵심으로 활성화를 투영했을 때 과업 성능이 유지됨을 의미하며, **필요(necessary)**하다는 것은 이를 제거(보공 공간으로 투영)했을 때 성능이 우연 수준으로 감소함을 의미한다.
3. 식별(Identify): 핵심 내의 계산 구조는 핵심 좌표에 선형 연산자(예: $z_{t+1} \approx Az_t$)를 적합(fitting)시키고 그 스펙트럼 특성(고윳값)을 조사함으로써 복구된다.

3. 주요 결과

A. 합성 마르코프 체인 과업

4개 상태의 마르코프 체인에 대해 학습된 단일 레이어 트랜스포머에서:

• 발산하는 파라미터, 수렴하는 핵심: 서로 다른 랜덤 시드로 학습된 모델들은 최적에 가까운 정확도를 달성했으나, 가중치 간의 코사인 유사도는 거의 0에 수렴했다.
• 불변하는 3D 부분 공간: ACE는 각 모델에서 3차원 핵심을 성공적으로 격리했다. 이 핵심들은 과업에 대해 필요충분했다.
• 기하학적 vs 통계적 정렬: 핵심들이 거의 직교하는 부분 공간에 위치했음에도 불구하고(투영 중첩 $\approx 0.02$), 통계적 정렬은 완벽에 가까웠다(정준 상관 분석(CCA) $\approx 0.99$).
• 역학 복구: 핵심 내에 적합된 선형 연산자는 실제 마르코프 전이 행렬의 비자명한 고윳값을 정확히 복구했으며, 이는 모델들이 서로 다른 좌표계 내에서 동일한 전이 역학을 인코딩하고 있음을 입증한다.

B. 모듈러 덧셈 및 그로킹(Grokking)

모듈러 덧셈($a + b \equiv c \pmod p$)을 학습한 2계층 트랜스포머에서:

• 그로킹 시의 출현: 알고리즘 핵심은 "그로킹" 현상(암기에서 일반화로의 지연된 전이)과 동시에 결정화(저차원의 필요충분 부분 공간으로 응축)되었다.
• 회전 역학: 자동화된 연산자 적합 결과, 그로킹 시점에 핵심 연산자의 고윳값이 단위 원 위에 안착함을 발견했다. 이는 모듈러 산술에 필요한 순환/회전 역학의 출현을 나타낸다.
• 규제화에 따른 핵심 팽창: 그로킹 이후 가중치 감쇠(weight decay)를 지속했을 때, 핵심은 약 15차원에서 약 60차원으로 "팽창"했다. 이러한 팽창은 **중복성(redundancy)**에 의해 유도되었다. 즉, 성능에 충분한 차원의 수는 안정적으로 유지되었으나, 우연 성능을 방지하기 위해 필요한 차원의 수는 확장되었다. 가중치 감쇠는 기능적으로 동등한 모든 모드(이론적 최대치인 $\lfloor p/2 \rfloor$까지)로 가중치를 분산시키는 재분배 힘으로 작용했다.
• 역 스케일링 법칙: 본 논문은 기능적 중복성, 규제화, 그리고 그로킹 시간 사이의 이론적 연결 고리를 도출한다. 저자들은 기능적 동등성이 일반화로의 전이를 가속화한다고 가정하며, 이에 대한 역 스케일링 법칙 $\tau_{grok} \propto 1/(\omega p)$를 제시한다 ($\omega$는 가중치 감쇠, $p$는 중복성). $\omega$와 $p$에 대한 경험적 탐색을 통해 이 예측이 검증되었다.

C. 대규모 언어 모델 (LLMs)

ACE를 주어-동사 수 일치(subject–verb number agreement) 과업에 대해 4개 제품군(GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) 및 두 자릿수 규모(117M ~ 32B 파라미터)에 걸친 6개 사전 학습 모델에 적용하였다:

• 보편적 1D 핵심: 6개 모델의 후기 레이어에서 단일 1차원 인과 축(causal axis)이 식별되었다.
• 인과적 제어: 이 축은 수 일치에 대해 필요충분하다. 이 축으로 활성화를 투영하면 단수-복수 로짓 마진(logit margin)을 예측할 수 있다. 결정적으로, 이 축의 부호를 반전시키면 개방형 생성 과정 전체에서 문법적 수 선호도를 역전시킨다(예: "The key... are"를 "The key... is"로 변경).
• 교차 아키텍처 정렬: 아키텍처, 토큰화, 학습 데이터의 차이에도 불구하고, 이 1D 핵심의 좌표들은 모델 간에 상당 수준으로 정렬되었다(Spearman 상관계수 최대 0.93). 이는 문법적 수에 대한 공유된 불변 메커니즘이 구현 세부 사항과 무관하게 존재함을 시사한다.

4. 의의 및 주장

본 논문은 훈련된 트랜스포머의 외견상 복잡함 아래에 더 단순하고 공유된 계산 구조가 존재한다고 주장한다. 주요 기여는 다음과 같다:

1. 해석 가능성 패러다임의 전환: 특정 회로의 구현을 연구하는 것에서 불변량을 연구하는 것으로의 전환을 제안한다. 저자들은 기계론적 설명이 특이한 세부 사항이 아니라 안정적이고 구현에 무관한 양에 기반해야 한다고 주장한다.
2. 불변량의 운용화: ACE 프레임워크는 이러한 불변량을 격리하고, 인과적으로 검증하며, 그 형태를 미리 가정하지 않고도 모델이 구현하는 알고리즘을 복구하는 방법을 제공한다.
3. 그로킹에 대한 기계론적 설명: 기능적 동등성, 규제화, 그로킹 시간을 연결하는 이론을 제공하며, 중복성이 가중치 감쇠가 일반화로의 전이를 가속화하도록 돕는다는 점을 시사한다.
4. 내부 세계 모델의 증거: 실제 과업 구조(마르코프 스펙트럼, 순환 연산자)의 복구가 모델이 데이터 생성 과정의 내부 표현을 인코딩하고 있음을 보여주며, 이는 제어 이론의 "내부 모델 원리"와 일치한다.
5. 모델 병합에 대한 시사점: 기능적으로 동등한 모델들이 거의 직교하는 부분 공간에 핵심을 임베딩한다는 관찰은 모델 병합의 어려움(나이브한 보간의 실패)을 설명한다. 이는 가중치가 아닌 알고리즘 핵심을 정렬하는 것이 모델 재조합을 위한 원칙적인 접근 방식이 될 수 있음을 시사한다.

결론적으로, 본 논문은 불변량을 타겟팅하는 것이 기계론적 이해와 제어를 위한 더 다루기 쉬운 경로를 제공한다고 밝히며, 복잡한 추론 과업을 위한 핵심의 차원은 여전히 미지수이지만, 거대 규모에서도 1D 일치 핵심의 안정성이 나타나는 것으로 보아 핵심의 차원이 모델 크기에 엄격하게 의존하지 않을 수 있음을 언급한다.