🤖 machine learning

Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m

본 논문은 독립적으로 훈련된 트랜스포머들이 균일한 무작위 회전에 의해 관련된 상호 이해 불가능한 내부 좌표를 사용하여 동일한 함수를 계산함을 보여주며, 이러한 현상을 '다형성 (polymorphism)'이라 명명하고 단일 직교 프로크루스테스 피팅을 통해 해결함으로써 재훈련 없이 특징 사전과 조향 벡터를 직접 이전할 수 있음을 입증한다.

원저자: Jordan F. McCann

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jordan F. McCann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신과 친구가 동일한 복잡한 레고 성을 같은 설명서로 짓고 있다고 상상해 보세요. 두 사람은 외관상 완전히 동일하고 동일한 기능 (동일한 문, 창문, 탑) 을 수행하는 성을 완성합니다.

그러나 성 내부에서 벽돌이 배치되는 방식에 대한"청사진"은 완전히 다릅니다. 사실, 그 차이가 너무 커서 친구의 내부 청사진을 이용해 자신의 성을 이해하려 한다면 혼란에 빠질 것입니다. 성들이 서로 다른 것이 아니라, 같은 것을 설명하는 두 가지 다른"내부 언어"를 사용하고 있는 것입니다.

이 논문은 이러한 현상을**"다형성 (Polymorphism)"**이라고 부릅니다. 이는"동일한 기능, 다른 내부 좌표"를 의미합니다.

연구자들이 발견한 내용을 간단한 비유로 정리하면 다음과 같습니다:

1. "디코더"vs"인코더"(사전 문제)

AI 연구에서 과학자들은 종종 모델의"특성"(개념의 사전과 같은) 을 살펴봄으로써 모델이 무엇을 생각하고 있는지 이해하려 합니다. 그들은 프로세스의"끝"(디코더) 을 살펴보면 두 가지 다른 모델 간의 사전이 거의 동일하다는 것을 발견했습니다. 마치 두 사람이 정확히 같은 사전을 사용하여 이야기를 쓰는 것과 같습니다.

반전: 연구자들은사전(디코더) 은 동일했지만, 그 사전을읽는 방식(인코더) 은 완전히 뒤죽박죽이라는 사실을 깨달았습니다.

비유: 두 사람이 책을 읽는 상황을 상상해 보세요. A 는 정상적으로 읽지만, B 는 책을 90 도 회전시켜 거꾸로 읽고 있습니다. 그들이 가리키는 단어 (디코더) 만 보면 완벽하게 일치합니다. 하지만 A 의 관점으로 B 의 메모를 읽으려 한다면 그 메모는 전혀 의미가 없습니다. "메모"(활성화) 는 회전된 기준 프레임에 있기 때문입니다.

2. 치명적인 실패

연구자들이 모델 A 의"특성 사전"을 가져와 모델 B 에 직접 적용하려 했을 때, 그것은 완전히 실패했습니다. 모델의 내부 사고를 재구성한 결과는 평균적인 답을 추측하는 것보다도 나빴습니다.

비유: 런던을 항해하기 위해 뉴욕 시티 지도를 사용하는 것과 같습니다. 랜드마크 (디코더 열) 가 목록에서 비슷해 보일 수는 있지만, 거리 (내부 좌표) 의 방향은 다릅니다. 런던에서 뉴욕 지도를 따라가면 즉시 길을 잃게 됩니다.

3. 마법 같은 해결책: 하나의 행렬 곱셈

이 논문의 가장 큰 발견은 이를 어떻게 해결하는지입니다. 모델을 다시 훈련시키거나 뇌를 변경할 필요가 없습니다. 두 모델을 정렬시키기 위해 단일한 수학적인"회전"(프로크루스테스 피트라고 불리는 특정 수학 연산) 만 적용하면 됩니다.

비유: 당신과 친구가 회전 플랫폼의 반대편에 서서 같은 조형물을 보고 있다고 상상해 보세요. 당신은 같은 물체를 보지만 다른 각도에서 보는 것입니다. 플랫폼을 친구의 각도에 맞춰 회전시키기만 하면, 갑자기 두 사람의 시야가 완벽하게 정렬됩니다.
결과: 모델 B 의 내부 데이터에 이 단일"회전"을 적용하자마자, 모델 A 의 사전이 모델 B 에서 완벽하게 작동했습니다."내부 언어"가 즉시 번역된 것입니다.

4. 특정 회전인가, 무작위인가?

연구자들은 궁금해했습니다. 이 회전이 의미 있는 특정 이동인지, 아니면 단순히 무작위적인 혼란인지 말입니다.

발견: 본질적으로 그것은무작위입니다. 두 개의 독립적으로 훈련된 모델 사이의 회전은 바퀴를 무작위로 돌리는 것과 같습니다. 그것은"특별한"각도가 아니라 균일한 무작위 회전일 뿐입니다.
비유: 지구를 무작위로 돌려 멈추게 한다면, 그 방향은 무작위입니다. 이 논문은 두 개의 AI 모델이 처음부터 훈련될 때마다 서로에 대해 무작위 각도에 멈춰 있는"지구"를 갖게 된다는 것을 보여줍니다.

5."조종"(행동 변경) 에 대한 의미

이 논문은 또한 모델의 행동을 다르게 유도하는 도구인"조종 벡터"(예: 더 정중하게 또는 더 창의적으로 만들기) 를 테스트했습니다.

발견: 회전 문제를 먼저 해결하지 않고 모델 A 의"조종 유도"를 모델 B 에 적용하면, 실패하거나 종종 원하는 것과반대되는 결과를 초래합니다.
비유: 장난감 자동차 (모델 A) 의 리모컨이 있다고 상상해 보세요. 만약 다른 방향을 향한 다른 장난감 자동차 (모델 B) 에 그 리모컨을 사용하려 한다면,"전진"을 누르는 것이 두 번째 자동차를"좌회전"이나"후진"하게 만들 수 있습니다. 먼저 두 번째 자동차가 어떤 방향을 향하고 있는지 (회전) 파악하고 리모컨의 신호를 그에 맞게 조정해야 합니다.

"규칙"의 요약

이 논문은 이러한 모델들이 어떻게 관련되는지에 대한 세 가지 주요 규칙을 확립합니다:

동일한 기능, 다른 좌표: 별도로 훈련된 두 모델은 같은 일을 하지만 서로 다른 내부"지도"를 사용합니다.
디코더는 속입니다: "끝"의 특성들이 비슷해 보인다고 해서 모델들이 같은 방식으로 이해한다는 뜻은 아닙니다.
해결책은 저렴합니다: 모델을 다시 훈련시킬 필요 없이 단일하고 간단한 수학 계산 (하나의 행렬 곱셈) 으로 완전히 다른 두 모델을 정렬할 수 있습니다.

발견의 규모

연구자들은 두 가지 수준에서 이를 증명했습니다:

"장난감"모델: 모든 벽돌을 하나씩 확인할 수 있는 104,000 개의 매개변수를 가진 작고 간단한 모델로 이론이 사실인지 확인했습니다.
"실제"모델: 7 천만 개의 매개변수를 가진 훨씬 더 크고 현실적인 언어 모델 (Pythia-70m) 입니다. 여기서도 동일한"무작위 회전"규칙이 유효했습니다.

핵심 결론: AI 모델은 같은 언어를 말하지만 다른 억양과 방향을 가진 쌍둥이와 같습니다. 그들은 같은 일을 하지만, 서로를 이해하려면 시점을 회전시키기만 하면 됩니다. 그렇게 하면 그들의 내부 비밀이 읽을 수 있게 됩니다.

기술적 요약: 다형성은 회전이다

문제 제기

메커니즘 해석 가능성 분야, 특히 희소 오토인코더 (SAE) 와 관련하여, "보편성" (independently trained transformers 가 동일한 내부 특징을 학습한다는 주장) 을 평가하는 주요 지표로 디코더 열 코사인 유사도에 크게 의존해 왔습니다. 최근 문헌들은 서로 다른 무작위 시드로 훈련된 모델들의 디코더 열 간 높은 코사인 유사도 (종종 0.9 이상) 를 보고하며, 이를 특징 사전이 공유된다는 증거로 해석합니다.

그러나 본 논문은 치명적인 실패 모드를 식별합니다: 디코더 열이 정렬될 수는 있지만, SAE 인코더는 다른 시드의 활성화에 적용될 때 치명적으로 실패합니다. 시드 A 로 훈련된 SAE 를 시드 B 의 잔여 스트림에 적용하면 **음수 설명 분산 (EV)**이 발생하여, 재구성이 일정한 평균을 예측하는 것보다 더 나빠집니다. 이는 "보편성" 지표가 디코더의 기하학만 측정하고 인코더의 읽기 프레임 (reading frame) 에서 발생하는 근본적인 정렬 불일치를 무시하고 있음을 시사합니다. 핵심 문제는 독립적으로 훈련된 모델들이 동일한 함수를 계산하지만 상호 이해 불가능한 내부 좌표계에서 작동한다는 점입니다.

방법론

저자들은 반증 가능성을 보장하기 위해 엄격하고 사전 등록된 4 막대 운영 프레임워크를 사용하여 메커니즘 주장을 테스트합니다:

막대 B (행동적): 모델과 구성적 명세 (constructive specification) 간의 평균 KL 발산.
막대 P (매개변수): 대칭 정렬 후 각 항목별 가중치 평균 제곱 오차 (MSE) 의 최댓값.
막대 C (인과적): 예측된 구성 요소 패치 효과와 측정된 패치 효과 간의 상관관계.
막대 Pr (예측적): 예측된 구성 요소 제거 손실과 측정된 제거 손실 간의 상관관계.

주요 방법론적 수정 사항:

적분 기울기 (IG) 대 귀속 패칭 (AP): 저자들은 수렴 시, 최소값 근처의 기울기에서 노이즈가 지배적이기 때문에 AP 가 측정된 패치 효과와 반비례 상관관계를 보임을 입증합니다. 저자들은 AP 를 적분 기울기로 대체하는데, 완전성 공리 (completeness axiom) 에 따라 이는 평균 제거 효과를 수학적으로 정확한 예측값으로 제공합니다 ( $r > 0.999$ 달성).
구성적 명세: 이론적 명세 (예: Tracr 를 통한) 를 컴파일하는 대신, 저자들은 RMSNorm 을 접고 역할을 주석 처리하여 훈련된 주 시드에서 직접 "구성적 명세"를 유도함으로써, 명세가 실제 모델 구현을 반영하도록 보장합니다.

실험 설정:

소규모 (Toy Scale): 유한 깊이의 Dyck-3 (괄호 매칭 작업) 로 훈련된 104k 매개변수 2 층 트랜스포머. 이는 모든 가중치의 완전한 메커니즘 해석을 가능하게 합니다.
규모 확장: The Pile 로 훈련된 9 개의 독립적으로 훈련된 Pythia-70m 시드 (71M 매개변수, $d_{model}=512$ ).
코호트: 실험은 공유된 고정된 I/O 가중치를 가진 시드 (내부 회전을 격리하기 위해) 와 독립적인 초기화를 가진 시드를 비교합니다.

주요 기여 및 결과

1. 회전 가설

본 논문은 동일한 아키텍처를 가진 독립적으로 훈련된 트랜스포머들이 **잔여 스트림 기저의 직교 회전 (orthogonal rotation)**까지 동일한 함수를 계산한다고 제안합니다.

다형성 (Polymorphism): 모델들이 동일한 함수를 공유하지만 "상호 이해 불가능한 내부 좌표"를 갖는 현상.
해결책: 단일 배치의 활성화에 대한 단일 직교 행렬 곱셈 (Procrustes fitting) 을 수행하면 두 시드의 기저를 정렬할 수 있습니다.
복구: 이 회전을 적용한 후, 교차 시드 SAE 재구성 EV 는 토이 모델에서 시드 내 기준선 대비 0.025 EV 이내로, Pythia-70m 에서는 0.85–0.99 EV 수준으로 복원됩니다.

2. 회전의 통계적 성질

이 회전은 구조화되고 학습 가능한 정렬이 아니라, 직교군 $SO(d_{model})$ 에서의 균일 무작위 추출입니다.

하르 분포 (Haar Distribution): 회전 행렬 $R$ 의 고유값 스펙트럼은 $SO(d)$의 하르 측도 (Haar measure) 와 통계적으로 구별할 수 없습니다 (콜모고로프 - 스미르노프 검정 $p \approx 1.000$ ).
프로베니우스 거리: 거리 $\|R - I\|_F$ 는 Pythia-70m 의 경우 0.1% 이내로 무작위 직교 행렬에 대한 이론적 예측 ( $\sqrt{2d_{model}}$ ) 과 일치합니다.
디코더 대 인코더: 높은 디코더 코사인 유사도 (98%) 는 정적인 기하학적 우연입니다. 인코더는 회전된 프레임에서 읽으므로 기능적 실패가 발생합니다.

3. 조향 벡터 전이 영역

본 논문은 조향 벡터 (평균 차이 개입) 가 회전 불변 부분 공간과의 정렬에 따라 시드 간 어떻게 전이되는지를 특징화합니다:

클린 전이 (Clean Transfer): 공유된 입력/출력 가중치에 고정된 벡터 (예: 토이 모델의 깊이 카운터) 는 보정 없이 전이됩니다.
부분 전이 (Partial Transfer): 회전된 부분 공간과 겹치는 벡터는 용량 오프셋 (dose offset) 이 필요합니다.
반전 전이 (Inverted Transfer): 주로 회전된 부분 공간에 위치한 벡터는 부호가 반전되어 전이됩니다.
Pythia 규모: 공유된 I/O 가 없는 모델 (Pythia-70m) 에서는 모든 방향이 회전되어 보편적 반전 전이가 발생합니다. 회전 보정 없이는 교차 시드에 적용된 조향 벡터가 성능을 저하시킵니다.

4. 매개변수 정렬의 한계

저자들은 매개변수 수준의 대칭성 탐색 (치환과 회전을 통해 가중치를 정렬) 이 정렬 불일치를 완전히 해결할 수 없음을 입증합니다.

가중치 MSE 를 최적화한 후에도 활성화 수준 MSE는 여전히 높습니다.
가중치 및 활성화 손실의 공동 최적화는 Bar P 임계값을 충족하지 못합니다. 가중치 최적 회전과 활성화 최적 회전은 손실 지형의 분리된 분지 (basins) 에 위치합니다. 이는 회전이 매개변수 대칭성으로 완전히 포착되지 않는 활성화 수준 현상임을 확인시켜 줍니다.

중요성 및 주장

본 논문은 **보편성이 문자 그대로의 좌표 정렬이 아닌 회전 동치성 (rotation-equivalence)**임을 보여줌으로써 "디코더 코사인 퍼즐"을 해결했다고 주장합니다.

SAE 보편성의 정제: 디코더 코사인 유사도는 특징 보편성에 필요하지만 불충분합니다. 완전한 지표에는 교차 시드 재구성 EV 와 회전 보정 적용 능력이 포함되어야 합니다.
실용적 유용성: 회전 보정은 계산 비용이 저렴하며 (모델 쌍당 하나의 행렬 곱셈) 재훈련이 필요 없습니다. 이를 통해 독립적으로 훈련된 모델 간 SAE 특징 사전과 조향 벡터를 높은 충실도로 전이할 수 있습니다.
방법론적 엄밀성: 반증 가능한 임계값을 가진 사전 등록 프레임워크를 사용하여 "이야기 맞추기 (story-fitting)"와 검증된 메커니즘 주장을 구분합니다. (회전 보정 없이) 교차 시드 Bars P, C, Pr 의 실패는 가설에 대한 경험적 동기가 됩니다.
범위: 이 발견은 104k 매개변수 토이 모델과 71M 매개변수 패밀리 규모 모델 전반에 걸쳐 유효합니다. 저자들은 명시적으로 프런티어 규모 (10B 이상) 의 재현은 여전히 열린 경험적 테스트라고 언급하지만, 그러한 테스트를 위한 실험 설계는 straightforward 합니다.

본 논문은 독립적으로 훈련된 트랜스포머의 잔여 스트림 기저가 1 차 근사적으로 직교군의 균일 무작위 표본이며, "다형성"이 바로 이 기하학적 드리프트의 운영적 현실이라고 결론지었습니다.