🤖 AI

Finding Usable Weight Mechanisms with Tiled SVD

이 논문은 컬럼 타일드 SVD(column-tiled SVD)를 사용하여 특징을 트리거-쓰기-강도(trigger-write-strength) 삼중항으로 정의함으로써 신경망 선형 레이어로부터 해석 가능한 가중치 메커니즘을 직접 추출하는 방법을 제안하며, Gemma-2-2B 모델에 대해 테스트된 모든 사이트에서 완벽한 성능을 입증하는 동시에 관련 코드와 평가 스위트를 공개한다.

원저자: Ash Manvi, Samreena Tajreen

게시일 2026-08-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ash Manvi, Samreena Tajreen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 똑똑한 로봇의 뇌가 어떻게 작동하는지 이해하려고 노력 중이라고 상상해 보세요. 오랫동안 과학자들은 로봇이 문제를 해결할 때 나타나는 "노트"(활성화)를 관찰하며 로봇이 무엇을 생각하는지 알아내려는 탐정 같은 역할을 해왔습니다. 그들은 "고양이"나 "정의"와 같은 이름을 붙여 특정 활동 패턴을 설명하는 특별한 사전들을 만들었습니다. 이것은 마치 번역기가 "아, 지금 로봇은 고양이를 생각하고 있군요!"라고 알려주는 것과 같습니다. 하지만 여기에는 함정이 있습니다. 이 번역기는 로봇의 실제 뇌의 일부가 아니라 별개의 도구라는 점입니다. 이는 기계 내부의 톱니바퀴와 레버가 움직이는 것을 직접 보는 것이 아니라, 기계를 설명하는 매뉴얼을 가진 것과 같습니다.

이 논문이 다루는 핵심 질문은 이것입니다. 별도의 매뉴얼 없이도, 로봇의 뇌 내부에서 실제로 생각을 수행하는 진짜 "톱니바퀴"를 찾을 수 있을까요? 저자들은 로봇의 뇌를 연결하는 "전선"(가중치)을 살펴보고 있습니다. 그들은 생각의 스위치를 켜고 끌 수 있는 구체적이고 사용 가능한 스위치를 찾고자 합니다. 만약 우리가 배선 속에서 직접 이러한 스위치를 찾아낼 수 있다면, 우리는 단순히 로봇이 무엇을 생각하는지 추측하는 데 그치지 않고, 로-봇이 생각을 어떻게 단계별로 구축하는지 정확히 볼 수 있게 될 것입니다. 이는 우리가 기계의 메커니즘을 이해하는 것이 단순히 의미를 짐작하는 것보다, 실수를 수정하거나 로봇을 더 안전한 방향으로 유도하는 데 훨씬 중요하기 때문입니다.

논문의 이야기: 진짜 톱니바퀴 찾기

Aquin Labs의 애쉬 맨비(Ash Manvi)와 사미리나 타즈린(Samreena Tajreen)은 로봇의 "노트"를 보는 것을 멈추고, 대신 직접 "배선도"를 들여다보기로 했습니다. 그들은 Gemma-2-2B라는 특정 유형의 로봇 뇌에 집중하며 다음과 같이 물었습니다. "만약 우리가 배선을 작고 관리하기 쉬운 덩어리로 자른다면, 로봇의 생각을 제어하는 정확한 스위치를 찾을 수 있을까?"

이를 위해 그들은 SVD(특이값 분해)라는 수학적 도구를 사용했습니다. SVD를 엉킨 실타래를 깔끔하고 곧은 줄로 풀어내는 매우 강력한 방법이라고 생각하면 됩니다. 보통 과학자들은 가장 큰 줄을 찾기 위해 엉킨 실타래 전체를 한꺼번에 풉니다. 하지만 저자들은 가장 유용한 줄들이 더 작고 구체적인 구역 안에 숨겨져 있을지도 모른다는 직감을 가졌습니다. 그래서 그들은 새로운 기술인 Tiled SVD(타일형 SVD)를 시도했습니다.

로봇의 배선을 거대한 스위치 벽이라고 상상해 보세요. 벽 전체를 한꺼번에 풀려고 하는 대신, 그들은 벽을 작은 정사각형 타일(모자이크처럼)로 조각냈습니다. 그리고 각 타일을 개별적으로 풀었습니다. 각 타일로부터 그들은 "메커니즘 마운트(mechanism mount)"라고 불리는 일종의 3중 패키지를 추출했습니다. 이는 다음을 포함합니다:

트리거 (v): 스위치를 작동시키는 특정 신호.
쓰기 (u): 스위치가 로봇의 생각을 밀어내는 방향.
강도 (σ): 그 스위치가 얼마나 강하게 밀어내는지의 정도.

저자들은 이 스위치들이 실제로 작동하는지 아니면 그냥 무작위적인 노이즈인지 확인하기 위해 단순히 추측만 한 것이 아니라 엄격한 테스트를 구축했습니다. 그들은 세 가지 주요 사항을 확인했습니다:

에너지 리프트(Energy Lift): 이 스위치를 켠다고 해서 로봇의 뇌가 실제로 유용하게 더 많은 일을 하게 되는가? 그들은 자신들의 "타일형" 접근 방식(벽을 작은 조각으로 자르는 방식)이 전체 벽을 한꺼번에 보는 것보다 훨씬 더 강력한 스위치를 찾는 데 효과적이라는 것을 발견했습니다.
커버리지(Coverage): 이 스위치들이 로봇의 뇌를 충분히 커버하는가? 그들은 타일당 몇 개의 스위치만으로도 로봇이 하는 거의 모든 일을 설명할 수 있다는 것을 발견했습니다.
인과적 스티어링(Causal Steering): 이 스위치들을 수동으로 조작했을 때, 로봇이 실제로 예측 가능한 방식으로 생각을 바꾸는가? 그들은 로봇의 "잔차 스트림(residual stream, 생각이 이동하는 주요 고속도로)"에 신호를 주입하고, 로봇의 최종 답변이 예상대로 변하는지 확인함으로써 이를 테스트했습니다.

그들이 발견한 것

결과는 놀라울 정도로 성공적이었습니다. 그들은 로봇 뇌의 모든 층(총 26개 층)에서 7가지 유형의 배선을 테스트했습니다. 이는 총 182개의 서로 다른 지점을 확인한 것입니다.

"큰" 스위치들: 로봇의 기억 속에 새로운 생각을 실제로 써넣는 두 가지 주요 스위치 유형(mlp.down 및 attn.o)에 대해, 그들은 로봇이 생각을 올바르게 바꾸는지 확인하는 전체 테스트를 수행했습니다. 이 52개의 지점 모두 통과했습니다.
"조력자" 스위치들: 정보를 처리하는 데 도움을 주지만 기억에 직접 쓰지는 않는 나머지 다섯 가지 유형의 스위치에 대해서는 약간 더 단순한 테스트를 사용했습니다. 이 130개의 지점 또한 모두 통과했습니다.

총합하여, 182개 중 182개의 지점이 테스트를 통과했습니다. 이는 그들이 로봇 뇌의 모든 부분에서 사용 가능하고 실제적인 메커니즘을 성공적으로 찾아냈음을 의미합니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

저자들은 자신들이 하지 않은 일에 대해서도 매우 명확하게 밝히고 있습니다. 그들은 "고양이"나 "사랑"과 같은 단어 사전을 찾은 것이 아닙니다. 새로운 개념을 발견하기 위한 기존의 "노트 작성" 방식(희소 자동 인코더 등)을 대체한 것도 아닙니다. 대신, 그들은 배선을 작은 타일 단위로 나누어 살펴보면 로봇이 생각하는 데 사용하는 실제 물리적 규칙을 찾을 수 있다는 것을 증명했습니다.

또한 그들은 어떤 부분의 뇌에서는 단순히 가공되지 않은 배선만을 봐서는 안 되며, "유효 경로(effective path, 로봇이 작동할 때 신호가 실제로 흐르는 방식)"를 보아야 한다는 것을 발견했습니다. 일단 이를 조정하자, 스위치들은 완벽하게 작동했습니다.

이 논문은 이 "타일형" 접근 방식이 시스템 전체를 한꺼번에 보는 것보다 로봇의 내부 톱니바퀴를 찾는 더 나은 방법임을 시사합니다. 이는 우리가 무슨 일이 일어나고 있는지 알려주는 별도의 번역기 없이도, 로봇의 행동을 구동하는 실제 "가중치 규칙(뇌 내부의 실제 수학)"을 찾을 수 있음을 보여주는 재현 가능하고 정직한 테스트입니다. 비록 이 방법은 하나의 특정 로봇 모델과 한 종류의 텍스트에 대해서만 테스트되었지만, 이들이 구축한 방법론은 이제 다른 뇌를 탐구하려는 누구라도 사용할 수 있도록 공개되어 있습니다.

기술 요약: 타일형 SVD를 이용한 사용 가능한 가중치 메커니즘 탐색

문제 정의
현재 기계론적 해석 가능성(mechanistic interpretability)의 지배적인 접근 방식들은 최대 활성화 텍스트를 기반으로 특징을 라벨링하기 위해 희소 오토인코더(SAE)와 같은 프록시 딕셔너리를 훈련하는 방식에 의존한다. 이러한 아틀라스는 개념을 성공적으로 식별하지만, 특징의 "정체성"은 네트워크 가중치 자체가 아니라 학습된 딕셔너리에 존재한다. 결과적으로, 잔차 스트림(residual stream)에 실제로 기록되는 구체적인 가중치 규칙은 암묵적인 상태로 남게 된다. 또한, 기존 방법들은 SVD를 단순히 렌즈나 회로 프리미티브(circuit primitive)로 사용할 뿐, 어떤 특정 청킹(chunking)된 가중치 행렬( $W$ )이 사용 가능한 온-디스트리뷰션(on-distribution) 메커니즘을 산출하는지를 결정하는 엄격한 테스트로 활용하지 못한다.

방법론
저자들은 **컬럼 타일형 SVD(column-tiled SVD)**를 사용하여 네트워크 내의 선형 사이트(linear sites)로부터 "메커니즘 마운트(mechanism mounts)"를 직접 추출하는 방법을 제안한다.

메커니즘 마운트(Mechanism Mounts): 마운트는 트리거( $v$ ), 쓰기 방향( $u$ ), 강도( $\sigma$ )를 나타내는 트리플 $(v, u, \sigma)$ 로 정의된다. 메커니즘의 정체성은 언어적 라벨이 아니라 가중치 규칙 그 자체이다.
타일링 전략(Tiling Strategy): 전체 가중치 행렬에 대해 SVD를 수행하는 대신, $W$ 의 입력 컬럼을 타일로 분할한다. 각 타일은 독립적으로 인수분해된다 ( $B_t = U_t \Sigma_t V_t^\top$ ). 각 타일의 상위- $k$ 모드(modes)가 마운트를 형성하기 위해 유지된다.
평가 지표(Evaluation Metrics): 저자들은 타일 로컬 리프트(tile-local lift)가 아닌 **전체-쓰기 에너지 리프트(full-write energy lift)**를 기준으로 판단되는 측정 스택을 도입한다.
- 전체-쓰기 에너지 리프트 ( $L_{full}$ ): 방향 $u$ 가 데이터셋 전체에 걸쳐 실제 쓰기 텐서 $\Delta h_t$ 의 에너지를 얼마나 잘 설명하는지 측정한다. 이 지표는 단일 컬럼 타일이 로컬 지표를 부풀리는 자명한(tautological) 이점을 피한다.
- 커버리지 포화도(Coverage Saturation): 타일별 랭크- $k$ 재구성에 의해 복구된 $W$ 의 프로베니우스 노름(Frobenius norm) 비율을 평가한다. 이는 리프트가 조기에(1~2개 모드 이내) 포화되어야 하며, 크게 붕괴되지 않아야 함을 요구한다.
- 인과적 스티어링 체크 (실험 C):* 잔차 쓰기(residual writes)의 경우, 저자들은 포스트-서브레이어 RMSNorm 이후에 스티어 방향을 주입하고, 결과적인 로짓 변화와 쓰기 방향의 언임베딩(unembedding) 사이의 스피어만 상관계수( $\rho$ )를 측정한다.
유효 경로 마운트(Effective-Path Mounts): mlp.up이나 attn.v와 같은 비-잔차 사이트의 경우, 가공되지 않은 모듈 가중치는 종종 인과적 체크에 실패한다. 이 방법은 실제 온-디스트리뷰션 사용량을 포착하기 위해 "유효 맵(effective maps)"을 구축한다 (예: 평균 게이트 활성화값에 의해 mlp.up에 가중치를 부여하거나, attn.v를 위해 리지 최소제곱법을 사용하는 방식).

실험 설정

모델: Google Gemma-2-2B (26개 레이어).
데이터: WikiText-2 원시 훈련 데이터, 16,384개 토큰 서브샘플링.
사이트: 모든 7개의 레이어별 선형 맵을 평가한다:
- 잔차 쓰기 (A/B/C 체크): mlp.down, attn.o.
- 비-잔사 (A/B 체크만 수행): mlp.gate, mlp.up, attn.q, attn.k, attn.v.
베이스라인: 제안된 타일형 SVD 방식은 전체 행렬 SVD, 컬럼 샘플링, 그리고 랜덤 베이스라인과 비교된다.

주요 결과
제안된 일련의 도구는 모든 182개 사이트-레이어(7개 사이트 $\times$ 26개 레이어)에 적용되었다.

실험 A (청킹): 타일형 SVD는 잔차 쓰기에 대해 모든 깊이에서 전체 행렬 SVD, 컬럼 샘플링, 랜덤 베이스라인보다 일관되게 더 높은 전체-쓰기 에너지 리프트를 달성했다. 이는 $W$ 의 로컬 컬럼 구조가 단일 글로벌 SVD에 의해 잘 요약되지 않음을 나타낸다.
실험 B (커버리지): 커버리지 리프트는 빠르게 포화되었으며, 타일당 1개 또는 2개의 모드만으로도 정점 성능에 도달했다. 추가적인 모드들은 주로 중복성을 더할 뿐이었다.
실험 C (인과적 깊이): 잔차 쓰기의 경우, 스티어링된 로짓과 쓰기 방향의 언임베딩 사이의 정렬도는 깊이가 깊어질수록 증가했다. 초기 레이어(0–5)는 약한 정렬을 보였으나(C1 체크에 대한 유예 정당화), 최종 레이어들은 높은 상관관계( $\rho \approx 0.91$ for mlp.down, $\rho \approx 0.75$ for attn.o)에 도달했다.
종합 판정: 이 스위트는 182/182 사이트-레이어를 통과했다.
- 잔차 사이트 (mlp.down, attn.o)는 A, B, C 체크를 모두 통과했다 (52/52).
- 비-잔차 사이트는 (유효 경로 마운트를 사용했을 때) A와 B 체크를 통과했다 (130/130).

의의 및 주장
저자들은 이 연구를 개념 발견을 위한 희소 오토인코더의 대체재나 인간이 읽을 수 있는 개념 이름을 생성하는 방법으로 포지셔닝하지 않는다. 대신, 이 연구의 의의는 다음과 같다:

공정한 청킹(Fair Chunking): 매칭된 예산 하에서 타일형 SVD가 글로벌 SVD나 컬럼 샘플링보다 사용 가능한 가중치 메커니즘을 추출하는 데 우월한 방법임을 입증한다.
로컬 지표에 대한 부정적 결과: 타일 로컬 리프트 지표는 자명하며, 전체-쓰기 에너지 리프트가 사용 가능성을 위한 필수 기준임을 강조한다.
재현 가능한 프로토콜: 트랜스포머 블록 내의 모든 선형 맵에 대해 메커니즘 추출을 검증하는 "정직한 멀티-사이트 프로토콜(honest multi-site protocol)"을 제공하며, 여기에는 깊이 조건부 인과적 체크가 포함된다.
정체성 정의: 메커니즘의 "정체성"은 외부 딕셔너리와 독립적인 가중치 규칙 그 자체임을 확립한다.

결론적으로, 특정 레이어에 대한 유효 경로 마운트를 사용하면, 단순하고 재현 가능한 체크 스위트를 통해 전체 모델 아키텍처 전반에 걸쳐 사용 가능한 메커니즘을 검증할 수 있다. 저자들은 이 프로토콜을 지원하기 위해 라이브러리 코드, 코퍼스 빌더, 실험 엔트리포인트를 공개한다.

논문의 이야기: 진짜 톱니바퀴 찾기

그들이 발견한 것

이것이 의미하는 바 (그리고 그렇지 않은 것)

유사한 논문