💬 NLP

A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations

이 논문은 대규모 언어 모델의 중첩 현상을 단일 전역 사전이 아닌 국소적 의미 차트의 시접 (sheaf) 아틀라스로 재해석하는 게이지 이론적 프레임워크를 제안하고, 이를 통해 국소적 간섭, 기하학적 전단, 비자명한 홀로노미라는 세 가지 해석 불가능성 장애물을 정의하고 Llama-3.2-3B 모델 실험을 통해 이를 정량적으로 검증합니다.

원저자: Hossein Javidnia

게시일 2026-03-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hossein Javidnia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 거대한 인공지능 (LLM) 이 어떻게 세상을 이해하고 있는지, 그리고 우리가 그 이해를 해석하는 데 왜 어려움을 겪는지에 대한 새로운 통찰을 제시합니다.

기존의 연구들은 AI 가 마치 하나의 거대한 사전을 가지고 있어, 모든 상황에서 같은 단어가 같은 의미를 가진다고 가정했습니다. 하지만 이 논문은 그 생각이 틀렸다고 말합니다. AI 는 상황에 따라 **수백 개의 작은 지도 (Atlas)**를 들고 다니며, 각 상황에 맞는 다른 '사전'을 사용하는 것입니다.

이 복잡한 개념을 일상적인 비유로 설명해 드리겠습니다.

🗺️ 핵심 비유: "AI 는 여행자가 아니라, 여러 도시를 오가는 여행자입니다"

1. 문제: "하나의 지도"는 존재하지 않습니다

기존의 해석 방법 (Mechanistic Interpretability) 은 AI 가 전 세계를 한 장의 지도로 보고 있다고 생각했습니다. "서울"이라고 하면 항상 같은 위치를 가리킨다고 믿은 거죠.
하지만 이 논문에 따르면, AI 는 상황에 따라 다른 지도를 사용합니다.

코딩할 때: 프로그래머의 언어로 된 지도를 봅니다.
시를 쓸 때: 시인의 언어로 된 지도를 봅니다.
뉴스를 읽을 때: 기자의 언어로 된 지도를 봅니다.

이론상 이 모든 지도를 하나로 합쳐서 "완벽한 전 세계 지도"를 만들 수 있다고 생각했지만, 실제로는 지속적인 충돌과 오해가 발생합니다.

2. 해결책: "국경선"과 "나침반"의 문제

저자는 AI 의 내부를 **여러 개의 작은 도시 (Local Charts)**로 나뉜 **전 세계 지도책 (Sheaf-theoretic Atlas)**으로 봅니다. 각 도시는 자신만의 규칙과 언어를 가지고 있습니다. 문제는 이 도시들 사이를 이동할 때 발생합니다.

이 논문은 AI 가 "전 세계 지도"를 제대로 만들지 못하는 세 가지 이유를 찾아냈습니다.

① 도시가 너무 붐비는 것 (Local Jamming / 국지적 정체)

비유: 어떤 작은 도시 (컨텍스트) 에는 너무 많은 사람 (정보) 이 몰려들었습니다. 도로가 꽉 막혀서 사람들이 서로 부딪히고, 길을 잃습니다.
의미: AI 가 한 번에 너무 많은 정보를 처리하려다 보니, 중요한 정보들이 서로 섞여서 의미가 흐려지는 현상입니다.

② 나침반이 틀린 것 (Proxy Shearing / 지도의 왜곡)

비유: 서울에서 부산으로 갈 때, 서울의 지도와 부산의 지도를 붙여보려는데 나침반의 방향이 서로 다릅니다. 서울에서는 "북"이 위를 가리키는데, 부산에서는 "북"이 옆을 가리킵니다. 두 지도를 붙이면 길이가 꼬이고 방향이 틀어집니다.
의미: 서로 다른 상황 (예: 코딩과 일상 대화) 사이를 연결할 때, AI 가 사용하는 기준이 맞지 않아 정보가 왜곡되는 현상입니다.

③ 길을 돌아오면 달라지는 것 (Nontrivial Holonomy / 순환의 함정)

비유: A 도시에서 B 도시, 다시 C 도시를 거쳐 다시 A 도시로 돌아왔다고 칩시다. 그런데 돌아와 보니 A 도시의 지도가 처음과 달라져 있습니다. 길을 한 바퀴 돌았을 때 나침반이 30 도 돌아버린 것처럼요.
의미: AI 가 문맥을 따라 순환할 때, 처음의 의미와 끝의 의미가 일치하지 않는 현상입니다. 이는 AI 내부의 구조가 단순하지 않고, 경로에 따라 의미가 변한다는 뜻입니다.

🔍 이 연구가 발견한 4 가지 놀라운 사실

저자는 이 이론을 실제 AI (Llama 3.2 등) 에 적용하여 다음과 같은 사실을 증명했습니다.

나침반은 계산 가능합니다 (Theorem A):
"길을 돌아왔을 때 나침반이 얼마나 돌아갔는지"를 수학적으로 정확히 계산할 수 있습니다. 이는 더 이상 추상적인 개념이 아니라, 실제로 측정 가능한 수치입니다.
왜곡은 피할 수 없습니다 (Theorem B):
지도가 서로 맞지 않을 때 (Shearing), 그 오차는 필연적으로 발생하는 에너지 손실입니다. 즉, "어떤 상황에서는 AI 가 무조건 오해할 수밖에 없다"는 것을 수학적으로 증명했습니다.
정체 현상은 증명됩니다 (Theorem C):
"도시가 너무 붐비고 있다"는 것을 단순히 느낌으로 말하는 게 아니라, 수학적 증명으로 "여기서부터는 정보가 섞일 수밖에 없다"는 것을 보장할 수 있습니다.
측정은 안정적입니다 (Result D):
이 방법론은 AI 의 특정 버전이나 실험 조건에 따라 결과가 뒤바뀌지 않습니다. 즉, 우리가 발견한 현상은 AI 의 진짜 본질을 보여주는 것입니다.

💡 결론: 왜 이것이 중요한가요?

이 논문은 "AI 가 어떻게 생각하는가?"를 단순히 "단어장"을 찾는 수준에서 넘어, **"AI 가 어떻게 세상을 조각내어 이해하는가?"**를 보는 새로운 렌즈를 제공합니다.

기존 생각: AI 는 하나의 거대한 두뇌로 모든 것을 이해한다.
새로운 생각: AI 는 수많은 작은 도시를 오가며, 각 도시마다 다른 규칙을 적용하는 여행자다. 그리고 이 도시들을 연결하는 과정에서 필연적으로 **오해 (Jamming, Shearing, Holonomy)**가 생긴다.

이 연구는 AI 의 오류가 단순히 "버그"가 아니라, 복잡한 구조에서 필연적으로 발생하는 기하학적 현상임을 보여줍니다. 이를 통해 우리는 AI 가 언제, 왜, 어떻게 잘못된 결론을 내리는지 더 정확하게 진단하고, 더 안전한 AI 를 만들 수 있는 길을 열었습니다.

한 줄 요약:

"AI 는 하나의 거대한 사전이 아니라, 상황에 따라 다른 지도를 들고 다니는 여행자입니다. 이 논문은 그 여행자들이 서로 다른 지도를 붙일 때 생기는 '오해'와 '혼란'을 수학적으로 측정하고 설명하는 새로운 지도책을 제시합니다."

1. 연구 배경 및 문제 정의 (Problem)

기존 가정의 한계: 기계적 해석 가능성 (Mechanistic Interpretability) 연구는 주로 단일한 전역적 (global) 특징 사전 (feature dictionary) 이 다양한 문맥 (context) 에서 레이어를 일관되게 설명할 수 있다고 가정합니다.
실제 현상: 대규모 언어 모델 (LLM) 과 중첩 (superposition) 의 소규모 모델 연구들은 이 가정이 실패할 수 있음을 시사합니다. 모델은 주변 차원보다 더 많은 특징을 인코딩하기 위해 희소한 방향들을 압축하여 저장하며, 이로 인해 간섭 (interference) 과 문맥 의존적 특징 정체성이 발생합니다.
핵심 문제: 전역적 해석 가능성의 실패가 단순히 '해석의 부재'가 아니라, 구조적이고 측정 가능한 국소적 (local) 에서 전역적 (global) 으로 연결하는 과정의 장애물로 이해되어야 합니다.

2. 방법론 (Methodology)

저자는 LLM 의 표현 공간을 시어프 (Sheaf) 이론과 **게이지 이론 (Gauge Theory)**을 기반으로 한 이산적 아틀라스 (atlas) 로 재구성합니다.

2.1. 기본 구조

계층화된 컨텍스트 복체 (Stratified Context Complex): 토큰 활성화 (activation) 를 클러스터링하여 국소적 차트 (local charts) 를 형성하고, 이를 그래프로 연결합니다.
국소 특징 공간: 각 차트에는 PCA 기반의 직교 기저 (transport/holonomy용) 와 희소 코딩 기반의 과완전 사전 (jamming/interference용) 이 할당됩니다.
부분 수송 (Partial Transports): 인접한 차트 간의 전이는 직사각형 행렬 (Rectangular partial transport) 로 표현되며, 이는 특징의 병합, 분할, 소멸을 허용합니다.

2.2. 세 가지 기하학적 장애물 (Geometric Obstructions)

전역적 해석 가능성의 실패를 세 가지 측정 가능한 지표로 분해합니다:

국소 정지 (Local Jamming, O1): 활성화된 특징의 수 (load) 가 Fisher 정보 기하학의 대역폭 (bandwidth) 을 초과하여 발생하는 간섭.
프록시 전단 (Proxy Shearing, O2): 중첩 영역 (overlap) 에서 기하학적 수송 (geometric transport) 과 고정된 대응 프록시 (correspondence proxy) 간의 불일치.
비자명한 홀로노미 (Nontrivial Holonomy, O3): 루프 (loop) 를 따라 이동할 때 경로에 의존하는 수송 (path-dependent transport) 으로 인해 발생하는 전역적 일관성 결여.

2.3. 주요 도구

Fisher/Gauss-Newton 메트릭: 특징 상호작용의 예측적 중요도를 가중치로 부여.
게이지 고정 (Gauge Fixing): 스패닝 트리 (spanning tree) 를 기반으로 게이지를 고정하여 홀로노미를 계산 가능한 값으로 변환.
폴라 분해 (Polar Decomposition): 수송 행렬에서 직교 성분을 추출하여 전단 (shearing) 을 측정.

3. 주요 기여 및 이론적 결과 (Key Contributions & Results)

논문은 4 가지 주요 결과 (A-D) 를 통해 이론을 실증적으로 검증했습니다.

(A) 스패닝-트리 게이지 항등식 (Spanning-tree Gauge Identity)

내용: 스패닝 트리에 게이지를 고정하면, 트리의 모든 에지 결함 (defect) 이 사라지고, 나머지 '코드 (chord)' 에지의 결함이 해당 기본 사이클의 **홀로노미 (holonomy)**와 정확히 일치함을 증명합니다.
의의: 홀로노미를 추상적인 루프 곱이 아닌, 계산 가능하고 게이지 불변인 구체적인 양으로 만듭니다. 실험에서 트리의 잔차는 수치적 오차 수준 ( $10^{-5}$ ) 이었고, 코드의 잔차는 홀로노미와 정밀하게 일치했습니다.

(B) 전단 (Shearing) 이 전이 불일치를 하한 짓음 (Shearing Lower-bounds Transfer Mismatch)

내용: 전단 점수 ( $D_{shear}$ ) 는 중첩 데이터에서의 실제 전이 불일치 에너지 ( $\Delta_{uv}$ ) 의 하한을 제공합니다 (Theorem 4.2).
의의: 전단 현상이 단순한 기하학적 불일치가 아니라, 고정된 프록시에 대한 피할 수 없는 (unavoidable) 전이 실패임을 의미합니다. 실험에서 전단 점수가 클수록 실제 불일치 에너지가 커지는 경향을 보였습니다.

(C) 인증된 정지/간섭 (Certified Jamming/Interference)

내용: Fisher 가중치와 유효 차원 (effective rank) 을 기반으로, 특정 특징 집합에서 간섭이 필연적으로 발생함을 수학적으로 증명하는 하한 (lower bound) 을 제시합니다 (Theorem 6.2).
의의: 간섭이 정성적인 현상이 아닌, 비자명한 (non-vacuous) 하한으로 인증될 수 있음을 보여줍니다. 다양한 시드와 하이퍼파라미터에서 높은 커버리지와 0 의 위반 (violation) 을 기록했습니다.

(D) 추정기 안정성 (Estimator Stability)

내용: 부트스트랩 (bootstrap) 과 샘플 크기 실험을 통해 $D_{shear}$ 와 $D_{hol}$ 이 유한한 중첩 샘플링 하에서도 안정적임을 입증했습니다.
의의: 특히 조건이 좋은 (well-conditioned) 지속적 (persistent) 서브시스템에서 추정기의 분산이 감소하여, 측정값이 샘플링의 우연이 아님을 확인했습니다.

4. 실험 및 검증 (Experiments & Robustness)

기반 모델: Llama 3.2 3B Instruct (Layer 16) 를 사용했으며, WikiText-103, C4, The-Stack-smol 데이터를 활용했습니다.
확장성 검증:
- 모델 일반화: Qwen 2.5 3B, Gemma 2 2B 모델에서도 동일한 결과가 재현됨.
- 레이어별 분석: 모델의 깊이에 따라 홀로노미와 전단이 비단조적으로 (non-monotonic) 변화함을 발견 (초기/후기 레이어에서 강함, 중간 레이어에서 약함).
- Null Control: 학습된 국소 기저를 무작위 직교 기저로 대체했을 때, 홀로노미와 전단 값이 급격히 증가하여 측정된 기하학적 구조가 학습된 표현에 의존함을 확인.
- 하이퍼파라미터 강건성: 아틀라스 크기, 그래프 연결도, Ridge 정규화 파라미터 변화에도 주요 진단 지표가 안정적임.

5. 의의 및 결론 (Significance & Conclusion)

방법론적 전환: 해석 가능성을 "전역 사전 찾기"에서 "국소적 아틀라스 구성 및 그 장애물 측정" 문제로 재정의합니다.
구체적 진단 도구: 전역적 해석 실패의 원인을 국소 과부하 (Jamming), 차트 간 불일치 (Shearing), **경로 의존적 수송 (Holonomy)**으로 명확히 분리하여 진단할 수 있는 도구를 제공합니다.
재현 가능성: 고정된 모델 (frozen model) 에 적용 가능하며, 다양한 모델 아키텍처와 설정에서 재현되는 구조적 속성을 포착합니다.
미래 방향: 이 프레임워크는 LLM 내부의 복잡한 중첩 현상을 이해하고, 모델의 안전성 및 견고성 평가 (safety evaluation) 를 위한 새로운 수학적 기초를 마련합니다.

요약하자면, 이 논문은 LLM 의 내부 표현이 단일한 전역적 언어로 설명될 수 없으며, 대신 게이지 이론과 시어프 이론을 통해 국소적 차트들의 집합 (아틀라스) 으로 이해해야 함을 수학적으로 증명하고, 이를 측정 가능한 3 가지 기하학적 장애물로 구체화한 획기적인 연구입니다.