[기술 요약] 선형 해석 가능성이 작동하는 이유: 구조적 제약에 따른 불변 부분 공간(Invariant Subspaces)

1. 문제 정의 (Problem Statement)

최근 트랜스포머(Transformer) 모델의 해석 가능성 연구에서 **선형 프로브(Linear Probes)**와 **희소 오토인코더(Sparse Autoencoders, SAE)**가 모델 내부의 의미론적 구조를 매우 효과적으로 추출해낸다는 사실이 밝혀졌습니다. 하지만 여기서 근본적인 이론적 의문이 발생합니다.

"트랜스포머는 매우 깊고 비선형적인(Non-linear) 시스템인데, 왜 단순한 선형 연산만으로 내부의 복잡한 의미 정보를 성공적으로 추출할 수 있는가?"

기존 연구들은 주로 학습 목적 함수(Next-token prediction)나 경사 하강법의 암묵적 편향(Implicit bias)에 집중했으나, 본 논문은 모델의 아키텍처(Architecture) 자체가 이러한 선형 구조를 강제한다는 점에 주목합니다.

2. 핵심 방법론 및 이론적 프레임워크 (Methodology & Theoretical Framework)

본 논문은 트랜스포머의 정보 전달 방식이 **선형 인터페이스(Linear Interfaces)**를 통해 이루어진다는 점을 이용해 수학적 증명을 전개합니다.

A. 주요 가정 (Assumptions)

1. 잔차 연결(Residual Stream): 정보가 가산적으로 업데이트됨.
2. 선형 통신 인터페이스: 어텐션의 OV 회로(Output-Value circuit)와 언임베딩(Unembedding) 행렬이 선형 사상(Linear map)으로 작용함.
3. 공유 파라미터: 모든 토큰 위치에 동일한 파라미터가 적용됨.

B. 핵심 이론 (Key Theorems)

1. 불변 부분 공간 필요성 정리 (Invariant Subspace Necessity Theorem):
   어떤 의미론적 특징(Semantic feature)이 선형 인터페이스를 통해 디코딩된다면, 해당 특징과 관련된 정보는 문맥(Context)에 관계없이 항상 동일한 불변 부분 공간(Invariant Subspace) 내에 존재해야 함을 증명했습니다. 즉, 문맥이 바뀌어도 특정 개념(예: '프랑스')을 나타내는 방향(Direction)은 일정하게 유지됩니다.

2. 자기 참조 속성 (Self-Reference Property):
   특정 특징을 나타내는 토큰 그 자체의 표현(Representation)이 해당 특징의 기하학적 방향(Direction)을 직접 제공한다는 성질입니다. 예를 들어, "France"라는 토큰의 활성화 벡터는 다른 문맥(예: "에펠탑이 있는 나라")에서 나타나는 '프랑스' 관련 특징의 방향과 일치합니다.

3. 용량 제약과 특징 분해 (Capacity Constraints & Factorization):
   어휘 사전의 크기($|V|$)가 은닉 차원($d$)보다 훨씬 크기 때문에, 모델은 효율적인 표현을 위해 토큰들을 독립적인 방향이 아닌, 공유된 의미론적 특징들의 조합(Factorization)으로 표현할 수밖에 없음을 수학적으로 보였습니다.

3. 주요 기여 (Key Contributions)

1. 이론적 통합: 선형 프로브, SAE, 활성화 스티어링(Steering)이 왜 성공하는지에 대해 '아키텍처적 필연성'이라는 통합된 원리를 제공했습니다.
2. 제로샷 식별 가능성: 별도의 학습 데이터나 레이블 없이도, 특정 토큰의 벡터를 투영(Projection)하는 것만으로 의미론적 방향을 찾아낼 수 있는 Identity-Projection 개념을 도입했습니다.
3. 비선형 헤드와의 비교 실험: MLP(비선형) 헤드를 사용할 경우 선형 구조가 반드시 나타나지는 않지만, 선형 인터페이스(Unembedding)를 사용할 경우 선형 구조가 필수적으로 발생함을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

논문은 8개의 분류 작업(동물, 국가, 감정, 언어, 과일 등)과 4개의 모델 패밀리(LLaMA3, Mistral, GPT2 등)를 통해 검증을 수행했습니다.

• 자기 참조 속성 검증: 어텐션 헤드의 대부분(약 90%~98%)에서 클래스 토큰의 방향이 해당 클래스의 다른 인스턴스들과 높은 코사인 유사도를 보임을 확인했습니다.
• 다양한 방법론의 수렴:
  • Zero-shot Probe: 학습 없이 토큰 방향만으로 분류.
  • Unsupervised Probe: 클래스 토큰만을 사용하여 학습한 후 인스턴스 분류.
  • SAE Probe: 비지도 학습된 SAE 특징을 이용한 분류.
    이 세 방법 모두 높은 정확도를 보였으며, 이는 모델 내부에 공통된 불변 방향이 존재함을 강력히 뒷받침합니다.
• 다의어(Polysemy) 처리: "Apple"과 같이 과일과 기업의 의미를 동시에 갖는 토큰도 문맥에 따라 해당 방향으로 적절히 분리되어 표현됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 **"트랜스포머는 설계 단계부터 해석 가능하도록 구조화되어 있다(Transformers are interpretable by design)"**는 강력한 결론을 제시합니다.

• 학술적 의의: 해석 가능성 연구를 단순한 경험적 관찰에서 아키텍처 기반의 원리적 이해로 격상시켰습니다.
• 실용적 의의: 모델의 내부 작동 원리를 파악하기 위해 대규모 레이블링 데이터가 필요하지 않음을 보여주었으며, SAE와 같은 최신 기법들이 왜 효과적인지에 대한 이론적 토대를 마련했습니다.

---

요약 키워드: Invariant Subspace, Self-Reference Property, Linear Interpretability, Transformer Architecture, Identity-Projection, Sparse Autoencoders.