논문 요약: 트랜스포머 표현에서의 방향과 크기의 분리 (Disentangling Direction and Magnitude in Transformer Representations)

이 논문은 트랜스포머 (Transformer) 모델의 은닉 상태 (hidden states) 가 고차원 벡터로 인코딩된다는 사실에 주목하며, 이 벡터의 **방향 (Direction, 단위 벡터)**과 **크기 (Magnitude, L2 노름)**가 하류 계산에서 서로 다른 기능적 역할을 하는지 규명하는 것을 목표로 합니다. 저자들은 Pythia 계열 모델을 대상으로 실험하여, 두 기하학적 속성이 부분적으로 독립적인 계산 경로를 가지며 서로 다른 인지 기능에 기여한다는 '교차 이중 분리 (Crossover Double Dissociation)' 현상을 발견했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 기존의 한계: '선형 표현 가설 (Linear Representation Hypothesis)'은 트랜스포머가 개념을 활성화 공간의 특정 방향으로 인코딩한다고 주장합니다. 그러나 벡터의 **크기 (Norm)**가 어떤 역할을 하는지에 대해서는 체계적인 연구가 부족했습니다.
• 혼란 요인 (Confounding Problem): 기존 연구에서 방향과 크기를 독립적으로 변형 (perturbation) 할 때, 두 변형이 표현 공간에서 생성하는 유클리드 거리 (변위) 가 다릅니다. 즉, 방향이 더 중요하다는 결론이 단순히 변형의 '크기' 차이 때문일 수 있는 혼란이 존재했습니다.
• 핵심 질문: 방향과 크기가 동일한 변위 크기를 가질 때, 각각이 언어 모델링 손실 (Language Modeling Loss) 과 구문 처리 (Syntactic Processing) 에 미치는 영향은 어떻게 다른가?

2. 방법론: L2-매칭 변형 분석 (Methodology)

이 연구의 핵심 방법론은 L2-Matched Perturbation Analysis입니다. 이는 방향과 크기 변형이 원본 벡터로부터 **동일한 유클리드 거리 ($\delta$)**만큼 이동하도록 제어하는 기법입니다.

• 수식적 정의:
  • 원본 벡터 $h$를 크기 $\|h\|$와 단위 방향 벡터 $\hat{h}$로 분해합니다.
  • 크기 변형 (Magnitude Perturbation): 방향을 유지하고 크기를 스케일링하여 변위 $\delta$를 만듭니다.
  • 각도 변형 (Angular Perturbation): 크기를 유지하고 방향을 회전시켜 동일한 변위 $\delta$를 만듭니다.
• 실험 설정:
  • 모델: Pythia 계열 (410M, 1.4B 파라미터).
  • 변형 위치: 중간 레이어 (8~15 레이어).
  • 평가 지표:
    1. 언어 모델링 손실: 다음 토큰 예측의 교차 엔트로피 (Cross-entropy).
    2. 구문 정확도: BLiMP 벤치마크의 주어 - 동사 일치 (Subject-Verb Agreement) 작업.
  • 인과적 개입 (Causal Intervention): 손상된 경로를 복구 (Repair) 하는 실험을 통해 기작을 규명합니다.

3. 주요 결과 (Key Results)

3.1. 교차 이중 분리 (Crossover Double Dissociation)

가장 놀라운 발견은 변형 유형에 따라 손상되는 기능이 정반대라는 점입니다.

• 해석: 방향은 다음 토큰 예측과 같은 전반적인 언어 생성에 필수적이며, 크기는 주어 - 동사 일치와 같은 정교한 구문 처리에 필수적입니다.

3.2. 스케일 일반화 (Scale Generalization)

• Pythia-1.4B 모델에서도 동일한 패턴이 관찰되었으며, 오히려 방향 변형에 대한 손실 증가 비율이 더 커졌습니다 (410M 대비 2~4 배 강화). 이는 대규모 모델일수록 방향 정보에 더 의존함을 시사합니다.

3.3. 아키텍처 의존성 (Architecture Dependence)

• 중요한 발견: 이 현상은 LayerNorm을 사용하는 Pythia/OPT 계열 모델에 국한됩니다.
• RMSNorm 기반 모델 (TinyLlama): 방향과 크기의 역할이 반대로 나타났습니다. TinyLlama에서는 크기 변형이 손실 (Loss) 에 더 큰 피해를 주었습니다. 이는 정규화 (Normalization) 방식이 기하학적 속성의 기능적 역할을 결정한다는 것을 의미합니다.

4. 기작 분석 (Mechanistic Analysis)

인과적 개입 실험을 통해 두 속성이 서로 다른 경로를 통해 정보를 전달함을 확인했습니다.

1. 방향 $\rightarrow$ 어텐션 (Attention) 경로:

   • 방향 변형은 어텐션 패턴을 교란시킵니다.
   • 복구 실험: 손상된 어텐션 출력을 깨끗한 데이터로 교체 (Repair) 했을 때, 방향 변형으로 인한 손실의 **28.4%**가 회복되었습니다.
   • 결론: 방향은 '어떤 토큰이 어떤 토큰에 주의를 기울여야 하는지 (Routing)'를 결정하는 데 핵심적입니다.

2. 크기 $\rightarrow$ 레이어 정규화 (LayerNorm) 경로:

   • 크기 변형은 LayerNorm 경로를 통해 구문 처리에 영향을 줍니다.
   • 복구 실험: LayerNorm 출력을 복구했을 때, 크기 변형으로 인한 손상의 **29.9%**가 회복되었습니다.
   • 구문적 의미: 벡터의 크기는 **구문 트리 깊이 (Parse Tree Depth)**와 강한 상관관계를 가집니다. 크기를 변형하면 토큰의 구조적 위치 정보가 소실되어 주어 - 동사 일치와 같은 구문 계산이 실패합니다.

5. 기여 및 의의 (Contributions & Significance)

1. 방법론적 기여: L2-매칭 변형 분석을 통해 방향과 크기의 기능적 중요성을 공평하게 비교할 수 있는 새로운 프레임워크를 제시했습니다.
2. 이론적 정립: 기존 '선형 표현 가설'을 확장하여, 방향은 의미적 범주 (Semantic Categories) 를 인코딩하고, 크기는 구조적 위치 (Structural Position) 와 처리 강도 (Processing Intensity) 를 조절한다는 새로운 가설을 제시했습니다.
3. 모델 편집 및 해석 가능성 (Implications):
   • 모델 편집: 지식 수정 시 언어 생성 능력을 유지하려면 방향을 보존하고, 구문적 일관성을 유지하려면 크기를 보존하는 정교한 편집 전략이 필요함을 시사합니다.
   • 해석 가능성: 벡터를 방향과 크기로 분리하여 분석하면, 기존에는 놓쳤던 구조적 정보 흐름을 발견할 수 있습니다.
4. 아키텍처 통찰: 트랜스포머의 기하학적 속성 역할이 아키텍처 (특히 정규화 방식) 에 따라 근본적으로 달라질 수 있음을 보여주었습니다.

6. 결론

이 논문은 트랜스포머의 은닉 상태 벡터에서 방향과 크기가 단순한 수학적 속성이 아니라, 각각 어텐션 라우팅과 LayerNorm 매개 처리를 통해 서로 다른 계산적 역할을 수행한다는 것을 실험적으로 증명했습니다. 특히 이 현상이 LayerNorm 기반 아키텍처에 국한된다는 점은 신경 언어 모델의 내부 작동 원리를 이해하고 더 나은 모델을 설계하는 데 중요한 통찰을 제공합니다.