논문 요약: Transformer 의 위치 인코딩 (Positional Encodings) 기하학

이 논문은 Giansalvo Cirrincione 에 의해 작성되었으며, Transformer 아키텍처에서 **위치 인코딩 (Positional Encoding)**의 수학적 기초를 확립하고 최적의 설계 원리를 제시합니다. 기존에 실험적 시행착오 (trial and error) 에 의존해 왔던 위치 인코딩에 대한 이론적 공백을 메우기 위해, 위치 정보의 필요성, 학습된 인코딩의 구조, 그리고 최적의 인코딩이 갖춰야 할 기하학적 특성에 대한 세 가지 핵심 질문을 다룹니다.

1. 연구 배경 및 문제 정의

Transformer 모델은 어텐션 (attention) 메커니즘과 행렬 곱셈을 기반으로 하여, 기본적으로 입력 시퀀스의 순서에 무관한 (permutation-invariant) 연산을 수행합니다. 따라서 단어의 순서가 중요한 언어 태스크를 수행하려면 위치 정보를 벡터 표현에 주입해야 합니다.

• 현재 상황: Sinusoidal(정현파), Learned(학습 가능), RoPE, ALiBi 등 다양한 위치 인코딩 기법이 제안되었으나, 왜 이러한 기법들이 작동하는지, 혹은 어떤 기하학적 속성을 가져야 최적인지에 대한 통일된 이론적 틀은 부재했습니다.
• 연구 목표: 위치 인코딩에 대한 엄밀한 수학적 이론을 개발하고, 최적의 인코딩을 구성하는 방법을 제시하며, 이를 평가할 수 있는 새로운 지표를 도입하는 것입니다.

2. 주요 방법론 및 이론적 기여

논문은 네 가지 주요 정리 (Theorem) 와 가설 (Conjecture) 을 통해 이론적 체계를 구축합니다.

2.1 위치 정보의 필요성 (Theorem 1: Necessity of Positional Encoding)

• 내용: 위치 신호가 전혀 없는 Transformer 는 입력 토큰의 모든 순열 (permutation) 을 동일한 것으로 취급합니다.
• 증명: 입력 순서를 바꾸면 어텐션 점수 행렬의 행 순서만 바뀌며, 소프트맥스 (softmax) 가 행 단위 (row-wise) 로 적용되므로 출력도 순서대로 바뀝니다. 즉, 모델은 원래 시퀀스와 순열된 시퀀스를 구별할 수 없습니다.
• 결론: 단어 순서에 민감한 태스크를 해결하려면 위치 인코딩이 필수 불가결합니다.

2.2 학습된 인코딩의 분리 성질 (Theorem 4: Positional Separation Theorem)

• 내용: 위치 인코딩 행렬 $P$를 학습 가능한 매개변수로 두고 경사 하강법으로 최적화할 때, 전역 최소점 (global minimiser) 에서는 서로 다른 위치 $i$와 $j$에 대해 항상 $p_i \neq p_j$가 성립합니다.
• 조건:
  1. 비정상성 (Non-stationarity): 서로 다른 위치는 서로 다른 토큰 분포를 가짐.
  2. 순서 민감성 (Order sensitivity): 토큰 순서 변경이 손실 함수를 변화시킴.
  3. 비퇴화성 (Non-degeneracy): 어텐션 가중치 행렬이 평균 임베딩 차이를 0 으로 만들지 않음.
• 의미: 학습이 수렴하면 모델은 절대 두 개의 서로 다른 위치를 동일한 벡터로 압축 (collapse) 하지 않습니다.

2.3 정보 최적 인코딩 및 MDS 구성 (Proposition 6 & Algorithm 1)

• 핵심 아이디어: 각 위치 $i$에서 나타나는 단어들의 분포 $\mu_i$를 정의하고, 이 분포들 간의 통계적 거리를 Hellinger 거리 ($d_H$) 로 측정합니다. 최적의 위치 인코딩은 이 Hellinger 거리를 유클리드 공간에서의 거리 ($\|p_i - p_j\|$) 로 정확히 재현하는 것입니다.
• 기하학적 한계: Hellinger 거리는 확률 단순체 (probability simplex) 위의 측지선 거리이므로 곡면 (curved manifold) 에 존재합니다. 이를 평평한 유클리드 공간 ($\mathbb{R}^d$) 에 등거리 (isometry) 로 매핑하는 것은 일반적으로 불가능합니다.
• 해결책: **고전적 다차원 척도법 (Classical Multidimensional Scaling, MDS)**을 사용하여 Hellinger 거리 행렬을 가장 잘 근사하는 평면 좌표를 찾습니다.
  • Stress (스트레스) 지표: 인코딩이 corpus 의 기하학적 구조를 얼마나 잘 재현하는지 측정하는 단일 수치입니다.
    $$\text{stress}(P) = \frac{\sum_{i<j} (\|p_i - p_j\| - d_H(\mu_i, \mu_j))^2}{\sum_{i<j} d_H(\mu_i, \mu_j)^2}$$
  • Sinusoidal 인코딩의 이론적 정당화: 위치 통계가 위치에 따라 매끄럽게 변하는 (shift-equivariant) 코퍼스의 경우, MDS 로 구한 최적 해는 정현파 (sinusoidal) 함수에 근사합니다. 이는 Vaswani et al. (2017) 이 제시하지 못했던 Sinusoidal 인코딩의 이론적 근거를 제공합니다.

2.4 최소 파라미터화 및 Monotonicity Conjecture

• 최소 파라미터화: 최적 인코딩의 유효 차원 (effective rank) 은 $r = \text{rank}(B)$입니다. 여기서 $B$는 Hellinger 거리의 이중 중심화 그람 행렬입니다. $r < d$인 경우, $nd$개의 파라미터 대신$r(n+d)$개의 파라미터로 인코딩을 표현할 수 있어 효율성이 극대화됩니다.
• 단조성 추측 (Monotonicity Conjecture): 시퀀스 상에서 거리가 가까운 위치일수록 임베딩 공간에서도 거리가 가까워야 한다는 성질입니다.
  • NTK (Neural Tangent Kernel) regime 증명: 부록 A 에서 MLM(마스킹 언어 모델링) 및 [CLS] 분류 손실에 대해 NTK regime 하에서 이 추측이 수학적으로 증명되었습니다.

3. 실험 결과

논문은 합성 코퍼스와 실제 데이터셋 (SST-2, IMDB) 을 사용하여 이론을 검증했습니다.

1. Stress 비교:
   • MDS (Proposed): 두 데이터셋 모두에서 Stress 가 거의 0 에 수렴하여 이론적 최적 해를 달성했습니다.
   • ALiBi: SST-2(짧은 문장) 에서 Sinusoidal 및 RoPE 보다 훨씬 낮은 Stress 를 보였습니다. 이는 SST-2 의 위치 통계가 거의 이동 불변 (shift-equivariant) 이어서 Rank-1 MDS 근사가 잘 작동하기 때문으로 해석됩니다.
   • Sinusoidal & RoPE: 설계 원리 (절대/상대 위치) 는 다르지만, 동일한 주파수 스케줄을 공유하므로 Stress 값이 매우 유사했습니다.
2. 차원 (d) 에 따른 Stress 변화:
   • Sinusoidal 및 RoPE 는 차원 $d$가 증가함에 따라 Stress 가 기하급수적으로 증가하는 반면, MDS 는 $d$가 $\text{rank}(B)$에 도달하면 0 이 됩니다.
3. 학습된 인코딩의 분리성:
   • Scratch 학습 모델과 Pre-trained 모델 모두에서 서로 다른 위치의 임베딩 간 최소 거리가 양수 (strictly positive) 로 유지되어 Theorem 4를 검증했습니다.
4. 단조성 검증:
   • MDS 인코딩은 무작위 베이스라인 (50%) 보다 훨씬 낮은 위반률 (22.0%) 을 보였으며, Pre-trained BERT 모델도 25.4% 로 단조성을 부분적으로 회복함을 확인했습니다.
5. 레이어별 Stress 분석:
   • Pre-trained BERT 의 3 번째 레이어에서 Sinusoidal 인코딩의 투영 Stress 가 급격히 증가하는 것을 발견했습니다. 이는 해당 레이어가 문법적/구문적 처리를 위해 위치 신호를 가장 적극적으로 재구성함을 시사합니다.

4. 의의 및 결론

이 논문은 Transformer 의 위치 인코딩에 대해 다음과 같은 중요한 기여를 했습니다:

1. 이론적 기반 확립: 위치 인코딩이 단순한 휴리스틱이 아니라, 순서 민감성 태스크를 해결하기 위한 수학적 필수 조건임을 증명했습니다.
2. 최적 설계 기준 제시: Hellinger 거리 기반의 MDS 를 통해 코퍼스 특성에 맞는 최적의 위치 인코딩을 구성하는 알고리즘을 제시했습니다.
3. 새로운 진단 도구 (Stress): 학습 없이도 코퍼스에서 계산 가능한 'Stress' 지표를 도입하여, 다양한 인코딩 기법의 기하학적 적합성을 정량적으로 평가할 수 있게 했습니다.
4. 실용적 통찰:
   • Sinusoidal 인코딩이 특정 조건 (매끄러운 위치 통계) 에서 최적에 가깝다는 것을 이론적으로 설명했습니다.
   • ALiBi 와 같은 최신 기법이 특정 데이터셋에서 우수한 성능을 보이는 이유를 Rank-1 기하학적 구조와 연결하여 해석했습니다.
   • 인코딩 행렬의 차원을 $\text{rank}(B)$로 줄임으로써 파라미터 효율성을 극대화할 수 있음을 보였습니다.

결론적으로, 이 연구는 위치 인코딩을 "실험적으로 발견된 구성 요소"에서 "통계적 기하학에 기반한 최적화 문제"로 패러다임을 전환시켰으며, 향후 더 효율적이고 해석 가능한 Transformer 아키텍처 설계의 기초를 마련했습니다.