기술 요약: Sinusoid를 넘어: 트랜스포머 위치 인코딩을 위한 Morlet 웨이브릿 프레임워크

1. 문제 정의

트랜스포머의 표준 위치 인코딩, 특히 정현파(sinusoidal) 및 회전 위치 임베딩(ROPE)은 모든 위치를 동일하게 국소적(equally local)으로 취급합니다. 이들은 토큰이 '어디에' 있는지는 인코딩하지만, 토큰의 위치적 영향력이 '얼마나 멀리'까지 확장되어야 하는지는 인코딩하지 못합니다.

• Sinusoidal PE: 모든 위치에서 균일한 진폭을 가진 고정된 주파수를 사용합니다.
• ROPE: 상대적 위치를 복소 공간에서의 회전으로 인코딩하지만, 일정한 진폭 포락선(모든 위치가 동일하게 존재함)을 유지합니다.
• 이론적 격차: 이러한 방법들은 통합된 수학적 프레임워크가 결여되어 있습니다. 또한, 이들은 신호의 정상성(stationarity, 무한한 위치 불확실성)을 가정하는데, 이는 문자의 분포와 구문 구조가 위치에 따라 변하는 비정상적(non-stationary) 신호인 언어에는 최적화되지 않은 방식입니다.

2. 방법론: Morlet 위치 인코딩 (MOPE)

저자들은 **Morlet 위치 인코딩 (MOPE)**을 제안하며, 이는 복소 Morlet 웨이브릿을 위치 인코딩의 자연스러운 기저(basis)로 활용합니다. Morlet 웨이브릿은 위치와 주파수 모두에서 불확실성을 동시에 최소화하며, 하이젠베르크의 불확실성 원리를 준수합니다.

2.1 정의

위치 $b$와 임베딩 차원 $i$에 대한 토큰에 대해, MOPE는 다음과 같이 정의됩니다:
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
이 공식은 차원당 두 개의 학습 가능한 파라미터를 도입합니다:

1. 중심 주파수 ($\omega_i$): 진동율(위상)을 결정합니다.
2. 대역폭 ($\sigma_i$): 가우시안 국소성 포락선(진폭 감쇠)을 결정합니다.

2.2 기하학적 해석

• 위상(Phase): 위상 성분 $\omega_i b$는 ROPE의 회전각과 동일합니다. 이는 진동 주기 내에서의 상대적 위치를 인코딩합니다.
• 진폭(Amplitude): 항 $e^{-b^2/2\sigma_i^2}$는 시퀀스 원점($b=0$)을 중심으로 하는 가우시안 포락선 역할을 합니다. 진폭이 1로 고정된 표준 인코딩($\sigma_i \to \infty$를 의미)과 달리, MOPE는 유한한 $\sigma_i$를 학습하여 시퀀스 시작점으로부터 거리에 따라 위치 신호가 감쇠되도록 합니다.
• 불확실성 트레이드오프: MOPE는 위치 불확실성($\Delta b_i = \sigma_i$)과 주파수 불확실성($\Delta \omega_i = 1/\sigma_i$) 사이의 최적의 트레이드오프를 학습하며, $\Delta b_i \cdot \Delta \omega_i \geq 1/2$를 만족합니다.

2.3 기존 방법론의 통합

본 논문은 표준 인코딩들이 MOPE의 제한적인 경우(limiting cases)임을 증명합니다:

• Sinusoidal PE: $\sigma_i \to \infty$일 때(무한한 국소성, 감쇠 없음) 나타납니다.
• ROPE: $\sigma_i \to \infty$일 때 나타납니다. MOPE의 교차 상관 커널은 이 극한에서 ROPE 어텐션 스코어를 정확히 회복하며, 일반적인 경우에는 학습된 가우시안 국소성 커널에 의해 변조됩니다.
• ALiBi: 개념적으로 제로 주파수 국소성 한계(진동 없는 지수적 감쇠)와 유사합니다.

3. 주요 기여

1. 이론적 통합: sin/cos PE와 ROPE가 MOPE의 퇴화된 사례(locality가 꺼진 상태)임을 입증했습니다.
2. 위상 등가성: MOPE의 위상 차이가 ROPE의 회전각과 수학적으로 동일함을 확립했습니다. 주요 차이점은 MOPE에 학습된 가우시안 국소성 커널이 추가된다는 점입니다.
3. 경험적 결합: MOPE를 **에너지 게이트 어텐션(Energy-Gated Attention, EGA)**과 결로합했습니다. 그 결과 모델인 EGA-MORLET은 TinyShakespeare 데이터셋에서 표준 어텐션 대비 검증 퍼플렉시티(validation perplexity)에서 +0.119의 개선을 달성하였으며, 두 구성 요소를 각각 단독으로 사용했을 때보다 우수한 성능을 보였습니다.
4. 파라미터 분석: 학습된 파라미터를 분석한 결과, 128개의 주파수-대역폭 쌍이 모두 **웨이브릿 허용 경계(wavelet admissibility boundary)**인 $\omega_i \sigma_i = 5$로 정확히 수렴함을 발견했습니다.

4. 실험 결과

실험은 컨텍스트 길이 $T=256$, 6개 레이어, 8개 헤드를 가진 캐릭터 수준의 TinyShakespeare 데이터셋을 대상으로 수행되었습니다.

• 성능:

  • EGA-MORLET: 1.3550 Val Perplexity (베이스라인 대비 +0.119).
  • EGA-1 (Baseline): 1.3821 (+0.092).
  • ROPE: 1.4637 (+0.011).
  • Sin/Cos: 1.5863 (-0.112).
  • MOPE 단독: 1.5060 (-0.032).
  • 참고: MOPE 단독으로는 학습된 임베딩 베이스라인보다 성능이 낮았는데, 이는 작은 모델의 제한된 용량(룩업 테이블의 65,536개 파라미터 대비 PE의 512개 파라미터)과 원점 중심 가우시안의 구조적 편향 때문으로 보입니다. 그러나 EGA와 결합했을 때 시너지는 상당했습니다.

• 학습된 파라미터:

  • 허용 경계: 모든 128개 차원이 $\omega_i \sigma_i = 5.000$으로 수렴했습니다. 옵티마이저는 지속적으로 파라미터를 이 경계로 밀어붙였으며, 이는 모델이 제약 조건이 허용하는 것보다 더 강한 국소성과 낮은 주파수를 선호함을 시사합니다.
  • 스케일 집중: 학습된 대역폭($\sigma_i$)은 1.49에서 4.50 토큰 사이였습니다. 이는 모델이 더 넓은 스케일(절, 문장 등 긴 컨텍스트에서 기대되는 스케일)을 아우르기보다는, 모든 위치적 용량을 캐릭터-단어 스케일에 집중시켰음을 나타냅니다.
  • 주파수 압축: 학습된 주파수는 초기 이분법적(dyadic) 범위보다 훨씬 높은 좁은 대역($\omega_i \in [1.11, 3.35]$)으로 압축되었습니다.

5. 의의 및 주장

본 논문은 진동하는 위치 인코딩에 대한 최초의 통합적 수학적 프레임워크를 제공하며, 이들이 시간-주파수 국소화된 웨이브릿 기저의 특수한 사례임을 밝혀냈다고 주장합니다.

• 이론적 통찰: 본 연구는 언어가 비정상적(non-stationary)이므로, 위치 인코딩이 무한한 국소성($\sigma = \infty$)을 가정해서는 안 된다고 상정합니다. MOPE는 모델이 각 차원에 적합한 "시간적 영향 범위"를 학습할 수 있게 합니다.
• 상보성: 실험 결과는 스펙트럼 현저성(spectral salience)(EGA가 처리, 무엇에 주목할지 결정)과 시간-주파수 국소성(time-frequency locality)(MOPE가 처리, 영향력이 어디까지 확장될지 결정)이 상보적인 메커니즘임을 시사합니다. 이들의 결합은 초가산적(super-additive) 이득을 창출합니다.
• 재현성: $\omega \sigma = 5$로의 수렴은 위치 인코딩 실험과 별도의 에너지 게이트 실험(Paper 1) 모두에서 관찰되었으며, 이는 캐릭터 수준 언어 신호의 재현 가능한 경험적 특성임을 시사합니다.

6. 한계 및 향 향후 과제

저자들은 현재의 연구 결과에 대해 겸허한 태도를 유지합니다:

• 규모: 실험은 캐릭터 수준, 짧은 컨텍스트($T=256$), 단일 시드로 제한되었습니다.
• 원점 편향: 현재의 공식은 $b=0$을 중심으로 하는 가우시안을 사용하여, 시퀀스 시작 부분 근처의 토큰이 끝부분의 토큰보다 더 강한 위치 진폭을 갖는 "절대적 원점 사전 확률"을 생성합니다. 이는 이동 불변성(translation invariance)을 깨뜨립니다. 저자들은 학습 가능한 중심 $b_{0,i}$를 사용하는 일반화 방식을 제안합니다.
• 허용성 제약: $\omega \sigma = 5$로의 수렴은 실제 무제한 최적값이 아니라 투영 기반 구현(clamping)에 의한 결과일 수 있습니다. 이 제약을 완화하는 것이 향-후 조사 작업의 우선순위입니다.
• 다음 단계: 향후 연구에서는 단어 단위 토큰화, 더 긴 컨텍스트에서 MOPE를 검증하고, ROPE 회전 메커니즘에 가우시안 포락선을 적용하는 Morlet-ROPE를 탐구할 것입니다.