기술 요약: LeRoPE: 학습 가능한 RoPE 주파수를 통한 언어 모델링 개선

문제 정의

회전 위치 인코딩(Rotary Positional Encodings, RoPE)은 현대 대규모 언어 모델(LLM)의 표준적인 위치 인코딩 메커니즘입니다. RoPE는 고정된 기하학적 수열(베이스 하이퍼파라미터 $b$로 정의됨)에 의해 결정되는 2차원 주파수 대역 내에서 쿼리(query) 및 키(key) 벡터를 회전시키는 방식으로 작동합니다.

기존 연구들은 이러한 고정 주파수 방식의 한계를 다음과 같이 지적했습니다:

1. 의미론적 정보와 위치 정보의 혼동: 최근 연구에 따르면, 가장 느린 주파수 대역(가장 낮은 회전율을 가진 대역)은 일반적인 컨텍스 창(context window) 내에서 회전이 거의 일어나지 않기 때문에, 위치 정보보다는 의미론적 정보를 담는 경우가 많습니다.
2. 최적화되지 않은 주파수 할당: p-RoPE(Partial RoPE)나 베이스 $b$를 조정하는 것과 같은 기존의 개선 방식들은 어떤 대역을 회전시킬지 또는 어떻게 스케일링할지를 수동으로 선택합니다. 이러한 방법들은 훈련 전에 주파수 할당을 미리 고정해 버리므로, 모델이 특정 작업이나 컨텍스 길이에 최적화된 주파수 스펙트럼을 스스로 발견하는 것을 방해할 수 있습니다.

저자들은 RoPE 연산이 주파수에 대해 미분 가능하다는 점에 착안하여, 이 주파수들을 고정된 하이퍼파라미터가 아닌 학습 가능한 파라미터로 취급해야 한다고 주장합니다.

방법론: LeRoPE

본 논문은 각 주파수 대역의 주파수를 학습 가능한 스칼라 값으로 재스케일링하는 LeRoPE(Learned RoPE)를 제안합니다.

핵심 메커니즘

각 대역 $m$에 대해 고정된 주파수 $\theta_m$을 사용하는 대신, LeRoPE는 대역당 학습 가능한 스칼라 $\alpha_m$을 도입합니다. 유효 주파수 $\hat{\theta}_m$은 다음과 같이 정의됩니다:
$$\hat{\theta}_m = e^{\alpha_m} \theta_m$$
여기서 $\theta_m$은 베이스 $b$로부터 유도된 표준 RoPE 주파수입니다.

주요 설계 선택:

• 로그 파라미터화(Logarithmic Parametrization): 주파수는 로그 공간($\alpha_m$)에서 파라미터화됩니다. 이는 $\alpha_m$에 대한 업데이트가 주파수에 대한 곱셈적 변화를 일으키도록 하여, 주파수를 0에 가깝게 줄일 때의 조건수(conditioning)를 개선하고 0 근처에서의 불안정한 그래디언트 역학을 방지합니다.
• 초기화: $\alpha_m$은 0으로 초기화되어, 훈련 시작 시 LeRoPE가 수학적으로 표준 RoPE와 동일하게 작동하도록 합니다.
• 파라미터 공유: 동일한 학습된 주파수 세트가 모든 레이어와 어텐션 헤드에 공유됩니다. 헤드 차원 $d_h$에 대해, 이는 모델에 $d_h/2$개의 학습 가능한 파라미터를 추가합니다 (예: $d_h=64$일 때 32개).
• 최적화: 저자들은 LeRoPE 파라미터에 대한 가중치 감쇠(weight decay)를 생략하고, 주파수 스칼라의 안정적인 학습을 위해 독립적인 그래디언트 클리핑(gradient clipping)을 적용합니다.

이론적 분석

논문은 주파수 파라미터에 대한 손실 함수의 그래디로언트를 도출합니다. 저자들은 주파수 $\theta_m$에 대한 그래디언트 업데이트가 오프셋이 합산된 그래디언트 신호의 이산 시간 푸리에 변환(discrete-time Fourier Transform)의 실수 성분인 대리 손실 함수 $P_m(\theta)$의 미분에 해당함을 보여줍니다. 이 공식은 모델이 상대적 토큰 오프셋에 따른 어텐션 로짓(attention logits)의 그래디언트 신호의 스펙트럼 특성에 맞춰 주파수를 정렬함으로써 학습한다는 것을 시사합니다.

실험 설정

저자들은 엄격한 스케일링 연구를 통해 LeRoPE를 검증합니다:

• 모델 규모: 52M에서 2.52B 파라미터에 이르는 디코더 전용 트랜스포머 "래더(ladder)" 구조를 사용합니다.
• 아키텍처: Enoki 스케일링 래더(Charles et al., 2025; Ferbach et al., 2026)를 기반으로 하며, 고정된 헤드 차원(64)과 공동 스케일링된 깊이/너비를 가집니다.
• 훈련 데이터: C4 코퍼스에서 시퀀스 길이 2048 토큰으로 사전 훈련되었습니다.
• 베이스라인:
  • 표준 RoPE ($b=10,000$).
  • Partial RoPE (p-RoPE, $p=0.75$), 이는 가장 느린 25% 대역의 회전을 제거합니다.
• 평가 지표: C4에 대한 검증 퍼플렉시티(perplexity), 컴퓨팅 승수(baseline의 손실을 맞추기 위해 필요한 FLOPs), 그리고 "Needle-in-a-Haystack"(NIAH) 검색 정확도입니다.

주요 결과

1. 규모에 따른 성능

LeRoPE는 모든 모델 크기(52M ~ 2.5B)에서 표준 RoPE와 p-RoPE를 일관되게 능가합니다.

• 퍼플렉시티: LeRoPE는 모든 규모에서 더 낮은 검증 퍼플렉시티를 달s성합니다.
• 컴퓨팅 효율성: 가장 큰 규모(2.5B)에서 표준 RoPE가 LeRoPE가 달성한 손실을 맞추기 위해 3.4% 더 많은 컴퓨팅(FLOPs)을 필요로 합니다. 이러한 이점은 지속적이며, LeRoPE 대비 RoPE의 컴퓨팅 승수는 약 1.03–1.04 수준에서 정체됩니다.
• 강건성: 개선 효과는 여러 무작위 시드(random seed)에 걸쳐 유지됩니다. 217M 모델의 경우, LeRope와 RoPE 사이의 격차(0.0066 nats)는 시드 변동성의 표준 편차보다 3~7배 더 큽니다.

2. 지배적 위치 대역의 출현

학습된 주파수를 분석한 결과, 규모와 시드에 관계없이 일관된 패턴이 나타납니다:

• 주파수 억제: 모델은 가장 느린 대역의 주파수를 억제(0으로 유도)하여 사실상 회전을 제거하는 법을 학습합니다.
• 지배적 대역: 하나의 주파수 대역이 큰 노름(norm)과 어텐션 로짓에 대한 강력한 위치 기여도를 가지며 등장합니다. 이 "지배적 위치 대역"의 파장($\lambda$)은 훈련 컨텍스 길이($L_{train}$)에 선형적으로 비례하여 스케일링됩니다 (구체적으로 $\lambda \approx 2.2 \times L_{train}$).
• 메커니즘: 표준 RoPE가 많은 대역에 위치 정보를 분산시키는 반면, LeRoPE는 이 특정 지배적 대역에 위치 신호를 집중시키며, 나머지 대역은 다른 신호 유형을 처리하거나 상쇄되는 것으로 보입니다.

3. 절제 실험 및 일반화

• 고정된 주파수: 별도의 LeRoPE 실행에서 학습된 값을 사용하여 주파수를 고정한 채 훈련한 모델은 **성능 향상의 63.6%**를 포착했습니다. 이는 최적의 주파수 세트를 발견하는 것이 성공의 주요 동력임을 나타내지만, 공동 훈련(joint training) 역학 또한 기여하고 있음을 보여줍니다.
• 코드 사전 훈련: StarCoder-Python 데이터셋에 대한 실험에서도 유사한 이득(RoPE 대비 0.0104 nats 개선)과 유사한 주파수 패턴이 관찰되었으며, 이는 이 방법이 자연어를 넘어 일반화될 수 있음을 시사합니다.
• 외삽(Extrapolation): LeRoPE는 단순 외삽 시 표준 RoPE보다 더 급격히 성능이 저하되지만(지배적 대역의 사인파 기여도가 훈련 윈도우 외부에서 양수가 되기 때문), NTK-by-parts나 YaRN과 같은 표준 컨텍스 확장 기법과 호환 가능합니다. 이러한 방법들과 결합했을 때, LeRoLE은 최대 32k 토큰 길이까지 RoPE 및 p-RoPE보다 우수한 성능을 보입니다.

의의 및 주장

본 논문은 LeRoPE가 언어 모델의 위치 인코딩을 위한 단순하고, 파라미터 효율적이며, 보편적으로 적용 가능한 개선책을 제공한다고 주장합니다.

• 휴리스틱을 넘어서는 학습 가능성: 주파수 대역을 학습 가능한 파라미터로 취급함으로써, 모델이 수동으로 튜닝된 휴리스틱(p-RoPE 또는 고정 베이스 조정 등)보다 더 효율적인 스펙트럼 할당을 자동으로 발견할 수 있음을 입증했습니다.
• 효율성: 이 방법은 일관된 "공짜" 성능 향상을 제공하며, 규모가 커질 때 목표 성능에 도달하기 위해 필요한 컴퓨팅 예산을 약 3.4% 줄여줍니다.
• 기계론적 통찰: 단일 지배적 위치 대역의 출현은 모델이 주파수 스펙트럼을 어떻게 활용하는지에 대한 새로운 통찰을 제공합니다. 즉, 특정 학습된 주파수 하나만으로도 인-디스트리뷰션(in-distribution) 태스크를 위한 필요한 위치 신호를 인코딩하기에 충분하며, 더 느린 대역은 의미론적 콘텐츠를 처리하는 데 더 적합하다는 것을 시사합니다.

저자들은 실험이 2.5B 파라미터 이하의 모델로 제한되어 있다는 점을 언급하며 연구 범위를 겸손하게 유지하고 있으나, 스케일링 래더와 다양한 데이터셋(C4 및 Code) 전반에 걸친 결과의 일관성은 이 방법이 견고하며 더 큰 파운데이션 모델에도 유익할 가능성이 높음을 시사합니다.