기술 요약: 왜 누적된 변환은 외삽(Extrapolation)이 가능한가?

문제 정의

최근 PaTH Attention 연구는 RoPE의 위치 인덱스 기반 회전을 누적된 데이터 의존적 하우스홀더 반사(Householder reflections)로 대체했을 때 강력한 길이 외삽 성능을 보였으나, 극단적인 컨텍스트 길이에서는 성능이 저하됨을 보여주었습니다. 이러한 동작의 근저에 있는 메커즘은 불분명했습니다. 구체적으로, PaTH의 성공이 하우스홀더 반사의 특정 대수적 구조에 의존하는 것인지, 아니면 소스-쿼리 경로를 따르는 누적된 변환의 더 일반적인 속성을 반영하는 것인지 알 수 없었습니다. 또한, 누적 방식은 외삽을 개선하지만 결국 성능이 저하되는 반면, 명시적인 거리 편향(distance biases)을 사용하는 ALiBi와 같은 방식은 안정적으로 유지됩니다. 본 논문은 왜 누적된 변환이 외삽을 돕는지, 왜 결국 실패하는지, 그리고 성공을 위해 요구되는 구조적 조건은 무엇인지 기계론적으로 설명하고자 합니다.

방법론

저자들은 다른 아키텍처의 복잡성으로부터 누적된 변환의 효과를 분리하기 위해 **정형화된 어텐션 모델(stylized attention model)**을 개발합니다. 분석의 핵심은 다음과 같습니다:

1. 경로 운송(Route Transport) 정의: 논문은 "경로(route)"를 순서가 정해진 소스-쿼리 구간으로 정의합니다. RoPE(절대적 위치 차이 사용) 대신, 모델은 이 경로를 따라 토큰당 직교 변환($M_t$)을 누적합니다. 운송 연산자 $P_{j \to i}$는 소스 $j$에서 쿼리 $i$까지의 이러한 단계들의 곱입니다.
2. 어텐션 분해: 어텐션 출력은 스코어 측(score side)(어텐션 가중치 $\alpha_{ij}$를 결정)과 밸류 측(value side)(가중치가 적용된 밸류를 집계)으로 분해됩니다. 분석은 활성 소스 세트를 "근거리(near)" 세트(짧은 경로)와 "원거리(far)" 세트(긴 경로)로 구분합니다.
3. 이론적 프레임워크:
   • 스펙트럼 갭 분석(Spectral Gap Analysis): 저자들은 각 토큰 단계 $M_t$가 스펙트럼 갭($\|\mathbb{E}[M_t]\|_{op} < 1$)을 가진 무작위 직교 행렬이라고 가정합니다. 이는 누적된 곱이 전체 컨텍스트 길이에 독립적으로, 유한한 단계 후에 탈상관화(decorrelate/mix)됨을 보장합니다.
   • 집중 부등식(Concentration Inequalities): 고차원 집중(일반 직교 군에 대한 레비의 보조정리(Lévy's lemma), 블록 대각 $SO(2)$에 대한 호프딩 부등식(Hoeffding's inequality))을 사용하여, 누적된 회전이 쿼리와 키 사이의 내적 점수에 어떻게 영향을 미치는지 분석합니다.
   • 하한선(Lower Bounds): 유계된 로짓(bounded logits) 하의 풀 소프트맥스(full softmax)에서 "원거리 질량(far-mass)"(먼 토큰에 할당된 총 어텐션 가중치)에 대한 하한선을 도출하여, 명시적인 제어가 없다면 증가하는 원거리 토큰의 수가 필연적으로 근거리 신호 질량을 희석시킨다는 것을 입증합니다.
4. 실험적 검증: 저자들은 OpenWebText(컨텍스트 길이 512)를 사용하여 작은 디코더 전용 트랜스포머(16 레이어, 768 너비)를 훈련시킵니다. 다음 항목들을 비교합니다:
   • 표준 RoPE (위치 인덱스 기반).
   • 무작위 누적 회전 (스펙트럼 갭 가정을 구현).
   • 학습된 토큰 의존적 회전.
   • Q/K만 회전하는 경우와 Q/K/V를 모두 회전하는 경우의 변형.
   • 명시적 원거리 질량 제어를 위한 베이스라인으로서의 ALiBi.

주요 기여

1. 외삽의 메커니즘: 스코어 측 탈상관화(Score-Side Decoherence)

본 논문은 내용 의존적 누적 직교 변환이 **유한한 혼합 창(finite mixing window)**을 생성함을 증명합니다.

• 근거리 경로: 짧은 경로는 적은 단계만을 누적하여 항등 변환(identity transformation)에 가깝게 유지되며, 높은 Q/K 점수를 생성합니다.
• 원거리 경로: 긴 경로는 많은 독립적이고 내용 의존적인 단계들을 통과합니다. 스펙트럼 갭으로 인해, 이 곱들은 탈상관화되어 (Haar-random 분포에 접근하며) 변화합니다.
• 스코어 갭: 고차원에서 고정된 쿼리와 Haar-random 키 벡터 사이의 내적이 클 확률은 지수적으로 낮습니다. 이는 원거리 토근이 근거리 토큰에 비해 지수적으로 작은 어텐션 가중치를 받게 하는 "스코어 갭"을 만듭니다.
• 결과: 이 메커니즘은 훈련 시 관찰된 근거리/원거리 구조가 평가 길이에서도 유지되도록 보장하는데, 이는 혼합 창의 경계가 컨텍스트 길이에 독립적이기 때문입니다.

2. 성능 저하의 메커니즘: 원거리 질량 하한선

본 논문은 스코어 측 탈상관화만으로는 무제한 외삽에 불충분하다는 것을 입증합니다.

• 문제점: 토큰별 억제가 강력하더라도, 원거리 토큰의 수($M_L$)는 컨텍스트 길이에 따라 선형적으로 증가합니다.
• 경계값: 유계된 로짓 하의 풀 소프트맥스에서, 총 원거리 어텐션 질량 $\rho_D$는 $\rho_D \ge \frac{M_L}{M_L + K e^{2\lambda}}$를 만족합니다. $M_L \to \infty$일 때 $\rho_D \to 1$이 되어, 근거리 신호 계수를 소멸하게 만듭니다.
• 시사점: 회전 전용 방식은 원거리 질량을 명시적으로 제한하는 메커니즘이 없기 때문에 결국 저하될 수밖에 없습니다. 이는 왜 ALiBi(로짓에 거리 편향을 추가함)가 안정적인 반면 회전 전용 모델은 저하되는지를 설명합니다.

3. 밸류 측 보호: 비일관적 결합(Incoherent Combination)

$SO(2)$ 회전에 대해, 본 논문은 밸류(Q/K 외에도)를 회전시키는 것이 추가적인 보호 계층을 제공함을 보여줍니다.

• 잔여 원거리 질량: 작은 어텐션 가중치를 가지더라도, 원거리 밸류들이 배경 성분(예: 공유된 가우시안 노이즈 항)을 공유할 경우 일관되게 결합할 수 있습니다.
• 비일관성(Incoherence): 동일한 누적 경로 운송을 밸류에 적용함으로써, 살아남은 원거리 기여분들이 비일관적으로 결합되도록(위상이 상쇄되도록) 합니다. 이는 원거리 기여분의 공분산을 제한하여 근거리 신호를 압도하는 것을 방지합니다.
• 가환성(Commutativity): 이 결과는 $SO(2)$ 블록의 가환성에 의존하며, 이를 통해 누적된 각도를 합으로 취급하여 블록별 푸리에 분석을 가능하게 합니다.

결과

소형 트랜스포머에 대한 통제된 실험은 이론적 예측을 뒷받침합니다:

1. 누적 vs. 위치 인데스 기반: 무작위 누적 회전은 외삽에서 RoPE보다 성능이 크게 우수합니다 (예: 8K에서 perplexity 비율 1.60x vs. RoPE의 16.2x). 학습된 토큰 의전적 회전 또한 훈련 컨텍스트 길이를 훨씬 넘어서도 훈련 시의 perplexity를 유지합니다.
2. 밸류 회전: Q/K 외에 밸류를 함께 회전시키면 특히 무작위 회전의 경우 장기 컨텍스트 저하를 더욱 줄여줍니다 (무작위 회전 시 65K에서 1.59x vs. Q/K만 했을 때 7.49x).
3. 회전 전용의 한계: 회전 전용 모델은 극단적인 길이(65K)에서 저하되는 반면, ALiBi는 평탄하게 유지됩니다(0.96x). 이는 명시적인 원거리 질량 제어의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 PaTH 및 유사한 누적 변환 방식에서 관찰되는 길이 외삽에 대한 기계론적 설명을 제공한다고 주장합니다. 이는 단순히 "누적이 분포 일치를 만든다"는 직관을 넘어, 다음의 양적 경계값을 제공합니다:

• 스코어 측 탈상관화가 어떻게 원거리 어텐션 질량을 억제하는지.
• 왜 이러한 억제가 명시적인 원거리 질량 제어(거리 편향) 없이는 구조적으로 불충분한지.
• 밸류 측 운송이 특정 대수적 설정($SO(2)$)에서 어떻게 잔여 원거리 간섭을 완화하는지.

저자들은 이 분석이 단일 레이어 어텐션 메커니즘를 격리한 정형화된 모델임을 명시합니다. 이들은 이 연구가 대규모 규모에서 PaTH를 재현하려는 것이 아니라, 그 성공을 이끄는 이론적 원칙을 검증하는 것임을 밝힙니다. 이 연구는 누적 운송이 외삽을 위한 강력한 메커니즘이지만, 증가하는 원거리 질량을 제어하기 위한 보완적 메커니즘(거리 편향 또는 밸류 회전 등) 없이는 무제한 컨텍스트 길장에 대한 완전한 해결책이 될 수 없음을 시사합니다.