기술 요약: RoVE (Rotary Value Embeddings Attention)

문제 정의

표준 회전 위치 임베딩(RoPE)은 쿼리와 키를 절대 위치에 따라 회전시킴으로써 어텐션 점수를 상대적 위치 기반으로 만드는 데 성공했습니다. 그러나 밸류(Value) 경로는 위치에 무감각한 상태로 남아 있습니다. 트랜스포머 회로의 관점에서 보면, QK(Query-Key) 회로는 상대적 위치에 편향되어 있는 반면, OV(Output-Value) 회로는 밸류 토큰 $x_j$를 거리 $i$와의 관계없이 동일하게 취급합니다. 구체적으로, 밸류 토큰에 적용되는 채널 맵 $W_V$는 상대적 오프셋 $\delta = j - i$에 대한 정보를 전혀 담고 있지 않습니다. 이러한 비대칭성은 모델이 값을 집계하기 전에 상대적 위치에 민감한 변환을 수행하는 능력을 제한하며, 이는 합성곱(convolutional) 연산에는 내재되어 있으나 표준 RoPE 어텐션에는 결여된 능력입니다.

방법론: RoVE

저자들은 RoPE를 밸류 경로로 확장하는 파라미터 프리(parameter-free) 수정 방식인 **RoVE (Rotary Value Embeddings)**를 제안합니다. 핵심 메커니즘은 키(Key)에서 사용되는 것과 동일한 위치 의존적 회전 행렬을 사용하여 밸류 벡터를 회전시키되, 집계 전 쿼리의 참조 프레임(reference frame)과 정렬되도록 하는 것입니다.

수학적 정식화

표준 RoPE에서 위치 $i$에서의 출력은 다음과 같이 계산됩니다:
$$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$$
여기서 $A(X)_{ij}$는 상대적 오프셋 $j-i$에 의존하는 RoPE 어텐션 가중치입니다.

RoVE는 이를 다음과 같이 수정합니다. 즉, 위치 $j$에서의 회전 행렬 $R_j$를 사용하여 $x_j$를 회전시킨 후, 쿼리 위치 $i$에서의 회전인 $R_i^{-1}$를 통해 회전을 역전시킵니다:
$$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$$

구조적 해석

이 수정은 어텐션 연산의 본질을 근본적으로 변화시킵니다:

1. 어텐티브 컨볼루션 (Attentive Convolution): RoVE는 어텐션 메커니즘을 어텐티브 컨볼루션으로 변환합니다. 상수 밸류 맵 $W_V$는 오프셋 의존적 커널 패밀리 $\psi_\delta = R_\delta W_V$로 대체됩니다. 이제 상대적 위치 $\delta$는 토큰 선택(QK 회로)을 조절하는 것과 마찬가지로 토큰 변환(OV 회로)을 조절합니다.
2. 매트릭스 믹서 구조 (Matrix Mixer Structure): 매트릭스 믹서 프레임워크에서 표준 RoPE 믹서는 라우팅과 채널 투영을 분리하는 크로네커 구조($A \otimes W_V$)를 가집니다. RoVE는 이를 블록-토플리츠(block-Toeplitz) 구조로 대체하며, 여기서 동일한 상대적 오프셋 대각선 상의 블록들은 어텐션 가중치에 의해 스케일링된 동일한 회전 밸류 커널을 공유합니다.
3. 프레임 변경 관점 (Frame-Change Perspective): 이 연산은 프레임 변경으로 볼 수 있습니다. 즉, 값들이 $R_j$를 통해 로컬 프레임에서 공유된 글로벌 프레임으로 변환되고, 집계된 후 $R_i^{-1}$를 통해 다시 쿼리의 로컬 프레임으로 변환됩니다.

효율성

RoVE는 추가적인 학습 가능 파라미터를 도입하지 않습니다. 회전 연산은 $n$개의 토큰과 $d^2$개의 채널 쌍에 대해 독립적으로 작동하여 선형 복잡도 $O(nd)$를 가집니다. 이는$O(nd^2)$의 선형 레이어 및$O(n^2d)$의 어텐션 레이어에 비해 무시할 수 있는 수준입니다. 또한, 회전은 커널 호출 전후에 발생하므로 FlashAttention과 같은 효율적인 어텐션 커널과 호환됩니다.

주요 기여

1. 구조적 특성화: 본 논문은 RoVE가 밸류 경로를 상대적 위치에 민감하게 만듦으로써 QK와 OV 회로를 통합한다는 이론적 분석을 제공합니다. 이는 RoPE 어텐션을 어텐티브 컨볼루션으로 변환하여, 모델에 블록-토플리츠 믹서 구조를 부여함을 입증합니다.
2. 경험적 검증: 저자들은 FineWebEdu-10B 데이터셋을 사용하여 GPT-2 스타일 모델(124M 및 354M 파라미터)을 학습시켰습니다. 그들은 표준(비 공유 KV) 언어 모델의 밸류 경로에 대한 드롭인 교체 방식으로서 RoVE를 평가했습니다.
3. YaRN과의 상보성: 본 연구는 RoVE와 YaRN(장거리 문맥 외삽을 위한 주파수 보간법) 사이의 상호작용를 조사합니다.

실험 결과

평가는 퓨샷 인컨텍스트 러닝(ICL), 분포 외(OOD) 퍼플렉시티(perplexity), 그리고 장문맥 검색(RULER 벤치마크)에 초점을 맞추었습니다.

• 분포 내 성능 (In-Distribution Performance): RoVE는 학습 문맥(1024 토큰) 내에서 표준 RoPE와 비교했을 때 코어 ICL 정확도와 인컨텍스트 퍼플렉시티를 일관되게 개선했습니다. 이는 상대적 위치 편향이 외삽 없이도 유익하다는 것을 나타냅니다.
• 분포 외 (OOD) 퍼플렉시티: RoVE는 최대 16k 토큰의 문맥 길이에서 퍼플렉시티를 실질적으로 감소시켰습니다. YaRN과 결합했을 때 개선 효과는 가산적(additive)이었으며, 이는 두 방법이 장거리 문맥 일반화의 상보적인 측면을 다루고 있음을 시사합니다.
• 장문맥 검색 (Long-Context Retrieval): RULER 벤치마크(4k/8k 토큰)에서 RoVE는 특히 정보 유지 및 재결합이 필요한 작업(예: 변수 추적, 건더기 속 바늘 찾기)에서 상당한 이득을 보였습니다. 이러한 개선은 RoVE가 YaRN과 결합되었을 때 가장 두드러졌습니다.

의의 및 주장

본 논문은 RoVE가 RoPE 어텐션의 구조적 비대칭성을 교정함으로써 대규모 언어 모델(LLM)에 강력한 구조적 편향을 제공한다고 주장합니다. 밸류 경로를 위치 민감형으로 만듦으로써, RoVE는 컴퓨터 비전, 로보틱스 및 최근의 LLM 아키텍처(예: DeepSeek-V4)에서 발견되는 유사한 연산들의 독립적인 정식화들을 어텐티브 컨볼루션이라는 단일 이론적 프레임워크 아래 통합합니다.

저자들은 RoVE가 파라미터 프리이며 효율적인 수정 방식으로서, 모델 규모와 작업(특히 장거리 집계가 필요한 작업) 전반에 걸쳐 성능을 향상시킨다고 강조합니다. 결과는 밸류 스트림에서의 상대적 위치 인지 능력이 트랜스포머 아키텍처의 장문맥 강건성과 검색 능력을 향상시키는 데 중요한 요소임을 시사합니다.