💬 NLP

MrRoPE: Mixed-radix Rotary Position Embedding

이 논문은 혼합 진법 변환(mixed-radix conversion)에 기반하여 회전 위치 임베딩(RoPE) 확장을 일반화하고, 기존 방법들을 크게 능가하는 MrRoPE-Pro와 같은 새로운 전략을 통해 효과적인 학습 불필요(training-free) 장문맥 처리를 가능하게 하는 통합적 이론 프레임워크인 MrRoPE를 소개한다.

원저자: Qingyuan Tian, Wenhong Zhu, Xiaoran Liu, Xiaofeng Wang, Rui Wang

게시일 2026-02-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qingyuan Tian, Wenhong Zhu, Xiaoran Liu, Xiaofeng Wang, Rui Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑한 로봇(거대 언어 모델)이 하나 있다고 상상해 보세요. 이 로봇은 말하는 법을 배우기 위해 방대한 양의 책을 읽었습니다. 하지만 함정이 하나 있습니다. 훈련 과정 동안 이 로봇은 최대 8,000단어 정도의 짧은 단편 소설만 읽을 수 있도록 허용되었습니다. 그런데 이제 당신은 이 로봇에게 128,000단어에 달하는 장편 소설 한 권을 읽고 질문에 답하게 하려고 합니다.

문제는 로봇에게 텍스트의 '어디'에 있는지 파악하는 특정한 방식인 RoPE(Rotary Position Embedding)라는 것이 있다는 점입니다. RoPE를 로봇의 뇌 속에 있는 거대하고 다중 속도를 가진 시계 판이라고 생각해 보세요.

어떤 시계 바늘은 매우 빠르게 돕니다 (고차원).
어떤 시계 바늘은 매우 느리게 돕니다 (저차원).

로봇이 단편 소설을 읽을 때, 빠른 바늘은 여러 번 회전하고 느린 바늘은 아주 조금만 움직입니다. 로봇은 이러한 패턴을 인식하도록 학습됩니다. 하지만 갑자기 이 로봇에게 자신이 배운 것보다 16배나 긴 장편 소설을 주면, 느린 바늘은 이전에 경험했던 것보다 훨씬 더 많이 돌아야 합니다. 그들은 본 적 없는 위치에 도달하며 혼란의 "벽"에 부딪히게 됩니다. 이는 마치 10까지 셀 줄 아는 사람에게 아무런 추가 지침 없이 갑자기 1,000까지 세라고 요구하는 것과 같습니다.

기존의 해결책들 ("늘리기" 접근법)

과학자들은 시계를 늘려서 이 문제를 해결하려 했습니다.

NTK: 그들은 시계 판 전체를 균일하게 늘렸습니다. 이것은 도움이 되었지만, 짧은 문장을 이해하는 데 유용한 빠른 바늘들을 너무 이상하게 돌려버려 로봇의 짧은 문장 이해력을 망가뜨렸습니다.
YaRN: 이것은 현재의 챔피언이었습니다. 이 방식은 더 똑똑하게 작동했습니다. 빠른 바늘은 거의 그대로 유지하고, 느린 바늘은 많이 늘리며, 그 사이의 바늘들에 대해서는 "중간 지점"의 접근 방식을 사용했습니다. 효과적이긴 했지만, 저자들은 이 "중간 지점"이 완벽하지 않다고 느꼈습니다. 그것은 고무줄을 불균일하게 늘리는 것과 같아서, 일부 부분이 끊어지거나 형태를 잃게 만들었습니다.

새로운 해결책: MrRoPE (The "Mixed-Radix" Clock)

저자 톈 칭위안(Qingyuan Tian)과 그의 팀은 RoPE가 사실 숫자의 진법 변환(예: 십진수를 이진수로 변환하는 것)과 매우 유사한 일을 하고 있다는 것을 깨달았습니다. 그들은 이를 "진법 이론(Radix Theory)"이라고 불렀습니다.

그들은 MrRoPE(Mixed-radix RoPE)라는 새로운 방법을 제안했습니다. 단순히 시계를 늘리는 대신, 그들은 바늘의 속도에 따라 시계 바늘이 움직이는 규칙을 변경했습니다.

그들은 시계를 고치기 위한 두 가지 새로운 방법을 도입했습니다:

MrRoPE-Uni: 중간 단계 바늘들을 위한 균일한 확장.
MrRoPE-Pro (우승자): "점진적(progressive)"인 확장.

MrRoPE-Pro의 비유:
시계 바늘을 달리기 선수 팀이라고 상상해 보세요.

빠른 주자들 (고차원)은 단거리 선수입니다. 이들이 짧은 질주를 잘 해낼 수 있도록 그들의 보폭이나 리듬을 너무 바꾸거나 늦추고 싶지 않습니다.
느린 주자들 (저차원)은 마라토너입니다. 이제 훨씬 더 멀리 가야 하므로, 당신은 그들에게 더 큰 보폭을 줍니다.
중간 주자들이 바로 까다로운 부분입니다.

이전의 방식들(YaRN 등)은 중간 주자들을 대할 때 "역행적(regressive)" 전략을 사용했습니다. 즉, 그들이 멀리 나갈수록 속도를 약간 늦추는 식이었죠.
MrRoPE-Pro는 "점진적(progressive)" 전략을 사용합니다. 중간 주자들이 멀리 나감에 따라 보폭의 길이를 점진적으로 늘려주는 것입니다. 이는 단거리 선수들의 리듬을 완벽하게 유지하면서도, 마라토너들이 어지러움을 느끼지 않고 결승선에 도달할 수 있도록 부드럽게 가속하는 추진력을 주는 것과 같습니다.

테스트 결과는 어떠했나요?

팀은 이 새로운 "점진적 시계"를 몇 가지 도전 과제로 테스트했습니다.

"건초더미 속의 바늘(Needle in a Haystack)" 테스트: 그들은 거대한 책(건초더미) 안에 특정 문장(바늘)을 숨겨두고 로봇에게 그것을 찾게 했습니다.
- 결과: MrRoPE-Pro는 최대 128,000단어 길이의 책에서도 85% 이상의 정확도로 바늘을 찾아낼 수 있었습니다. YaRF는 64,000단어 이후부터 심하게 실패하기 시작했습니다. 이는 마치 MrRoPE-Pro는 초강력 손전등을 가진 반면, YaRN의 손전등은 어둠 속에서 깜빡거리기 시작한 것과 같았습니다.
"Infinite-Bench" 테스트: 이 테스트는 로봇이 찾은 정보를 실제로 사용하여 질문에 답하거나 대화를 나눌 수 있는지 테스트했습니다.
- 결과: MrRoPE-Pro는 단순히 바늘을 찾는 것에 그치지 않고, 이야기를 이해했습니다. 이 방식은 YaRN을 엄청난 차이로 앞질렀으며(때로는 두 배의 점수), 장편 소설을 위해 특별히 재학습(파인튜닝)된 다른 로봇들과 대등하거나 오히려 더 나은 성능을 보여주었습니다. 가장 좋은 점은? MrRoPE-Pro는 재학습이 필요 없었다는 것입니다. 수학 규칙을 변경하는 것만으로 즉시 작동했습니다.

핵심 요약

이 논문은 로봇의 위치 추적 시스템을 "숫자 진법 변환"의 관점에서 바라봄으로써, 이를 확장하는 더 나은 방법을 찾아냈다고 주장합니다. MrRoPE-Pro는 "짧게 학습하고, 길게 테스트하라"는 마법 같은 기술입니다. 당신은 로봇을 짧은 텍스트로 훈련시킨 다음, 내부 시계에 이 새로운 점진적 확장 규칙을 적용하는 것만으로 추가적인 학습 없이 즉시 거대한 소설을 읽고 이해하게 할 수 있습니다.

기술 요약: MrRoPE (Mixed-Radix Rotary Position Embedding)

문제 정의

회전 위치 임베딩(Rotary Position Embedding, RoPE)은 대규모 언어 모델(LLM)에서 위치 정보를 인코딩하여 장거리 의존성을 모델링할 수 있게 하는 표준 메커니즘입니다. 그러나 RoPE는 사전 학습된 윈도우를 초과하는 컨텍스트 길이에 적용될 때 근본적인 일반화 실패 문제를 겪습니다. 이 문제는 고차원 임베딩 특징들이 더 느린 주파수로 회전하기 때문에 발생합니다. 학습 과정에서 이러한 차원들은 종-종 완전한 회전 사이클을 완료하지 못합니다. 결과적으로 컨텍스트 길이가 학습 윈도우를 초과하면, 이러한 차원들은 보지 못한 회전 각도(Out-of-Distribution 또는 OOD 위치)를 마주하게 되어 성능 저하를 초래합니다.

PI(Position Interpolation), NTK-aware Interpolation, YaRN과 같은 학습이 필요 없는 확장 전략들이 제안되었으나, 이들은 통일된 이론적 토대가 부족합니다. 또한, 기존 방법들, 특히 YaRN은 중간 차원들에 대해 특정 보간 전략을 사용하는데, 이는 고주파 정보를 방해하거나 유효 컨텍스트 윈도우를 극대화하는 데 최적이 아닐 수 있습니다.

방법론: Mixed-Radix 프레임워크

본 논문은 RoPE 확장을 진법(radix/base) 시스템 변환의 관점에서 재해석하는 통합적 이론 프레임워크인 **MrRoPE (Mixed-Radix RoPE)**를 소개합니다.

이론적 통합:
저자들은 RoPE의 회전 메커니즘이 십진수 위치 $m$ 을 $\beta$ -진법 표현으로 변환하는 것과 수학적으로 유사함을 입증합니다. 이 관점에서 $j$ 번째 차원의 회전 각도는 혼합 진법 시스템에서의 $j$ 번째 자릿수에 해당합니다. 따라서 컨텍스트 윈도우를 확장하는 것은 고주파 차원에서 "자릿수 절단"(OOD 위치)을 방지하기 위해 특정 차원의 진법 기수(radix base)를 재조정하는 것과 같습니다.
일반 공식:
MrRoPE는 각 차원 $j$ 에 독립적인 주파수 스케일링 계수 $\lambda_j$ 가 할당되는 일반화된 확장을 정의합니다. 수정된 회전 각도 $\theta'_j$ 는 다음과 같이 계산됩니다:
$m\theta'_j = \left( m \cdot b^{-\frac{j-1}{D_r}} \cdot \prod_{d=1}^{j-1} \lambda_d^{-1} \right) \mod 2\pi$
여기서 $D_r$ 은 회전 쌍의 수입니다. 기존 방법들은 이 프레임워크의 특수한 사례로 나타납니다:
- NTK-aware Interpolation: 모든 차원에 걸쳐 균일한 스케일링 계수( $\lambda_j = \text{constant}$ )를 사용합니다.
- YaRN: 중간 차원들은 선형적으로 스케일링되는 반면, 저주파 및 고주파 차원은 수정되지 않는( $\lambda_j=1$ ) "역행적(regressive)" 스케일링 전략을 사용합니다.
제안된 전략:
최적의 확장은 고주파 세부 사항을 보존하면서 표현 가능한 범위를 확장하는 데 필요하다는 가설에 따라, 저자들은 두 가지 새로운 학습 불필요(training-free) 전략을 제안합니다:
- MrRoPE-Uni: 모든 중간 차원에 균일한(uniform) 스케일링 계수를 적용합니다.
- MrRoPE-Pro: 점진적(progressive) 스케일링 계수를 적용합니다. 이 체계에서는 저주파(고주파) 차원은 더 작은 진법 확장을 거치고, 고주파(저주파) 차원은 비례하여 더 큰 확장을 거칩니다. 이 "느리게 시작하여 가팔라지는(slow-to-steep)" 진행 방식은 고주파 차원의 미세한 구조를 더 잘 보존하면서 필요한 확장 계수를 달 achieve하는 것을 목표로 합니다.

주요 기여

통합 이론: 본 논문은 다양한 RoPE 확장 방법들(PI, NTK, YaRN)을 진법 변환의 서로 다른 전략으로 통합하는 이론적 프레임워크를 구축하여, 이들의 동작을 분석할 수 있는 공통 언어를 제공합니다.
새로운 알고리즘: 기존의 최첨단(SoTA) 학습 불필요 접근 방식보다 뛰어난 성능을 보이는 점진적 진법 변환 방법인 MrRoPE-Pro를 도입합니다.
학습 불필요 효율성: 제안된 두 방법 모두 추가적인 미세 조정이나 계산 오버헤드 없이 "짧게 학습하고 길게 테스트하는(train short, test long)" 일반화를 달성합니다.

실험 결과

저자들은 LLaMA2-7B, LLaMA3-8B, Qwen2.5-3B를 대상으로 여러 벤치마크에서 MrRoPE-Pro를 평가했습니다:

Perplexity (Proofpile): MrRoPE-Pro는 8K에서 128K 컨텍스트 길이에 걸쳐 일관되게 가장 낮은 퍼플렉시티를 기록했습니다. 확장된 컨텍스트의 초기 절반 부분에서 높은 퍼플렉시티를 보였던 YaRN과 달리, MrRoPE-Pro는 로컬 및 글로벌 위치 정보 모두에서 균형 잡힌 성능을 유지했습니다.
Needle-in-a-Haystack (NIAH): LLaMA3-8B에서 MrRoPE-Pro는 128K 컨텍스트 길이에서 **85% 이상의 재현율(recall)**을 유지했습니다. 이는 64K 이후 급격한 저하를 경험한 YaRN보다 크게 앞선 성능으로, 사용 가능한 윈도우를 거의 96K까지 효과적으로 확장했습니다.
RULER 벤치마크: MrRoHE-Pro는 64K–128K 범위에서 우수한 안정성을 보여주었으며, YaRN이 크게 하락한 지점(128K에서 79.9)에서도 높은 검색 점수(128K에서 86.6)를 유지했습니다.
Infinite-Bench: MrRoPE-Pro는 검색 및 대화 서브셋(예: KV Retrieval에서 27% vs 9%)에서 YaRN을 큰 차이로 앞질렀습니다. 특히, 추가 학습 없이도 전문화된 미세 조정 롱 컨텍스트 모델(예: Yi-34B-200K, Kimi-Chat)의 성능에 근접하거나 이를 능가했습니다.
이론적 검증: 분석 결과, MrRoPE-Pro가 RoPE가 도달 가능한 인코딩 길이의 상한을 효과적으로 높이고 중간 차원의 어텐션 점수 분포를 안정화함을 확인했습니다.

의의

본 논문은 MrRoPE-Pro가 RoPE 기반 LLM의 컨텍스트 윈도우를 확장하기 위한 이론적으로 근거 있고 경험적으로 견고한 솔루션을 제공한다고 주장합니다. 확장을 혼합 진법 변환 문제로 재구성함으로써, 저자들은 **점진적 스케일링(progressive scaling)**이 이전 연구에서 사용된 역행적 또는 균일한 스케일링보다 우월한 전략임을 입증했습니다. 이 접근 방식은 모델이 고충실도로 초장문 컨텍스트(최대 128K)를 처리할 수 있게 하여, 학습 불필요 방법론과 전문 미세 조정 모델 사이의 간극을 메우고, 긴 텍스트 이해가 필요한 고급 NLP 작업을 위한 확장 가능한 경로를 제시합니다.