💬 NLP

MrRoPE: Mixed-radix Rotary Position Embedding

本論文は、混合基数変換に基づく統一的な理論的枠組みであるMrRoPEを導入するものであり、これはRotary Position Embedding（RoPE）の拡張を一般化し、長文脈における効果的な学習フリーのハンドリングを可能にするMrRoPE-Proのような新しい戦略を通じて、長文脈検索タスクにおいて既存の手法を大幅に上回る性能を実現する。

原著者： Qingyuan Tian, Wenhong Zhu, Xiaoran Liu, Xiaofeng Wang, Rui Wang

公開日 2026-02-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qingyuan Tian, Wenhong Zhu, Xiaoran Liu, Xiaofeng Wang, Rui Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いロボット（大規模言語モデル）を想像してみてください。そのロボットは、話し方を学ぶために膨大な量の本を読み込んできました。しかし、一つ問題があります。学習中、そのロボットは最大8,000単語程度の短い物語しか読むことが許されませんでした。さて、あなたは今、このロボットに128,000単語もある長編小説を読ませ、それに関する質問に答えさせようとしています。

ここで問題となるのは、ロボットがテキスト内の「どこ」にいるかを把握するための、RoPE（Rotary Position Embedding）と呼ばれる特殊な仕組みを持っていることです。RoPEを、ロボットの脳内にある巨大で多速な「時計の文字盤」だと考えてみてください。

いくつかの時計の針は、非常に速く回転します（高次元）。
いくつかの時計の針は、非常にゆっくりと回転します（低次元）。

ロボットが短い物語を読んでいるとき、速い針は何度も回転し、遅い針はほんの少しだけ動きます。ロボットはこれらのパターンを認識することを学びます。しかし、突然、学習した時よりも16倍も長い小説を与えると、遅い針はかつて経験したことのないほど遠くまで回転しなければなりません。そして、ロボットは見たこともない位置に直面し、「混乱の壁」に突き当たります。それは、10までしか数え方を知らない人に、新しい指示もなしに突然1,000まで数えろと言うようなものです。彼らは道に迷ってしまうのです。

旧来の解決策（「引き伸ばし」のアプローチ）

科学者たちは、この時計を引き伸ばすことで解決しようとしました。

NTK: 彼らは時計の文字盤全体を均等に引き伸ばしました。これは効果がありましたが、速い針（短い詳細を捉えるのに適したもの）の動きを奇妙に変えてしまい、短い文章を理解する能力を損なってしまいました。
YaRN: これは現在のチャンピオンです。これはよりスマートな方法を取りました。速い針はほとんどそのままにし、遅い針を大幅に引き伸ばし、その中間にある針には「中間的なアプローチ」を用いました。これはうまく機能しましたが、著者たちはこの「中間的な部分」が完璧ではないと感じました。それは、ゴムバンドを不均一に引き伸ばしたようなもので、一部が切れたり形を失ったりしてしまいました。

新しい解決策：MrRoPE（「混合基数」の時計）

著者であるQingyuan Tian氏とそのチームは、RoPEが実際には数値を異なる基数間で変換すること（例えば、10進数を2進数に変換すること）に非常によく似たことを行っていると気づきました。彼らはこれを「基数理論（Radix Theory）」と呼びました。

彼らは、MrRoPE（Mixed-radix RoPE）と呼ばれる新しい手法を提案しました。単に時計を引き伸ばすのではなく、針の速度に基づいて、時計の「動きのルール」自体を変更したのです。

彼らは、時計を修正するための2つの新しい方法を導入しました。

MrRoPE-Uni: 中間の針に対する一様な引き伸ばし。
MrRoPE-Pro (勝者): 「プログレッシブ（漸進的）」な引き伸ばし。

MrRoPE-Proの比喩:
時計の針を、ランナーのチームだと想像してください。

速いランナー（高次元）は、短距離走者です。彼らのストライド（歩幅）を遅くしたり、フォームを変えたりしてはいけません。なぜなら、彼らは短いスプリントにおいて非常に優れているからです。
遅いランナー（低次元）は、マラソンランサーです。彼らは今、もっと遠くまで走る必要があります。そこで、彼らに大きなストライドを与えます。
中間のランナーが、最もトリッキーな部分です。

以前の手法（YaORNなど）は、中間のランナーに対して「リグレッシブ（退行的）」な戦略をとっていました。これは、彼らが遠くまで進むにつれて、少しずつペースを落としていくようなものです。
MrRoPE-Proは、「プログレッシブ（漸進的）」な戦略を採用しています。これは、中間のランナーが遠くに到達するにつれて、ストライドの長さを徐々に増やしていくものです。それは、彼らに穏やかな加速のブーストを与えるようなものです。これにより、短距離走者のリズムを完璧に保ったまま、マラソンランサーが目眩を起こすことなくゴールに到達できるようにします。

テストの結果はどうだったのか？

チームはこの新しい「プログレッシブな時計」を、いくつかの課題でテストしました。

「干し草の山の中の針（Needle in a Haystack）」テスト: 彼らは巨大な本（干し草の山）の中に特定の文章（針）を隠し、ロボットにそれを見つけ出させました。
- 結果: MrRoPE-Proは、最大128,000単語の長さの本の中から、85%以上の精度で針を見つけることができました。YaRNは64,000単語を超えると急激に失敗し始めました。これは、YaRNの懐中電灯が暗闇でチカチカと点滅し始めたのに対し、MrRoPE-Proは非常に鋭いサーチライトを持っていたかのようです。
「Infinite-Bench」テスト: これは、ロボットが見つけた情報を実際に使って、質問に答えたり会話をしたりできるかをテストするものです。
- 結果: MrRoPE-Proは単に針を見つけるだけでなく、物語を理解していました。それはYaRNを大幅に（時には2倍のスコアで）引き離し、長編小説用に特別に再学習（ファインチューニング）された他のロボットと同等、あるいはそれ以上の性能を発揮しました。最も素晴らしい点は、MrRoPE-Proは再学習を必要としなかったことです。数学的なルールを変更するだけで、即座に機能したのです。

結論

この論文は、ロボットの位置追跡システムを「数値の基数変換」という観点から見ることで、それを引き伸ばすためのより優れた方法を見出したと主張しています。MrRoPE-Proは、「短く訓練し、長くテストする」という魔法のようなトリックです。つまり、ロボットを短いテキストで訓練し、その後、内部の時計にこの新しい漸進的な引き伸ばしルールを適用するだけで、追加の学習なしに、即座に巨大な小説を読み、理解させることができるのです。

技術要約: MrRoPE (Mixed-Radix Rotary Position Embedding)

問題提起

Rotary Position Embedding (RoPE) は、大規模言語モデル (LLM) において位置情報をエンコードするための標準的なメカニズムであり、長距離の依存関係のモデリングを可能にします。しかし、RoPE は、事前学習時のウィンドウサイズを超えるコンテキスト長が適用された際に、根本的な汎化失敗に直面します。この問題は、高次元の埋め込み特徴がより低速な周波数で回転することに起因します。学習中、これらの次元はしばしば完全な回転サイクルを完了できません。その結果、コンテキスト長が学習ウィンドウを超えると、これらの次元は未知の回転角（分布外 [Out-of-Distribution: OOD] の位置）に遭遇し、性能低下を招きます。

Position Interpolation (PI)、NTK-aware Interpolation、および YaRN といった、学習を必要としない拡張戦略が提案されていますが、これらには統一された理論的基盤が欠けています。さらに、既存の手法、特に YaRN は、中間次元に対して特定の補間戦略を採用していますが、これは高周波情報の破壊を招いたり、有効なコンテキストウィンドウを最大化できなかったりする可能性があり、最適ではない場合があります。

手法: Mixed-Radix フレームワーク

本論文は、RoPE の拡張を 進数 (radix/base) システム変換 の観点から再解釈する統一的な理論フレームワークである MrRoPE (Mixed-Radix RoPE) を導入しています。

理論的統一:
著者らは、RoPE の回転メカニズムが、十進法の位置 $m$ を $\beta$ 進数表現に変換することと数学的に類似していることを示しています。この視点では、 $j$ 番目の次元の回転角は、混合進数システムにおける $j$ 番目の桁に対応します。したがって、コンテキストウィンドウの拡張は、高周波次元における「桁の切り捨て」（OOD）を防ぐために、特定の次元の進数の基数 (radix base) を再スケールすることと同等です。
一般化された定式化:
MrRoPE は、各次元 $j$ に独立した周波数スケーリング係数 $\lambda_j$ を割り当てる一般化された拡張を定義します。修正された回転角 $\theta'_j$ は次のように計算されます：
$m\theta'_j = \left( m \cdot b^{-\frac{j-1}{D_r}} \cdot \prod_{d=1}^{j-1} \lambda_d^{-1} \right) \mod 2\pi$
ここで、 $D_r$ は回転ペアの数です。既存の手法は、このフレームワークの特定のインスタンスであることが示されています：
- NTK-aware Interpolation: すべての次元に対して一様なスケーリング係数 ( $\lambda_j = \text{constant}$ ) を使用します。
- YaRN: 中間次元が線形にスケールされる一方で、低周波および高周波の次元は変更されない ( $\lambda_j=1$ ) という「回帰的 (regressive)」なスケーリング戦略を使用します。
提案される戦略:
最適な拡張には、高周波の詳細を保持しつつ、表現可能な範囲を拡大する必要があるという仮説に基づき、著者らは2つの新しい学習不要の戦略を提案しています：
- MrRoPE-Uni: すべての中間次元に対して一様 (uniform) なスケーリング係数を適用します。
- MrRoPE-Pro: 漸進的 (progressive) なスケーリング係数を適用します。このスキームでは、低次（高周波）の次元はより小さな進数拡張を行い、高次（低周波）の次元は比例してより大きな拡張を行います。この「緩やかなものから急なものへ (slow-to-steep)」という進行は、必要な拡張係数を達成しつつ、高周波次元の微細な構造をより良く保持することを目的としています。

主な貢献

統一理論: 本論文は、多様な RoPE 拡張手法（PI、NTK、YaRN）を、進数変換の異なる戦略として統合する理論的フレームワークを確立し、それらの挙動を分析するための共通言語を提供しました。
新しいアルゴリズム: 既存の最先端 (SoTA) の学習不要なアプローチを凌駕する、漸進的な進数変換手法である MrRoPE-Pro を導入しました。
学習不要の効率性: 両方の提案手法は、追加の微調整や計算オーバーヘッドを必要とせずに、「短期間の学習で長期間のテスト」を行う汎化を実現します。

実験結果

著者らは、LLaMA2-7B、LLaMA3-8B、Qwen2.5-3B を用いて、複数のベンチマークで MrRoPE-Pro を評価しました。

パープレキシティ (Proofpile): MrRoPE-Pro は、8K から 128K のコンテキスト長において、一貫して最も低いパープレキシティを達成しました。拡張されたコンテキストの最初の半分において高いパープレキシティを示した YaRN とは異なり、MrRoPE-Pro は局所的およびグローバルな位置情報の両方においてバランスの取れた性能を維持しました。
Needle-in-a-Haystack (NIAH): LLaMA3-8B において、MrRoPE-Pro は 128K のコンテキスト長で 85% 以上のリコール率 を維持しました。これは、64K を超えると急激な劣化が発生した YaRN を大幅に上回り、実用的なウィンドウを 96K 付近まで効果的に拡張しました。
RULER ベンチマーク: MrRoפה-Pro は 64K–128K の範囲で優れた安定性を示し、YaRN が大幅に低下した 128K においても高い検索スコア (128K で 86.6) を維持しました。
Infinite-Bench: MrRoPE-Pro は、検索および対話のサブセット（例：KV Retrieval では 27% 対 9%）において、YaRN を大幅に上回りました。特筆すべきは、追加の学習なしに、専門の微調整済み長コンテキストモデル（例：Yi-34B-200K、Kimi-Chat）に匹敵、あるいはそれを超える性能に達したことです。
理論的検証: 分析により、MrRoPE-Pro が RoPE の到達可能なエンコーディング長の境界を効果的に引き上げ、中間次元におけるアテンション・スコアの分布を安定させることが確認されました。

意義

本論文は、MrRoPE-Pro が、RoPE ベースの LLM のコンテキストウィンドウを拡張するための、理論的に裏付けられ、かつ経験的に堅牢なソリューションを提供すると主張しています。拡張を混合進数変換問題として捉え直すことで、著者らは、漸進的なスケーリング (progressive scaling) が、従来の作業で使用されている回帰的または一様なスケーリングよりも優れた戦略であることを証明しました。このアプローチにより、モデルは高い忠実度で超長文コンテキスト（最大 128K）を扱うことが可能となり、学習不要の手法と専門の微調整済みモデルとの間の溝を埋め、長文理解を必要とする高度な NLP タスクへのスケーラブルな道筋を提供します。