🤖 machine learning

LeRoPE: Learnable RoPE Frequencies Improve Language Modeling

本論文は、回転式位置エンコーディング（RoPE）の周波数を固定されたハイパーパラメータではなく学習可能なパラメータとして扱う手法であるLeRoPEを紹介し、52Mから2.5Bパラメータのモデルを訓練することを通じて、このアプローチが標準的なRoPEや部分的なRoPEを常に上回り、かつ同等の性能を達成するために必要な計算量を大幅に削減できることを実証している。

原著者： Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに読み書きを教えていると想像してください。文章内の単語の順序を理解させるために、あなたは特別な「ポジション・トラッカー（位置追跡器）」を与えました。長い間、最高のトラッカーはRoPE（回転位置エンコーディング）という、固定された既定のレシピを使用してきました。このレシピは、32個のステーション（周波数）を持つ、巨大で事前に調整されたラジオのダイヤルのようなものです。各ステーションは、特定の、かつ不変の速度で回転しており、ロボットが単語同士の相対的な位置関係を把握するのを助けます。あるステーションは非常に速く回転し、あるステーションは非常にゆっくりと回転します。ルールはこうでした。「ダイヤルには触れるな。それらは石に刻まれたように固定されている」と。

しかし、この論文の著者たちは、シンプルな問いを投げかけました。もし、ロボット自身にダイヤルを調整させたらどうなるだろうか？

彼らはLeRoPE（学習型RoPE）を導入しました。周波数を固定する代わりに、彼らはロボットがトレーニング中に、32個のステーションそれぞれに対して小さな「ボリュームノブ」を学習できるようにしました。ロボットは、テキストを最も上手く理解するために、各ステーションがどのくらいの速さや遅さで回転すべきかを自ら決定できるのです。

大きな発見：一つのステーションがすべてを支配する

研究者たちが、さまざまなサイズ（5,200万パラメータの極小モデルから、25億パラメータの巨大なモデルまで）のロボットを訓練したとき、驚くべき発見がありました。ロボットは単にダイヤルをランダムに微調整したわけではありません。ロボットは一貫して、次の2つのことを行いました。

最も遅いステーションを消音した。 ロボットは、回転が極めて遅い（ほとんど回転しない）ステーションは、位置情報の把握にあまり役立たないことに気づきました。そして、それらのボリュームをほぼゼロまで下げたのです。
「スーパー・ステーション」を見出した。 ロボットは、ある特定のステーションが主役になることを発見しました。この「支配的なバンド」は、非常に特定の速度、すなわちトレーニング・ウィンドウの長さの約2.2倍の速度で回転しました。例えば、ロボットが2,048トークンの文章で訓練された場合、この特別なステーションは、約4,170トークンの波長で回転しました。

この「スーパー・ステーション」は、ロボットの注意（アテンション）における、巨大でリズムのある鼓動のように機能しました。それは、従来の固定されたレシピよりも、単語間の距離をより正確に理解する助けとなりました。

結果：より少ない労力で、より賢いロボットへ

チームは、5,200万から25億パラメータまでの、モデルの規模に応じた一連のテストを行いました。結果は一貫していました。

優れたパフォーマンス： すべてのサイズにおいて、LeRoLEを使用するロボットは、従来の固定RoPEを使用するロボットよりもミスが少なく（損失が低く）なりました。
3.4%の勝利： 最大規模（2.5Bパラメータ）のLeRoPEロボットの性能に匹つづけるために、従来のRoPEロボットが必要とした計算量（FLOPs）は、3.4%多くなります。これは、同じスピードでレースを終えるために、あと3.4%長く走らなければならないようなものです。
干し草の中の針（Needle in a Haystack）： 彼らは、長いテキストの中に隠された特定の情報を探し出す能力（「干し草の中の針」テスト）についてもテストしました。LeRoPEのロボットは、多くの邪魔なテキスト（最大31個のディストラクター）がある状況でも、針を見つけるのがより得意でした。

彼らが否定したもの

論文では、何がうまくいかなかったのか、あるいは何が成功の主な理由ではなかったのかについて、慎重に説明しています。

単に遅いステーションをオフにしているだけではない。 彼らは「部分的なRoPE」（p-RoPE）と呼ばれる手法を試しました。これは、単に最も遅いステーションを完全にオフにするものです。これは多少の改善は見られたものの、LeRoPEが達成した改善のわずか**10.4%**しか捉えられませんでした。LeRoPEが優れているのは、単にステーションをオフにするのではなく、それらがどのように回転するかを「再形成（リシェイプ）」するからです。
最終的な設定値だけが重要なのではない。 彼らは、トレーニング後にロボットの学習されたダイヤルを固定し、それを新しいロボットに使用するテストも行いました。この「固定LeRoPE（Fixed LeRoPE）」は、改善の**63.6%**を捉えました。これは、最終的な設定も素晴らしいものですが、ロボットが他の脳の部分と一緒にそれらの設定を学習するという「プロセス」自体も、非常に大きな役割を果たしていることを示唆しています。

確信の根拠

著者たちは、単一のテストを行ったわけではないため、これらの発見に非常に自信を持っています。

彼らは5つの異なるモデルサイズにわたってテストを行いました。
結果が単なる偶然ではないことを確認するために、複数のランダムシード（異なる開始点）を用いて実験を行いました。異なる開始点であっても、ロボットは常に同じ「スーパー・ステーション」を見つけ出しました。
コード（Python）を含む異なる種類のテキストに対してもテストを行い、同様のパターンを確認しました。

ただし、小さな制限事項についても述べています。彼らの最大のモデル（2.5B）は、今日の現実世界で使用されている巨大なモデルと比較すると、まだはるかに小さいものです。したがって、結果は強力で一貫していますが、彼らは特定のモデルサイズの範囲における現象を観察していることになります。

まとめ

この論文は、位置追跡のための「固定周波数」という古いルールは、最善の方法ではないことを示唆しています。モデルに独自の周波数を学習させることで、モデルは自然に、非常に効率的な位置処理の方法を発見し、テキストをより良く、より速く理解するための、強力な単一の「鼓動」を作り出すのです。これは数学的な小さな変更ですが、ロボットに目に見える優位性を与え、計算量を節引し、長い物語の中で情報を探し出す能力を向上させます。

技術要約：LeRoPE: 学習可能なRoPE周波数が言語モデリングを改善する

問題提起

回転式位置エンコーディング（Rotary Positional Encodings; RoPE）は、現代の大規模言語モデル（LLM）における標準的な位置エンコーディングメカニズムである。RoPEは、2次元の周波数帯域においてクエリおよびキーのベクトルを回転させることで動作し、各帯域の回転率は、ベースとなるハイパーパラメータ（ $b$ ）によって定義される固定された幾何級数によって決定される。

先行研究では、この固定周波数アプローチにおける限界が特定されている：

意味的情報と位置情報の混同： 最近の研究によれば、最も遅い周波数帯域（回転率が最も低い帯域）は、典型的なコンテキストウィンドウ内では回転がほとんど行われないため、位置情報ではなく意味情報を担っていることが多い。
不適切な周波数割り当て： Partial RoPE (p-RoPE) やベース $b$ の調整といった既存の改善策は、どの帯域を回転させるか、あるいはどのようにスケールさせるかを手動で選択するものである。これらの手法は、訓練前に周波数の割り当てを固定してしまうため、モデルが特定のタスクやコンテキスト長に対して最適な周波数スペクトルを発見することを妨げる可能性がある。

著者らは、RoPEの操作は周波数に対して微分可能であるため、これらの周波数は固定されたハイパーパラメータではなく、学習可能なパラメータとして扱うべきであると主張している。

手法：LeRoPE

本論文では、各周波数帯域の周波数を学習可能なスカラーによって再スケールする、標準的なRoPEメカニズムの修正案である LeRoPE (Learned RoPE) を提案する。

コアメカニズム

各帯域 $m$ に対して固定の周波数 $\theta_m$ を使用する代わりに、LeRoPEは帯域ごとの学習可能なスカラー $\alpha_m$ を導入する。有効な周波数 $\hat{\theta}_m$ は以下のように定義される：
$\hat{\theta}_m = e^{\alpha_m} \theta_m$
ここで、 $\theta_m$ はベース $b$ から導出される標準的なRoPE周波数である。

主要な設計上の選択：

対数パラメータ化： 周波数は対数空間（ $\alpha_m$ ）でパラメータ化される。これにより、 $\alpha_m$ への更新が周波数に対する乗法的変化をもたらし、ゼロに向かって周波数をスケールダウンさせる際の条件付けを改善し、ゼロ付近での不安定な勾配ダイナミクスを回避できる。
初期化： $\alpha_m$ は 0 で初期化されるため、学習開始時においてLeRoPEは数学的に標準的なRoPEと等価である。
パラメータ共有： 同一の学習済み周波数セットがすべてのレイヤーおよびアテンションヘッド間で共有される。ヘッド次元 $d_h$ に対して、これはモデルに $d_h/2$ 個の学習可能なパラメータを追加する（例： $d_h=64$ の場合、32個のパラメータ）。
最適化： 著者らはLeRoPEパラメータに対するウェイトディケイを省略し、周波数スカラーの安定した学習を保証するために独立した勾配クリッピングを適用している。

理論的分析

論文では、周波数パラメータに関する損失の勾配を導出している。彼らは、周波数 $\theta_m$ に対する勾配更新が、オフセット集約された勾配信号の離散時間フーリエ変換の実部であるサロゲート損失関数 $P_m(\theta)$ の微分に対応することを示している。この定式化は、モデルが相対的なトークンオフセットにわたるアテンション・ロジットの勾配信号のスペクトル特性に合わせて、周波数を学習することを示唆している。

実験設定

著者らは、厳格なスケーリング研究を通じてLeRoPEを検証している：

モデル規模： 52Mから2.52Bパラメータに及ぶデコーダー専用トランスフォーマーの「ラダー（梯子）」を使用。
アーキテクチャ： Enokiスケーリングラダー（Charles et al., 2025; Ferbach et al., 2026）に基づいており、固定されたヘッド次元（64）と、それに伴う深さ・幅の共スケール化を行っている。
学習データ： シーケンス長2048トークンの C4 コーパスで事前学習。
ベースライン：
- 標準的なRoPE ( $b=10,000$ )。
- Partial RoPE (p-RoPE, $p=0.75$ )。これは最も遅い25%の帯域からの回転を除去するものである。
評価指標： C4における検証パープレキシティ、計算倍率（ベースラインの損失と一致するために必要なFLOPs）、および「Needle-in-a-Haystack（NIAH）」検索精度。

主な結果

1. スケールを越えたパフォーマンス

LeRoPEは、すべてのモデルサイズ（52Mから2.5B）において、標準的なRoPEおよびp-RoPEを一貫して上回っている。

パープレキシティ： LeRoPEは、あらゆるスケールにおいてより低い検証パープレキシティを達成している。
計算効率： 最大規模（2.5B）において、標準的なRoPEがLeRoPEの達成した損失と一致するためには、3.4%多い計算量（FLOPs）を必要とする。この優位性は持続的であり、RoPEに対する計算倍率はLeRoPEに対して1.03–1.04付近でプラトーに達する。
堅牢性： この改善は複数のランダムシードにわたって保持される。217Mモデルにおいて、LeRoPEとRoPEの差（0.0066 nats）は、シードの変動による標準偏差の3〜7倍である。

2. 支配的な位置情報の帯域の出現

学習された周波数の分析により、スケールやシードを問わず一貫したパターンが明らかになった：

周波数の抑制： モデルは、最も遅い帯域の周波数を抑制（ゼロに近づける）し、それらの回転を事実上除去することを学習する。
支配的な帯域： 単一の周波数帯域が大きなノルムとアテンション・ロジットへの強い位置情報の寄与を持って出現する。この「支配的な位置情報帯域」の波長（ $\lambda$ ）は、訓練コンテキスト長（ $L_{train}$ ）に対して線形にスケールする。具体的には $\lambda \approx 2.2 \times L_{train}$ である。
メカニズム： 標準的なRoPEは多くの帯域に位置情報を分散させるが、LeRoPEはこの特定の支配的な帯域に位置信号を集中させ、残りの帯域は他の信号タイプを処理するか、あるいは打ち消し合うように機能する。

3. アブレーションと汎用性

凍結された周波数： 別のLeRoPE実行によって学習された値に周波数を固定して訓練したモデルは、パフォーマンス向上の 63.6% を捉えている。これは、最適な周波数セットの発見が成功の主要な要因であることを示しているが、共同訓練のダイナミクスも残りの部分に寄与している。
コードの事前学習： StarCoder-Pythonデータセットを用いた実験でも、同様の利得（RoPEに対して0.0104 natsの改善）と同様の周波数パターンが示されており、この手法が自然言語を超えて汎用できることを示唆している。
外挿（Extrapolation）： LeRoPEは、単純な外挿においては（支配的帯域の正弦波成分が訓練ウィンドウの外で正になるため）RoPEよりも急激に劣化するが、NTK-by-parts や YaRN といった標準的なコンテキスト拡張技術との互換性は維持されている。これらの手法と組み合わせることで、LeRoPEは32kトークンのシーケンス長に至るまでRoPEおよびp-RoPEを凌駕する。

意義と主張

本論文は、LeRoPEが言語モデルの位置エンコーディングに対する、シンプルでパラメータ効率が高く、普遍的に適用可能な改善策を提供することを主張している。

ヒューリスティクスに対する学習可能性： 本研究は、周波数帯域を学習可能なパラメータとして扱うことで、モデルが手動で調整されたヒューリスティクス（p-RoPEや固定ベースの調整など）よりも効率的なスペクトル割り当てを自動的に発見できることを実証している。
効率性： この手法は一貫した「無料の」パフォーマンス向上を提供し、目標とする性能レベルに達するために必要な計算予算を、大規模スケールにおいて約3.4%削減する。
メカニズム的洞察： 単一の支配的な位置情報帯域の出現は、モデルがどのように周波数スペクトルを利用しているかについての新たな知見を提供しており、特定の学習された周波数が、イン・ディストリビューションのタスクに対して必要な位置信号を符号化するのに十分であることを示唆している。一方で、より遅い帯域は意味的内容の処理により適している。

著者らは、実験が最大2.5Bパラメータのモデルに限定されていることを踏まえ、その範囲について謙虚な姿勢を保っており、過学習されたより大規模なモデルにおける利点はまだ完全には実証されていないとしている。しかし、スケーリングラダーおよび異なるデータセット（C4およびCode）にわたる結果の一貫性は、この手法が堅牢であり、より大規模な基盤モデルにおいても有益である可能性が高いことを示唆している。