💬 NLP

Selective Rotary Position Embedding

本論文は、従来の固定角による回転位置埋め込み（RoPE）を、入力に応じて回転角を変化させる「Selective RoPE」へと拡張することで、Softmax Transformerと線形Transformer（SSM等）の両方において位置情報の表現力と記憶・忘却の制御能力を向上させる手法を提案しています。

原著者： Sajad Movahedi, Timur Carstensen, Arshia Afzal, Frank Hutter, Antonio Orvieto, Volkan Cevher

公開日 2026-04-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sajad Movahedi, Timur Carstensen, Arshia Afzal, Frank Hutter, Antonio Orvieto, Volkan Cevher

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：記憶の「回転」と「忘却」の黄金バランス

想像してみてください。あなたは今、ものすごく長い物語を読んでいる「超天才的な読書家」だとします。

これまでのAI（言語モデル）には、大きく分けて2つのタイプがありました。

「すべてを完璧に覚えるが、頭がパンクしそうになる」タイプ（Transformer型）
物語の最初から最後まで、すべての単語との関係を細かくチェックします。正確ですが、物語が長くなればなるほど、チェックする量が増えすぎて、脳（計算量）が爆発してしまいます。
「超高速で読み進めるが、大事なことをすぐ忘れる」タイプ（線形モデル/SSM型）
物語を流れるように読み、要点だけをメモして次に進みます。計算は速いですが、メモ帳の容量が決まっているため、物語の序盤で起きた「伏線」を、後半で「あれ、誰だっけ？」と忘れてしまう弱点がありました。

今回の論文は、この「速いけれど忘れっぽい」タイプに、「賢い記憶の整理術」を教えることで、爆速かつ正確な読書を可能にする技術です。

1. 解決策：記憶の「回転」と「忘却」

研究チームは、記憶を整理するために**「回転」と「忘却」**という2つの魔法を組み合わせるべきだと気づきました。

① 「回転」の魔法（位置の感覚）

例えば、あなたが「リンゴ」という単語を覚えるとき、それが「物語の最初」に出てきたのか、「さっき」出てきたのかを知る必要があります。
この論文では、情報を**「回転するコマ」**のように扱います。

新しい情報が入るたびに、記憶の角度を少しずつ変えていきます。
「どのくらい回転したか」を見れば、「あ、これはさっきの情報の続きだな」とか「これはずっと前の伏線だな」という**「位置関係」**が、情報の強さを変えずに直感的に分かります。

② 「忘却」の魔法（情報の取捨選択）

しかし、回転させるだけでは、古い情報がずっと頭の中に残り続けて、新しい情報と混ざってノイズになってしまいます。
そこで、**「古いものから少しずつ、でも大事なものは残して、フェードアウトさせていく」**という仕組み（ゲート）を導入しました。

2. この技術のすごいところ：Selective RoPE

これまでの技術では、この「回転」の仕方が決まりきったルール（固定された角度）でした。しかし、今回の**「Selective RoPE」**は違います。

**「状況に応じて、回転の角度を自分で変えられる」**のです。

例えるなら：

これまでの技術： 常に一定のスピードで回るメトロノームのようなもの。
Selective RoPE： 音楽のテンポや曲の盛り上がりに合わせて、回転の速さを自由に変えられる、超一流のダンサーのようなもの。

「これは重要な伏線だから、回転を工夫してしっかり記憶に刻もう」とか、「これはただの挨拶だから、回転させてサラッと流そう」といった判断を、AIが自分で学習できるようになりました。

3. 結果はどうなった？

この「賢い回転術」をAIに組み込んだところ、驚くべき結果が出ました。

伏線回収が上手くなった： 非常に長い文章でも、最初の方に出てきた情報を正確に思い出せるようになりました（「コピー問題」や「状態追跡」というテストで証明）。
賢さがアップした： 実際に言葉を話すテスト（言語モデルの学習）でも、より自然で正確な文章が書けるようになりました。
しかも軽い： 計算の手間はほとんど増えていないので、スピードを犠牲にすることなく、賢さだけを底上げできました。

まとめ

この論文は、**「情報をただ溜め込むのではなく、『回転』させて位置を整理し、『忘却』させてノイズを消す」**という、人間が記憶を整理するプロセスに近い仕組みをAIに与えました。

これにより、AIは「爆速で読み進めながらも、物語の伏線を完璧に見逃さない、超有能な読書家」へと進化したのです。

技術要約：Selective Rotary Position Embedding (Selective RoPE)

1. 背景と問題意識 (Problem)

現在の言語モデルの主流は、高いコンテキスト想起能力を持つSoftmax Transformer（RoPEなどの回転式位置エンコーディングを使用）と、計算効率に優れた線形（Linear）Transformer/SSM（MambaやGLAなど）の2つに分かれています。

しかし、線形モデルには以下の決定的な欠点があります：

回転成分の欠如: 線形モデル（GLAやMamba等）は、主に「ゲート（Decay）」を用いて過去の情報を忘却・管理しますが、Softmaxアテンションが暗黙的に行っている「クエリとキーの相対位置をエンコードするための回転（Rotation）」の能力が不足しています。
想起能力の限界: ゲートによる減衰（Decay）は情報の「ノルム（大きさ）」を制御しますが、情報の「位相（相対位置）」を保持する仕組みが不十分なため、長距離の情報の想起（Recall）においてSoftmaxモデルに大きく劣ります。

2. 提案手法 (Methodology)

本論文では、**「想起には『回転』と『減衰』の両方が必要である」**という理論的洞察に基づき、Selective RoPEを提案しています。

理論的根拠

Softmaxの再解釈: Random Fourier Features (RFF) を用いた近似理論により、Softmaxアテンションは「入力依存の選択的な回転」を暗黙的に実行していることを証明しました。
スペクトル漏洩の抑制: 回転のみのモデル（純粋な複素数モデル）は、信号処理における「スペクトル漏洩」と同様の問題を抱え、情報の圧縮が不完全になります。これを解決するには、指数関数的な「減衰（ゲート）」を組み合わせる必要があります。

Selective RoPE の仕組み

Selective RoPEは、従来のRoPEを拡張し、回転角を固定値ではなく、入力に依存して学習可能なパラメータとしたものです。

数式モデル: 線形アテンションの再帰的な状態遷移において、ゲート（ $\Lambda_t$ ）に加えて、入力依存の回転行列（ $R_t$ ）を導入します。
$S_t = S_{t-1} R_t + v_t k_t^\top$
効率的な実装: 「RoPE Trick」を利用することで、複素数演算を実数ドメインの効率的なカーネル（Flash Linear Attention等）でそのまま実行可能です。
設計の詳細: 学習の安定化のため、回転角の生成にSiLU活性化関数や重み正規化（Weight Norm）を組み込んでいます。

3. 主な貢献 (Key Contributions)

統一的視点の提示: 「実部は忘却（Decay）を、虚部は位置（Rotation）を担う」という、線形再帰モデルにおける実部と虚部の補完的な役割を理論的に明らかにしました。
新手法の提案: 入力依存の回転を導入した「Selective RoPE」を提案し、線形モデルの表現力を大幅に向上させました。
効率的な実装: 計算コストを最小限に抑えつつ、既存の線形アテンション・カーネルを再利用できる実装手法を確立しました。

4. 実験結果 (Results)

実験は、合成タスクと大規模言語モデル（LLM）の事前学習の両面で行われました。

合成タスク (Recall-centric tasks):
- MQAR (Multi-Query Associative Recall): Selective RoPEを導入したGLAは、従来のRoPEやNoPE（位置エンコーディングなし）を大幅に上回る想起精度を記録しました。
- Copying / State Tracking: 文字列のコピーや、対称群（ $S_2, A_3$ ）における状態追跡タスクにおいて、優れた長さ外挿性（Length Extrapolation）と表現力を示しました。
言語モデル事前学習 (Language Modeling):
- 370Mおよび1.3Bパラメータのモデルを用いた実験において、Selective RoPEは、Perplexity（困惑度）の改善、および多くのダウンストリームタスクにおける精度向上に寄与しました。

5. 意義 (Significance)

本研究は、**「線形モデルがいかにしてSoftmax Transformerの強力な想起能力に近づけるか」**という問いに対し、数学的な裏付けを持って回答を与えています。

従来の線形モデルが「情報の忘却（減衰）」に注力していたのに対し、本研究は「情報の位相（回転）」の重要性を再定義しました。これにより、計算効率（線形時間・定数メモリ）を維持したまま、Transformer並みの高いコンテキスト理解能力を持つ次世代のアーキテクチャ設計への道を開きました。