🤖 machine learning

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

本論文は、値の埋め込みをキーと共に回転させることで値の経路を位置に敏感にする、パラメータフリーな修正手法であるRoVEを導入しており、これにより様々なアテンション形式を統一し、長文脈およびインコンテキスト学習タスクにおいて標準的なRoPEを上回る一貫した性能向上を実証している。

原著者： Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「盲目の伝令係」

大規模言語モデル（あなたが今話しているようなもの）を、メモを回し合う巨大な作業員チームだと想像してみてください。

クエリ（読み手）： 一人の作業員が質問を投げかけます。
キー（インデックス）： 他の作業員は、「あなたが必要としている答えを持っています！」という看板を掲げています。
バリュー（メッセージ）： 読み手が誰の言葉を聞くかを決めたら、それらの作業員は実際のメモ（データ）を渡します。

この論文は、現代のモデル（RoPEと呼ばれるものを使用しているモデル）における欠点を指摘しています。

優れた点： モデルは「誰の言葉を聞くべきか」については非常に賢いです。5歩先にいる作業員のメモと、50歩先にいる作業員のメモは別物であることを理解しています。距離を慎重に扱っています。
問題点： 一度、読み手が特定の作業員の言葉を聞くことに決めたら、その内容（メッセージ）は、その作業員がどれほど遠くにいても同じように扱われてしまいます。
- 例え： あなたが友人の話を聞いていると想像してください。友人がすぐ隣に立っていれば、その声ははっきりと聞こえます。しかし、もし友人が100フィート先にいたとしても、モデルにとっては、まるで隣にいる時と同じように、全く同じ言葉として処理されてしまうのです。モデルは、「距離」によって「誰が話すか」だけでなく、「メッセージをどう解釈するか」までが変わるべきであるということに気づけていないのです。

解決策：RoVE（Rotary Value Embeddings）

著者らは、RoVEと呼ばれる、シンプルでコストのかからない修正案を提案しています。

RoPEのように「看板（Key）」を回転させて距離を示すだけでなく、RoVEでは、読み取られる前に「メモ（Value）」自体も回転させます。

例え： 作業員たちが皆、地図を持っていると想像してください。
- 従来の方法 (RoPE)： 読み手は、作業員がどこに立っているかを正確に把握しています。しかし、作業員がメモを渡すとき、そのメモは場所に関わらず標準的なフォントで書かれています。
- 新しい方法 (RoVE)： 作業員は、メモを渡す前に、その距離に基づいて紙を回転させます。遠くにいれば、紙は少し傾いています。近くにいれば、平らに置かれています。
- 結果： 読み手がメモを受け取るとき、その紙の傾きによって、自分の位置に対してそのメッセージをどのように解釈すべきかが分かります。メッセージ自体が、自らの「距離」を知ることになるのです。

なぜこれが重要なのか：「アテンティブ・コンボリューション（注意深い畳み込み）」

この論文は、この小さな変更によって、モデルのアテンション・メカニズムが**「アテンティブ・コンボリューション（Attentive Convolution）」**と呼ばれるものへと進化すると主張しています。

メタファー： 標準的なアテンション・メカニズムをスポットライトだと考えてください。スポットライトは様々な人に当たりますが、光の色はどこでも同じです。
RoVEによる変化： RoVEは、中心からどれくらい離れているかに応じて、スポットライトの色が変わるようにします。
メリット： これにより、「ブロック・トプリッツ構造（数学の専門用語）」が生まれます。これは、コンピュータが画像を処理する際に使用される**畳み込み（Convolution）**の構造と同じものです。
- 簡単に言えば：これを行うことで、モデルは言語を、位置や距離がデータの意味を根本的に変える「画像や物理的な物体」のように処理し始めるのです。

実験の結果

著者らは、2つのサイズ（小型および中型）の言語モデルでテストを行い、以下の結果を得ました。

記憶力の向上： 長距離の記憶（ロングコンテキストの検索）において、モデルの性能が向上しました。
推論能力の向上： 非常に少ない例題から問題を解く（フューショット学習）際、より高いパフォーマンスを発揮しました。
リーチの拡大： 学習時よりもはるかに長いテキストに対しても、混乱することなく対処できました（分布外のパープレキシティ）。

「無料」のアップグレード

この論文の最もエキサイティングな点は、RoVEが追加の学習や追加のメモリを必要としないことです。

新しい「重み（パラメータ）」を追加しません。
コンピュータの処理速度を大幅に低下させることもありません。
「ドロップイン」の置き換えが可能です。古い手法をRoVEに入れ替えるだけで、モデルは即座に距離や長い物語を扱う能力が高まります。

まとめ

論文の主張は、言語モデルが真に物語を理解するためには、単に「誰が話しているか」を知るだけでなく、「話し手がどれくらい離れているか」を知り、それに応じてメッセージを調整する必要があるということです。RoVEは、メッセージ（Value）にその距離を意識させる、コストゼロの巧妙なトリックであり、モデルを、長くて複雑なタスクにおいても優れた能力を発揮する、より強固な「聞き手」へと変貌させます。

技術要約: RoVE (Rotary Value Embeddings Attention)

問題提起

標準的な回転位置埋め込み（RoPE）は、クエリとキーを絶対位置に基づいて回転させることで、アテンション・スコアを相対的な位置関係に即したものにする。しかし、バリュー（Value）の経路は位置に対して盲目的である。トランスフォーマー回路の言葉を借りれば、QK（Query-Key）回路は相対的な位置にバイアスがかかっている一方で、OV（Output-Value）回路は、値のトークン $x_j$ を、その距離 $x_i$ からの離隔に関わらず同一に扱う。具体的には、値のトークンに適用されるチャネルマップ $W_V$ は、相対的なオフセット $\delta = j - i$ に関する情報を持たない。この非対称性は、集計前に値に対して相対位置に敏感な変換を行う能力を制限している。この能力は畳み込み演算には備わっているが、標準的なRoPEアテンションには欠けているものである。

手法: RoVE

著者らは、RoPEをバリュー経路へと拡張する、パラメータフリーの修正手法である RoVE (Rotary Value Embeddings) を提案している。コアとなるメカニズムは、キーで使用されるものと同じ位置依存の回転行列を用いてバリューベクトルを回転させることであるが、集計前にそれらをクエリのリファレンスフレーム（参照枠）に整合させるように行う。

数学的定式化

標準的なRoPEにおいて、位置 $i$ での出力は次のように計算される：
$y_i = \sum_{j \in N(i)} A(X)_{ij} W_V x_j$
ここで、 $A(X)_{ij}$ は相対オフセット $j-i$ に依存するRoPEアテンションの重みである。

RoVEはこれを修正し、位置 $j$ における回転 $R_j$ によって $x_j$ を回転させ、その後、クエリの位置 $i$ において回転の逆転 $R_i^{-1}$ を適用する：
$\tilde{y}_i = R_i^{-1} \sum_{j \in N(i)} A(X)_{ij} R_j W_V x_j = \sum_{j \in N(i)} A(X)_{ij} \underbrace{R_{j-i} W_V}_{\psi_{j-i}} x_j$

構造的解釈

この修正は、アテンション演算の性質を根本的に変化させる：

アテンティブ・コンボリューション（注意付き畳み込み）: RoVEは、アテンション機構をアテンティブ・コンボリューションへと変容させる。一定のバリューマップ $W_V$ は、オフセット依存のカーネル・ファミリー $\psi_\delta = R_\delta W_V$ に置き換わる。これにより、相対位置 $\delta$ は、トークンの選択（QK回路）を制御するのと同様に、トークンの変換（OV回路）をも変調するようになる。
マトリックス・ミキサー構造: マトリックス・ミキサーの枠組みにおいて、標準的なRoPEミキサーはクロネッカー構造（ $A \otimes W_V$ ）を持ち、ルーティングとチャネル投影を分離している。RoVEはこれをブロック・トプリッツ構造へと置き換える。ここでは、同じ相対オフセットの対角線上にあるブロックが、アテンションの重みによってスケールされた、同一の回転バリュー・カーネルを共有する。
フレーム変更の視点: この操作は、フレーム変更として捉えることができる。すなわち、値は局所的なフレームから $R_j$ を通じて共有のグローバルなフレームへと変換され、集計された後、 $R_i^{-1}$ を通じてクエリの局所的なフレームへと変換される。

効率性

RoVEは追加の学習パラメータを導入しない。回転操作は $n$ 個のトークンおよび $d^2$ 個のチャネルペアに対して独立に作用するため、線形計算量 $O(nd) $となる。これは、$ O(nd^2) $の線形層や$ O(n^2d)$ のアテンション層と比較して無視できる程度である。さらに、回転はカーネル呼び出しの前後に発生するため、RoVEはFlashAttentionのような効率的なアテンション・カーネルとも互換性がある。

主な貢献

構造的特性化: 本論文は、RoVEがバリュー経路を相対位置に敏感にすることで、QK回路とOV回路を統一することを示す理論的分析を提供している。これにより、RoVEがRoPEアテンションをアテンティブ・コンボリューションへと変え、モデルにブロック・トプリッツ・ミキサー構造を付与することを実証している。
実証的検証: 著者らは、FineWebEdu-10Bデータセットを用いて、GPT-2スタイルのモデル（124Mおよび354Mパラメータ）を訓練した。彼らは、標準的な（KVを共有しない）言語モデルにおける、ドロップイン・リプレースメントとしてのRoVEを評価した。
YaRNとの補完性: 本研究では、RoVEとYaRN（長文脈外挿のための周波数補間法）の相互作用についても調査している。

実験結果

評価は、少数の例示によるインコンテキスト学習（ICL）、分布外（OOD）パープレキシティ、および長文脈検索（RULERベンチマーク）に焦点を当てた。

分布内パフォーマンス: RoVEは、標準的なRoPEと比較して、訓練コンテキスト内（1024トークン）において、コアICL精度およびインコンテキスト・パープレキシティを一貫して向上させた。これは、相対位置のバイアスが、外挿を行わない場合でも有益であることを示している。
分布外（OOD）パープレキシティ: RoVEは、最大16kトークンのコンテキスト長において、パープレキシティを大幅に減少させた。YaRNと組み合わせた場合、その改善は加算的であり、これら2つの手法が長文脈汎化の補完的な側面に対処していることを示唆している。
長文脈検索: RULERベンチマーク（4k/8kトークン）において、RoVEは、特に情報の維持と再結合を必要とするタスク（例：変数追跡、Needle-in-a-Haystack）において顕著な利点を示した。これらの改善は、RoVEをYaRNと組み合わせた際に最も顕著であった。

意義と主張

本論文は、RoVEがRoPEアテンションにおける構造的な非対称性を修正することにより、大規模言語モデル（LLM）に対して堅牢な構造的バイアスを提供すると主張している。バリュー経路を位置に敏感にすることで、RoVEはコンピュータビジョン、ロボティクス、および最近のLLMアーキテクチャ（例：DeepSeek-V4）で見られる類似の操作の独立した定式化を、単一の理論的枠組みであるアテンティブ・コンボリューションの下に統合する。

著者らは、RoVEがパラメータフリーで効率的な修正であり、モデルの規模やタスク、特に長距離の集計を必要とするタスクにおいて性能を向上させることを強調している。結果は、バリュー・ストリームにおける相対位置の認識が、トランスフォーマー・アーキテクチャにおける長文脈の堅牢性と検索能力を向上させるための重要な要素であることを示唆している。