🤖 AI

LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation

LaneRoPE は、シーケンス間のアテンションマスクと拡張された RoPE を導入して複数の生成を調整することにより、大規模言語モデルにおける協調的な並列推論を可能にする新しい位置符号化手法であり、これによりアーキテクチャの変更や推論のオーバーヘッドを最小限に抑えつつ数学タスクの精度を向上させます。

原著者： Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gabriele Cesa, Thomas Hehn, Aleix Torres-Camps, Àlex Batlle Casellas, Jordi Ros-Giralt, Arash Behboodi, Tribhuvanesh Orekondy

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

本当に難しい数学のパズルを解こうとしていると想像してください。あなたには、同時にそのパズルを解こうとしている4人の天才的な友人（アリス、ボブ、チャーリー、デイブとしましょう）がチームとしています。

古い方法（独立した思考）
過去には、この4人の友人にパズルを解くよう頼むと、彼らはそれぞれ別々の部屋に座ることになりました。彼らはすべて独立して問題に取り組み始めます。

アリスは足し算を試みるかもしれません。
ボブは引き算を試みるかもしれません。
チャーリーは特定のステップでつまずくかもしれません。
デイブはすぐに答えを見つけるかもしれません。

最後に、あなたは4つの答えをすべて集め、最も正しそうなものを選びます。問題点は、彼らが作業中に互いに話せなかったことです。アリスが間違いを犯そうとしているとき、ボブは彼女を止められませんでした。デイブが近道を見つけるとき、アリスはそれを利用できませんでした。彼らは孤立していたため、同じ作業を二度行ったり、行き止まりでつまずいたりしてエネルギーを無駄にしていたのです。

新しい方法：LaneRoPE
この論文は、LaneRoPEと呼ばれる新しい手法を紹介しています。LaneRoPEを、それぞれが自分のキーボードを打ちながら、互いの思考をリアルタイムで見たり聞いたりできる魔法のような「オープンコンセプト」のオフィスを与えることだと考えてください。

以下に、簡単な比喩を使ってその仕組みを説明します。

1. 「オープンオフィス」（クロスシーケンス注意）

古いシステムでは、コンピュータ（AI）は各友人の思考プロセスを完全に独立したテキストの行として扱っていました。LaneRoPEはルールを変更し、アリスが思考を入力すると、ボブが即座に自分の頭の中でそれ「見る」ことができるようにし、その逆も同様です。

比喩: アリスが数学のステップを figuring out しようとしていると想像してください。彼女は「待てよ、78 から 30 を引くと 48 だ」と入力します。古いシステムでは、ボブは最終的にそのことを知るまで知りませんでした。LaneRoPEでは、ボブはその思考を即座に見ます。彼は「ああ、私もそれをするつもりだった！時間を無駄にしないように別の戦略に切り替えよう」と言うかもしれません。
結果: 彼らは冗長な作業を停止します。彼らは解決策が完成した後だけでなく、構築されている間に互いの間違いを早期に発見し、互いのアイデアを積み重ねることができます。

2. 「席番号」（位置符号化）

これは厄介な技術的な部分ですが、ここでは簡単なバージョンを説明します。
標準的な AI では、すべての単語が文の中でどこにあるか（1 番目の単語、2 番目の単語など）をコンピュータに伝える「席番号」（位置）を持っています。しかし、4人の友人が同時にタイプしている場合、彼らはすべて「1 番目の単語」、「2 番目の単語」、「3 番目の単語」を持っています。コンピュータは混乱します。「アリスの 2 番目の単語はボブの 2 番目の単語の隣ですか？それともアリスの 3 番目の単語の隣ですか？」

LaneRoPE は新しい種類の席番号を発明します。

比喩: 4 つの列（レーン）がある劇場を想像してください。古いシステムでは、コンピュータは列内の席番号（例えば「1 列目、5 番」）しか知りませんでした。どの列にいるかは知らなかったのです。
修正: LaneRoPE は、すべての席に列と席の両方を含む一意の ID を与えます（例えば、「1 列目、5 番」と「2 列目、5 番」の区別）。これにより、コンピュータはアリスの思考とボブの思考の間の関係を理解できます。彼らが異なる「列」にいるとしても、ボブの思考が時間的にアリスの思考の「隣」にあることを知っているのです。

3. 「魔法の接着剤」（トレーニング）

彼らにオープンオフィスを与えるだけでは十分ではありません。彼らはどのように振る舞うかを学ぶ必要があります。著者たちは特別なトレーニング方法を使って AI に教えました。

レシピ: 彼らは、AI が複数のキャラクター（アリス、ボブなど）を演じて互いに話し合いながら数学の問題を解く架空の会話を作成しました。彼らは、あるキャラクターが間違いを犯したら他のキャラクターがそれを指摘すべきだと AI に教えました。あるキャラクターが道を見つけたら、他のキャラクターはそれに従うか、何か別のことを試すべきだと教えました。
結果: AI は、「一人で働く」よりも「協力する」方がより良い答えにつながることを学びました。

なぜこれが重要なのか？

速い: AI が停止して最初からやり直す必要がある方法や、複雑で遅いハードウェアのトリックを必要とする他の方法とは異なり、LaneRoPE は非常に高速に動作します。建物をすべて建て直すのではなく、オフィスの家具をアップグレードするようなものです。
効率的: 何千ものランダムな推測を生成する必要なく、より良い答えを得ます。「チームメンバー」が互いに助け合うことで賢くなります。
数学で機能する: この論文は、高度なコンペティションで見られるような難しい数学の問題でこれをテストしました。結果、AI が LaneRoPE を使用したとき、単独で何度も推測するよりも、正解をより多く得ることが示されました。

まとめ
LaneRoPE は、複数の AI の「思考者」がリアルタイムでチームとして協力して働くようにする方法です。別々の部屋から答えを叫ぶ4人の代わりに、彼らを互いに囁き合い、互いを修正し、強みを組み合わせてパズルをより速く、より正確に解ける部屋に入れます。

技術的サマリー：LaneRoPE

問題定義

ベスト・オブ・N サンプリングなどの並列テスト時スケーリング技術は、同一の入力プロンプトに条件付けられた複数のシーケンスを生成することで、大規模言語モデル（LLM）の精度を向上させます。これらの手法はバッチ推論の計算効率を活用しますが、伝統的には調整されていない並列性で動作します。標準的なアプローチでは、バッチ内の各シーケンスが独立して生成されるため、他のシーケンスからの中間生成、計算、または観察結果を再利用しません。この独立性は、分解可能な問題構造の活用を妨げ、中間出力の共有を制限し、多様で協調的な応答の生成を制約します。

既存の「協調的」アプローチは、中間生成への共有可視性を可能にすることでこの課題に対処しようと試みています。しかし、多くの先行手法は、複数のシーケンスを単一の長いシーケンスに仮想的に順序付けるために位置を再パラメータ化することに依存しています。著者らは、このアプローチは本質的に、推論がトークン次元とシーケンス（または「レーン」）次元の両方に沿った位置を正確に反映しなければならない、マルチシーケンス生成問題であると主張します。

手法：LaneRoPE

本論文は、基盤となる LLM アーキテクチャへの最小限の変更で、生成時に $N > 1$ のシーケンス間の調整と協調を可能にするLaneRoPEを提案します。このアプローチは、2 つの主要な技術的革新に依存しています。

シーケンス間アテンションマスキング:
LaneRoPE は、標準的な因果的アテンション機構を修正し、シーケンスのサンプリングが互いに依存できるようにします。次のトークン $x^{(n)}_{i+1}$ を自身の履歴 $x^{(n)}_{1:i}$ のみに条件付けるのではなく、モデルはすべてのシーケンスの履歴 $\{x^{(m)}_{1:i}\}_{m=1}^N$ に条件付けます。これは、因果的クロスシーケンスアテンションマスクを通じて実現され、すべての並列レーン間で中間推論トレースを可視化します。
シーケンス認識型位置符号化（LaneRoPE）:
標準的なロータリー位置符号化（RoPE）は、異なるシーケンスの同じタイムステップにあるトークンを区別できません。なぜなら、それらは同一の位置インデックスを共有するからです。LaneRoPE は、シーケンスインデックス $m$ （「レーン」）を符号化する 2 番目のブロック対角回転行列 $R_{\Omega, m}$ を導入することで RoPE を拡張します。
- メカニズム: クエリとキーベクトルは、トークンインデックス $i$ とレーンインデックス $m$ の両方によって回転されます： $f_{\{q,k\}}(x_i, i, m) = R_{\Omega, m} R_{\Theta, i} (W x_i + b)$ 。
- 特性: この定式化は、（トークン、シーケンス）の結合グリッドを 2 次元フーリエ基底として扱います。重要なのは、レーン回転行列が直交であるため、同一のシーケンス内のトークン間のアテンション重みは変化せず、後方互換性が保証される点です。 $N=1$ の場合、LaneRoPE は標準的な RoPE に簡略化されます。
- 初期化戦略: 著者らは、既存の動作を模倣するために事前学習済みモデルから LaneRoPE を初期化するための戦略を提供します。
  - GroupThink: レーン周波数を $\Omega = K\Theta$ （ここで $K$ はシーケンスギャップ）に設定することで、LaneRoPE は GroupThink の「仮想的順序付け」を回復します。
  - 独立サンプリング: 投影層にフーリエバイアスを追加することで、モデルを初期化してクロスレーンアテンションを抑制し、実質的に独立サンプリングをシミュレートできます。
  - NTK 対応補正: GroupThink 初期化における負の仮想的相対位置の問題を緩和するため、著者らは低周波数のレーン回転を減衰させるスケーリング関数を導入し、モデルの絶対位置の符号化能力を維持します。

学習パイプライン

クロスレーン相互作用を引き出すため、著者らは 2 つの微調整戦略を提案します。

教師あり微調整（SFT）: LLM が問題解決において協力する $N$ 人の異なるアシスタントの役割を果たすデータセットが合成されます。アシスタントは互いの部分的な思考を見て、冗長な作業を避けるようプロンプトされます。最終的なデータセットは、これらの会話からの個々のトレースで構成され、モデルにシーケンス間依存関係を学習させます。
カーネマン・トヴェスキー最適化（KTO）: モデルは、ベースモデルによって独立して生成された正解と不正解の両方の推論トレースのバッチで訓練されます。KTO ロスは、正解の完了の尤度を最大化し、不正解の尤度を最小化し、並列レーンが互いを補正または補完できる非自明な結合分布をモデルに学習させることを促します。

結果

著者らは、DeepSeek-R1-Distill-Qwen モデル（15 億パラメータと 70 億パラメータ）を使用して、数学的推論ベンチマーク（MATH500、AMC 23、AIME 24/25）で LaneRoPE を評価しました。

性能: LaneRoPE は、逐次ベースラインおよび独立サンプリングに対して信頼性の高い精度向上を示します。70 億パラメータモデルは、特に NTK 対応初期化と学習可能な周波数を用いた KTO 訓練を使用する場合、一貫した改善を示します。
比較: 70 億パラメータモデルにおいて、LaneRoPE は一般的に「Bridge」ベースライン（もう一つの相互依存生成手法）を上回ります。これは、LaneRoPE のより高い情報共有能力と、より効率的なアーキテクチャに起因します。
小規模モデル: 15 億パラメータモデルは結果が混合しており、未訓練の GroupThink 初期化からの恩恵が少なく、レーン数の増加に伴うスケーリングが弱いことを示しています。これはアーキテクチャではなく、ベースモデルのサイズの限界を示唆しています。
効率性: LaneRoPE は無視できるオーバーヘッドしか導入しません。推論時間の測定では、標準的なトランスフォーマーと比較して約 6% の増加のみで、主にアテンション機構そのものではなく前処理・後処理に起因します。対照的に、Bridge ベースラインは追加層により推論時間が最大 25% 増加します。

意義と主張

本論文は、シーケンス内およびシーケンス外のトークンの相対位置を根本的に活用することで、並列協調推論を可能にする有望な一歩として LaneRoPE を位置付けています。

アーキテクチャ効率: 専用のランタイムエンジンや複雑な分岐機構を必要とする先行研究とは異なり、LaneRoPE は最小限のアーキテクチャ変更を要し、無視できる推論オーバーヘッドしか生じないため、既存の LLM パイプラインへの迅速な組み込みに適しています。
柔軟性: この定式化は、独立サンプリングや GroupThink などの既存の技術を含みつつ、新しい協調戦略を発見するためのさらなる微調整を可能にするほど表現力があります。
データ効率: この手法は、合成データを用いた単純な SFT または KTO を用いて、ベースモデルに対して非常に少数の追加パラメータ（< 0.5%）で解凍可能です。

著者らは限界を認め、複数のレーンからの出力をマージするための専用の訓練スキームはまだ採用していないこと、および現在の実験は小さなバッチサイズ（ $N \le 4$ ）に焦点を当てていることを指摘しています。彼らは、将来の研究が協力的な行動をさらに強化するために、検証可能なフィードバックを用いた強化学習（RLVF）を探求できることを示唆しています。