Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

本論文は、複素ジョルダンブロックを活用して距離変調位相相互作用のモデル化に振動多項式特徴を生成する非半単純相対位置符号化であるJordan-RoPEを導入し、特定の文脈において標準的なRoPEおよびALiBiのベースラインに対して構造的利点と特定の性能向上を示す。

要約

出来事の順序が重要な物語を理解しようとしていると想像してください。トランスフォーマーと呼ばれるコンピュータモデルにおいて、「アテンション」メカニズムは、現在の単語を理解するために文内のどの過去の単語が重要かを判断する読者のようなものです。

これを行うために、モデルは2つの単語がどのくらい離れているかを知る必要があります。モデルが単語そのものだけを眺めているだけでは、単語Aが単語Bの直前に来たのか、それとも100単語前に来たのかを区別できません。ここで位置エンコーディングが登場します。これはモデルが距離を測定するために使用する「定規」です。

問題：古い定規たち

この論文は、現在モデルが距離を測定するために用いる2つの一般的な方法を検討しています。

1. RoPE（回転位置エンコーディング）： これは独楽のようなものです。これは単語の意味をその位置に基づいて回転させます。文のリズムや位相（歌のビートのよう）を処理するのが得意ですが、距離を単純な回転として扱います。
2. ALiBi： これは直線のようなものです。遠くにあることに対して単純なペナルティを加えます。「近い方が良い」と言うのは得意ですが、言語の複雑で波打つようなパターンを捉えることはできません。

ほとんどのモデルは、これらを別々に使用しており、回転用の定規と距離用の定規を別々に持っているような状態です。これらを単一の統合されたツールとして組み合わせることはしていません。

新しいアイデア：Jordan-RoPE

著者の張耀博（Yaobo Zhang）は問いかけます：もし、独楽と距離の定規を、より複雑な単一のツールに組み合わせることができたらどうなるでしょうか？

数学にはジョルダンブロックと呼ばれる概念があります。通常、数学的なツールは「整っており」、分離しています（独楽と定規が明確に区別されているように）。しかし、「非半単純」または「欠陥のある」ジョルダンブロックは、部品が接着されて何か新しいものを生み出すようなツールです。

創造的な比喩：ぐらつく独楽
少しバランスの取れていない独楽（回転）を想像してください。回転する際、それは単に回転するだけでなく、ぐらつきます。

• 回転は言語のリズム（位相）を表します。
• ぐらつきは距離を表します。
• 新しいJordan-RoPEでは、遠くに行くほどぐらつきが大きくなります。単なる単純な回転でも単純な距離でもなく、距離で変調された回転です。

数学的には、これは以下のような特徴を生み出します：

距離 × (回転 × コサイン + 回転 × サイン)

単に「5ステップ離れている」または「90度の角度にある」と知るだけでなく、モデルは「5ステップ離れており、かつその距離のために角度がシフトしている」と捉えるようになります。これは、文のリズムがどれだけ過去を遡るかによって変化する、特定の種類のパターンを捉えるものです。

検証方法

著者はこのツールを構築しただけでなく、それが特定の状況で実際に役立つのかをテストしました。

1. 「合成」テスト： 答えが厳密にこの「距離で変調された回転」パターンに依存する架空の言語タスクを作成しました（どれだけ遡って読むかによってメッセージが変化する秘密の暗号のようなもの）。

   • 結果： 新しいツール（Jordan-RoPE）は、古いツール（RoPE または ALiBi）よりもはるかに良くこのパズルを解きました。これは「ぐらつく回転」パターンを自然に理解できた唯一のツールでした。

2. 「現実世界」テスト： ウィキペディアのテキストで訓練された小型言語モデル（WikiText-103）で試しました。

   • 結果： 標準的な RoPE ツールよりも優れていましたが、「王者」である RoPE + ALiBi の組み合わせには勝てませんでした。
   • 注意点： この論文は慎重にも、これがすべての言語に対する魔法の弾丸ではないと述べています。実際の人間の言語では、「ぐらつき」が常に最も重要な要素とは限りません。このツールは、タスクが具体的にその複雑で距離に依存するリズムを必要とする場合に最も有用です。

「安定化」バージョン

問題がありました：純粋な数学バージョンでは、「ぐらつき」（冪零部分）が距離が増すにつれて無限に大きくなり、コンピュータの数学を破綻させる可能性があります。

• 解決策： 彼らはぐらつきに上限を設けた「安定化」バージョンを作成しました。これは独楽にガバナーを取り付けて、大きくぐらつかせるが、制御不能に回転しないようにするのと同じです。このバージョンはテストで非常に良く機能しました。

結論

この論文は、回転と距離を単一の「接着された」数学的構造に組み合わせた、AI における距離測定の新手法Jordan-RoPEを紹介しています。

• 何をするか： 文のリズムが距離に基づいて変化するパターンを AI が捉えることを可能にします。
• 最も機能する場面： 複雑で距離に依存する振動を含むタスク（合成テストのようなもの）の場合。
• 何もしないこと： すべての言語タスクに対して絶対的に最良のツールであると主張しているわけではありません。実際、標準的な「RoPE + ALiBi」の組み合わせは、一般的なテキストにおいては依然として強力です。

これを特殊なレンチだと考えてください。特定の「ぐらつく回転」を必要とするボルトを緩める場合、このレンチは完璧です。しかし、単に標準的なネジを回す必要があるだけなら、古いツールが依然として最良の選択かもしれません。この論文は、この特殊なレンチが存在し、意図通りに機能し、特定の複雑な仕事に有用であることを証明しています。

技術概要

技術的サマリー：Jordan-RoPE

問題定義
相対的位置符号化（RPE）は、アテンション機構が利用可能なクエリ - キーラグの原始関数を定義する。RoPE（回転位相）や ALiBi（加法的距離バイアス）のような成功した機構は、線形かつ翻訳不変な演算子の群論的分類を通じてよく理解されているが、それらは通常半単純（対角化可能）な生成子に依存している。これにより、分類における非半単純の領域は未探索のままとなっている。具体的には、標準的なアプローチでは、位相（回転）特徴と距離（多項式/せん断）特徴を、別々のチャネルまたは加法的バイアスとして扱う。本論文は、単一の欠陥的ジョルダンブロック内で複素回転固有値と冪零応答を結合させることが、単純な直接和とは構造的に異なる新しい原始相対位置特徴を生み出すかどうかを検証する。

手法
著者らは、回転複素固有値と冪零応答を単一の 2 次複素ジョルダンブロックに埋め込むJordan-RoPEを提案する。

1. 代数的定式化：
   生成子は $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$ と定義される。ここで $N$ は冪零行列（$N^2=0$）である。因果的ラグ $d = i-j \ge 0$ に対する結果的な相対演算子は以下の通りである：
   $$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$$
   これは振動多項式特徴の基底を生成する：
   $$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$$
   重要なのは、冪零チャネルが距離と位相を別々に加算するのではなく、直接結合させた周波数接線特徴 $d e^{i\omega d}$ を供給することである。

2. 双対クエリ作用：
   ジョルダンブロックは直交しないため、クエリとキーに同じ変換を適用しても純粋な相対演算子にはならない（$G(i)^\top G(j) \neq G(j-i)$）。正しい相対スコアを回復するため、著者らは双対クエリ作用を定式化する。位置依存行列の逆転置によってクエリを変換し、キーには原始変換を使用する。これにより、アテンションスコアが厳密にラグ $d$ に依存することが保証される。

3. 安定化：
   正確な冪零項は $d$ に比例して線形に増加するため、長文脈において問題となる。著者らは安定化 Jordan-RoPEを導入し、$d$ を有界せん断関数 $\tau(d) = d / (1 + d/L)$ に置き換える。これにより正確な 1 参数群法則は破られるが、局所的なジョルダン応答は保持され、無制限な成長が防止される。また、せん断の大きさを文脈長 $L$ で正規化することで群法則を保持するScaled-exact変種も提案されている。

主要な貢献

• 構造的特定：本論文は、位相と冪零応答が部分空間に分離されるのではなく、単一の欠陥表現内で結合される最小の非半単純拡張として、2 次複素ジョルダンブロックを特定する。
• 原始基底：この構成が、直接 $d e^{i\omega d}$（およびその実部 $d \cos(\omega d), d \sin(\omega d)$）という原始対数基底を直接提供し、ソフトマックス前のレベルで「距離変調位相」基底を実現することを示す。
• 実装：直交写像に対する実ブロック実装と、必要な双対クエリ作用を提供する。
• ベースラインとの区別：正確な表現と安定化実装を区別し、有界せん断が数値的挙動を改善する一方で正確な群法則を犠牲にすることを明確にする。

実験結果
評価は広範な性能主張ではなく構造的証拠に焦点を当て、3 種類のテストを用いる：

1. カーネルレベルのプローブ：混合ターゲット $y(d) = (d/L)\cos(\omega d)$ において、Exact/raw Jordan基底は平均二乗誤差（MSE）が最も低く、RoPE、ALiBi、Direct-sum ベースラインを大幅に上回る。これは基底がターゲットの結合構造に直接一致することを確認する。
2. 合成言語モデル：モデルが距離変調位相ルール（$K(d) = (d/L)\cos(\omega d)$）を学習する必要があるタスクにおいて、Stabilized Jordan-RoPEは長さ 8192 で 0.906 の精度を達成し、RoPE（0.781）や Direct-sum（0.500）を上回る。これは、タスクが報酬を与える場合、トランスフォーマーが結合モードを利用できることを示唆する。
3. 自然言語（WikiText-103）：小型のバイトレベル言語モデルにおいて、Scaled-exact Jordan-RoPE（$c=1$）は Jordan 族内で最低の平均損失（1.869）を達成し、Damped RoPE（1.884）と競合する。ただし、RoPE+ALiBiが依然として全体として最強（1.796）である。著者らは、この設定ではより大きな強制初期せん断（$\eta$）が長文脈での損失を悪化させることを指摘し、自然言語タスクは主に減衰と最近性バイアスを報酬とし、強い振動多項式せん断を報酬としないことを示唆している。

意義と主張
本論文は、新しい最先端の位置符号化を主張するのではなく、控えめな構造的な主張を行う：

• 構造的拡張：複素ジョルダンブロックは、制御された非半単純な回転 RPE の拡張を提供する。
• 条件付き有用性：結合されたジョルダン基底は、ターゲットカーネルが距離変調位相相互作用（例：$d \cdot \text{phase}$）を報酬とする場合に特に有用である。
• 限界：著者らは明示的に、冪零機構が新しいものではないこと、また Jordan 族が一般的な自然言語モデリングにおいて既存の符号化を支配するわけではないことを主張していない。証拠は、この構成が位相と距離チャネルの直接和とは異なる特定の原始基底（$d e^{i\omega d}$）を提供するという点にある。

要約すると、Jordan-RoPE は単一のアテンション機構内で距離と位相を結合するための数学的に厳密な方法を提供し、そのような結合を必要とする合成タスクでは効果的であることを証明する一方で、自然言語タスクは依然としてより単純な、分離されたまたは加法的なバイアスを好む可能性があることを示している。