🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

本論文は、推論深度を増加させることなく高レベルの潜在状態を再帰的メモリとして再利用することで自己回帰モデルを強化する軽量アーキテクチャである潜在再帰トランスフォーマー（LRT）を導入し、このアプローチを効率的に拡張するためのインターリーブ並列学習戦略を提案し、その結果、最小限のパラメータオーバヘッドで言語モデリングおよびコンテキスト内学習の性能を向上させる。

原著者： Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに一文ずつ単語を生成させて物語を書かせることを想像してください。標準的な手法（「自己回帰型トランスフォーマー」と呼ばれる）では、ロボットはすでに書いた単語を見て、それらについて考え、次にどの単語を選ぶか決定します。その単語を選んだ瞬間、すぐに次のステップに進みます。まるで工場の組立ラインのようであり、各製品は機械を一度素通りするだけで完了します。

この論文は、「潜在再帰型トランスフォーマー（LRT）」という新しいアイデアを紹介しています。その仕組みを簡単な比喩を用いて説明します。

1. 問題：組立ラインの「記憶喪失」

標準的なロボットでは、ある単語の処理が終わると、その単語について抱いていた深層的で高次な思考を忘れてしまいます。次の単語を処理する際に役立つよう、基本的な「メモ」（隠れ状態）のみを保持するに過ぎません。もしロボットが、現在の文を理解するために数単語前の複雑な概念を思い出す必要がある場合、基本的なメモの山を掘り起こさなければなりません。まるで映画のあらすじを、実際のシーンではなく単なるチケットの控えだけを見て思い出そうとするようなものです。

2. 解決策：「賢いノート」（LRT）

LRT はロボットに「賢いノート」を与えます。

仕組み：ロボットが単語#1 の処理を終えると、その深層的な思考を単に捨て去るのではなく、その思考の「高次な要約」をノートに書き込みます。
魔法：単語#2 の処理を開始すると、即座にそのノートを開き、単語#1 からの要約を読み取ります。その要約を「記憶のブースト」として利用し、単語#2 の処理を支援します。
結果：ロボットは組立ラインを停止させたり追加作業を行ったりすることなく、過去の自分から第二の意見を得ることができます。まるで料理人が、次の野菜を切りながら、直前に前の野菜について書き留めたメモをちらりと見て、風味のプロフィールが一貫しているか確認するようなものです。

3. 工夫：立ち往生せずに学習する方法

あなたはこう問うかもしれません：「ロボットが学習するために過去のノートを読む必要があるなら、未来を開始する前に過去が完了するのを待たなければならないのではないか？それでは学習が極端に遅くなるのではないか？」

通常、その通りです。ロボットにステップバイステップ（単語 1、次に単語 2、次に単語 3）で学習させようとすると、すべてを同時に実行する能力（並列性）を失い、学習に永遠に時間を要することになります。

著者たちは、「交差並列学習」と呼ばれる巧妙な学習の工夫を発明しました。これは「ひねりを加えたリレー競争」のようなものです。

ステップ 1（ウォーミングアップ）：ロボットは通常の速度でレース全体（文全体）を走り、メモのラフな草案を取得します。
ステップ 2（リレー）：レース全体を再度走るのではなく、ロボットを「偶数」ランナーと「奇数」ランナーの 2 つのグループに分けます。
- まず、「偶数」ランナーが「奇数」ランナー（ウォーミングアップを終えた）からのメモを見て、自身のパフォーマンスを向上させます。
- 次に、「奇数」ランナーが「偶数」ランナーから改善されたメモを見て、自身のメモを改善します。
利点：この方法により、すべての単語が隣接する単語から学習する機会を得つつも、コンピュータは依然として多くの作業を同時に実行できます。まるで学生グループが一緒に勉強しているようなもので、一人が本全体を終わらせるのを待つのではなく、小グループでメモを交換して学習を加速させるのです。

4. 結果：低コストでより賢く

この論文は、この新しいロボットを従来の標準的なロボットと比較してテストしました。

効率性：新しいロボット（LRT）は、同じ量の「脳力」（計算時間）を与えられた場合でも、より良い書き方（誤り率の低下）を学び、文脈理解（質問への回答能力）において従来のロボットよりも優れていました。
微小なアップグレード：この大きな改善を得るために、新しいロボットが必要とした追加メモリはごくわずか（サイズ約 0.3% の増加）でした。まるで新しいエンジンを買う代わりに、車に小型で強力な GPS を追加するようなものです。
絶妙なポイント：彼らは、最も優れた「ノート」が、ロボットが最後に抱いた思考（次の単語のみに焦点を当てすぎている）ではなく、脳の中間にある思考であることを発見しました。それは有用であるために十分な高次レベルでありながら、専門化しすぎないものでした。

まとめ

潜在再帰型トランスフォーマーは、AI モデルが前の単語からの「高次な思考」を再利用して次の単語の処理を支援することで、より賢くなるようにする手法です。彼らは、巧妙な「リレー競争」方式を用いてモデルに学習させることで、学習プロセスを遅くすることなくこれを達成しました。その結果、モデルはより大きくする必要もなく、より速く学習し、より良いパフォーマンスを発揮するようになりました。

技術概要：潜在再帰トランスフォーマ（LRT）

問題定義

自己回帰型トランスフォーマは言語モデルの標準であるが、生成される各トークンに対して固定深度のフィードフォワード計算に依存している。再帰性は理論的には反復的な洗練のための計算能力を増大させうるが、既存のアプローチは推論コストを大幅に増大させる。深度（同じトークンに対してブロックを繰り返し適用する）または時間（ポーズトークンや思考トークンを挿入する）に再帰性を追加する手法は、追加のデコードステップやブロック適用を通じて推論レイテンシを増大させる。

著者らは、自己回帰デコードがすでに「無料で」高レベルの再帰信号を計算していることを観察する。具体的には、次のトークン予測のために訓練された隠れ状態（前のトークンの隠れ状態）が、有用な潜在文脈を含んでいる。核心的な研究課題は、これらの前のトークンからすでに計算された高レベル表現を、追加のデコードステップを加えることなく、次のトークンのための再帰メモリとして再利用できるかどうかである。

手法

アーキテクチャ：潜在再帰トランスフォーマ（LRT）

LRT は、標準的な自己回帰型トランスフォーマの軽量な拡張であり、層間かつトークン間の潜在経路を導入する。

メカニズム: トークン位置 $t$ において、LRT は前の位置からのソース層の隠れ状態 $m_{t-1} = h^{\ell_{src}}_{t-1}$ を再帰メモリとして再利用する。ここで、 $\ell_{src}$ は選択されたソース層（通常は上中層）である。
注入: メモリ $m_{t-1}$ $m_{t - 1}$ は、2 つの相補的なメカニズムを通じて現在のトークン $t$ $t$ のトランスフォーマ層に注入される。
1. KV 投影: メモリをアテンションのキー・値空間（ $\tilde{k}_{rec}, \tilde{v}_{rec}$ ）に投影し、入力依存のゲートを用いてローカルなキー/値と結合する。これにより、前のトークンの表現がアテンションメカニズムへ直接経路を提供する。
2. 残差注入: メモリを直接残差ストリームに追加する（ $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ ）。これにより、ブロック全体が再帰信号に曝される。
推論効率: 決定的なことに、LRT はデコーダーのみのバックボーン、アテンションメカニズム、KV キャッシュインターフェースを標準のままで保持する。メモリトークン、ポーズトークン、または深度ループを挿入しない。生成される各トークンは、依然として正確に 1 回の通常のトランスフォーマ順伝播を利用し、再帰状態は単に更新されて次のステップへ渡される。デフォルトのバリアントはわずか**0.3%**の追加パラメータのみを付加する。

訓練戦略：インターリーブ並列訓練

大規模な再帰の事前訓練における主要な課題は、完全なシーケンスにわたってトランスフォーマを順次展開（Backpropagation Through Time）する必要があり、これが効率的なトランスフォーマ事前訓練に不可欠な並列性を破壊することである。チャンク化訓練（連続するブロックを順次処理する）はいくらかの並列性を保持するが、メモリをチャンク境界を越えてのみ伝播させ、粗い近似しか提供しない。

著者らは、並列計算を保持しつつトークンレベルの再帰を近似するためにインターリーブ並列訓練を導入する。

初期化パス: 単一の完全シーケンス順伝播により、すべての位置に対するキー、値、およびソース層の再帰状態を含む共有バッファを構築する。
洗練パス: シーケンス位置を $S$ 個の互いに素な部分集合（例えば、ストライド分割）に分割する。これらの部分集合を並列に洗練する。
書き戻し: 部分集合から更新された状態を共有バッファに書き戻す。後続の部分集合は、先行する部分集合から洗練されたメモリを消費できる。
目的: 損失は、初期化損失と各部分集合の洗練損失の平均である。

この戦略により、すべてのトークンが再帰メモリを認識した監督ステップを受け取る。計算コストの観点では、標準的なトランスフォーマ更新の約2 倍（1 回の初期化 + 1 回の実効的な洗練）がかかるが、チャンク化訓練よりもトークンレベルの再帰をより密に模倣する。

主要な貢献

LRT アーキテクチャ: 前のトークンからの高レベルのソース層隠れ状態をメモリとして再利用する軽量な再帰拡張。これにより、追加のデコードステップや KV キャッシュインターフェースへのアーキテクチャ変更なしに、層間再帰を可能にする。
インターリーブ並列訓練: 固定された訓練予算の下でトークンレベルの再帰を模倣するために、互いに素なトークン部分集合を洗練する並列訓練近似。標準的な RNN 様式の訓練に必要なシーケンス展開を回避する。
実証的検証: LRT がさまざまなモデルサイズおよびトークン当たりパラメータ予算において、計算と品質のトレードオフを改善することを示す。デフォルトの共有投影バリアントは最小限のパラメータオーバーヘッド（0.3%）しか追加しない。

結果

実験は、FineWeb-Edu で事前訓練された nanochat スタイルの GPT バックボーン（20 層および 24 層）で行われた。

スケーリング挙動: ベースライン同等の訓練計算（インターリーブ訓練の 2 倍のコストを考慮）の下で、LRT はスケーリング曲線をより低いバイト当たりビット数（BPB）およびより高いCORE（22 タスクにおけるコンテキスト内学習の指標）へとシフトさせる。
性能向上:
- ベースライン同等の計算量 80 における 24 層バックボーンでは、LRT-shared はベースラインの0.699と比較して0.695 BPBを達成した。
- コンテキスト内学習（CORE）も改善された。計算量 80 における 20 層バックボーンでは、LRT-shared は0.274に対し、ベースラインは0.271であった。
アブレーション調査:
- ソース層: 最終層よりも上中層（例えば 20 層モデルの 12 層）が良好な性能を示す。これは、有用なメモリは高レベルであるべきだが、ロジットに過度に特化してはならないことを示唆する。
- 時間的ソース: 直前の状態（ $m_{t-1}$ ）は、1 順伝播制約を維持する最も強力な単一のメモリソースである。
- 注入: KV 投影と残差注入は相補的であり、両方を使用することが最良の結果をもたらす。
- 訓練: インターリーブ並列訓練は、再帰のより粗い近似を提供するチャンク化訓練を大幅に上回る。

意義と主張

本論文は、LRT が自己回帰型トランスフォーマの計算と品質のトレードオフを成功裏にシフトさせることを主張する。前のトークンからの「無料」の高レベル信号を再利用し、並列近似を通じてそれらを訓練することで、LRT は深度再帰やポーズトークン手法の推論レイテンシペナルティなしに、反復的な洗練とより良い文脈利用を可能にする。

著者らは、LRT が標準的なトランスフォーマインターフェースを保持する軽量な拡張であることを強調する。これらの向上は、単に追加のパラメータやゲートを追加することではなく、再帰メモリメカニズム自体に起因する。同じ強力なベースラインに対する汎用的なアーキテクチャの追加（ゲート付きアテンションや層スケーリングなど）は、無視できる程度の改善しかもたらさなかった。この研究は、有用な再帰メモリは高レベルであるべきだが最終的なロジット特化層ではないこと、およびトークンレベルの再帰は事前訓練中に並列に効果的に近似できることを示唆している。