🤖 machine learning

Length Generalization with Log-Depth Recurrent Units

本論文は、並列削減による再帰の近似を実現し、正規言語タスクにおいてほぼ完全な長さ一般化を達成するとともに、より広範なベンチマークでも競争力のある性能を示す、対数深度の再帰ユニットであるMLP-LDRUを導入するものであり、これにより再帰モデルの位置バイアスとトランスフォーマーの深度制約を効果的に解決する。

原著者： Charles Pert, Dalal Alrajeh, Alessandra Russo

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Charles Pert, Dalal Alrajeh, Alessandra Russo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Length Generalization with Log-Depth Recurrent Units」の解説を、平易な言葉と創造的な比喩を用いて行ったものです。

大きな問題：AI の「短記憶」

子供に数を数えることを教えると想像してみてください。もし 10 までしか数える練習をさせなかった場合、100 まで数えるように求められたとき、子供は混乱するかもしれません。彼らは数える「規則」を学んだのではなく、最初の 10 個の数字をただ暗記しただけだからです。

人工知能（ニューラルネットワーク）の世界では、これを長さ汎化（Length Generalization）問題と呼びます。

RNN（旧式）：これらは、リレーでバトンを一人ずつ渡していくようなものです。レースが長ければ、最初の走者はバトンが戻ってくるまで長く待たなければなりません。レースが終わる頃には、彼らは疲れ果て（何かを忘れます）。
トランスフォーマー（現代の巨人）：これらは、円陣を組んで全員が同時に叫んでいるようなものです。彼らは即座に全員の声が聞こえますが、円陣が大きくなりすぎると騒音が混沌とし、練習したグループのサイズから変化すると、パターンを理解するのに苦労します。

どちらも、訓練中に目にしたものよりもはるかに長いシーケンス（文章やコードなど）を処理するように求められたときに苦労します。

解決策：「バランスの取れた木」MLP-LDRU

著者たちはMLP-LDRUと呼ばれる新しいモデルを提案しています。その仕組みを理解するために、8 冊の本のスタックがあり、それらの総重量を見つけたいと想像してみてください。

旧式の方法（RNN）：1 冊目を持ち上げ、次に 2 冊目を足し、次に 3 冊目を足し、というように一冊ずつ行います。これには長い時間がかかり、最後の部分に到達する頃には 1 冊目は「忘れられて」しまいます。
新しい方法（MLP-LDRU）：本をペアにします。
1. （1 冊目 + 2 冊目）と（3 冊目 + 4 冊目）と（5 冊目 + 6 冊目）と（7 冊目 + 8 冊目）をペアにします。
2. これで 4 つのペアになりました。これらを再度ペアにします。（ペア 1 + ペア 2）と（ペア 3 + ペア 4）。
3. これで 2 つのグループになりました。最後にこれらを 1 回ペアにして最終的な答えを得ます。

これは対数深さ削減（Log-Depth Reduction）と呼ばれます。バランスの取れた木のようなものです。何冊の本があっても、全員がほぼ同じ時間でゴールに到達します。1 冊目は「疲れません」。なぜなら、最後の本が処理されるのを待たなければならなかったわけではないからです。

秘密の武器：「魔法の接着剤」

この論文では、これらのペアを結合するために使われる特別な「接着剤」（数学的演算子）を導入しています。著者たちは、この接着剤が結合的な数学のように機能するように設計しました。

結合性とは、グループ化の順序が重要ではないことを意味します。 $(A + B) + C$ は $A + (B + C)$ と同じです。
著者たちは、この「接着剤」がそのように振る舞うよう強制しました。「グループ化の順序は重要ではない」と AI に教えることで、AI は特定の位置を単に暗記するのではなく、シーケンスの根本的な「規則」を学ぶようになります。

実験：「文法テスト」

これをテストするために、著者たちは測定が難しい現実世界の乱れた言語を使いませんでした。代わりに、正規言語（Regular Languages）を使用しました。

比喩：完璧で単純な文法規則（例：「すべての'A'の後に'B'が来なければならない」）に従う文のみを受け入れる厳格なロボットを想像してください。
彼らは21 種類の異なる文法パズルを作成しました。中には簡単なもの（数が偶数かどうかをチェックするなど）もあり、中には難しいもの（通帳のバランスを取るような、入れ子になった括弧を追跡するなど）もありました。
また、プレフィックス言語と呼ばれる新しいパズルも考案しました。これは、最初の数語が全体の結果を決定するが、残りの文は単なるノイズであるようなゲームです。これは、AI が中間を無視しながら最初を記憶できるかどうかをテストします。

結果：「満点」

結果は印象的でした。

チャンピオン：MLP-LDRU モデルは、21 のパズルのうち 18 で100% の精度を達成しました。テスト文が訓練文の 10 倍から 12 倍の長さであってもです。
巨人を打ち負かす：文が長くなりすぎると完全に失敗することが多かった標準的なトランスフォーマーや古い RNN を凌駕しました。
「なぜか」：著者たちは、モデルがわずかに残ったパズルで失敗したのは、「木」構造が間違っていたからではなく、訓練データが AI に十分な種類の「組み合わせ」を示さなかったからだと発見しました。これは、偶数だけで数学を練習しているようなものです。最後に奇数が現れたとき、立ち往生してしまいます。モデルが規則を習得するには、「組み合わせ」の多様性をより多く見る必要がありました。

文法を超えて：「リスト」テスト

彼らはまた、入れ子になったリスト（レシピの中にレシピ、さらにその中にレシピがあるようなもの）を扱うタスクであるListOpsでもモデルをテストしました。

専用の「木構造」モデルがこれにはわずかに優れていましたが、MLP-LDRU も非常に良いパフォーマンスを発揮し、標準的なトランスフォーマーや LSTM を打ち負かしました。
また、ニュース記事を分類するような標準的なテキスト分類でもテストされ、競争力のあるパフォーマンスを示しました。これは、この「バランスの取れた木」というアイデアが、厳密な文法規則の外でも機能することを示しています。

結論

この論文は、長いシーケンスを確実に処理できる AI を作るためには、単にモデルを大きくするのではなく、情報を処理する「方法」を変えるべきだと主張しています。バランスの取れた木構造を使用し、モデルに結合的な規則（グループ化の順序が重要ではない）を学ばせることで、AI はこれまで見たことのない長さにも汎化できるようになります。これは、10 までしか練習しなかったとしても、数えるという概念を理解している子供が 100 万まで数えることができるのと同じです。

技術的概要：対数深さ再帰ユニットによる長さ汎化

問題定義

分布外（OOD）の系列長への汎化は、ニューラルモデリングにおける中心的な課題のままです。既存のアーキテクチャはこの領域において明確な限界を示しています：

再帰型ニューラルネットワーク（RNN）： 長さ適応型計算を提供する一方で、初期のトークンが後続のトークンよりも多くの再帰ステップを経る位置バイアスに悩まされており、これが長距離の記憶問題や、拡張された系列における依存関係のモデル化の困難さにつながっています。
トランスフォーマー： これらのモデルは系列長に依存しない固定の層スタックを適用します。並列計算を可能にする一方で、OOD 長への汎化は必ずしも信頼性が低く、固定された計算深さに制約されます。

本論文は、正則言語が長さ汎化を評価するための厳密なテストベッドを提供すると主張しています。なぜなら、正則言語は任意の系列長における正確な数学的定式化と正しさの検証を可能にし、オートマトン理論に直接接続するからです。

手法：MLP-LDRU

著者らは、並列削減を通じて再帰を近似するように設計された特定の二項演算子であるMLP-LDRU（Log-Depth Recurrent Unit：対数深さ再帰ユニット）を提案します。中核となる仮説は、結合律と単位元の振る舞いに対する明示的なバイアスを持つ演算子を学習することが、長さの外挿を改善しうるというものです。

アーキテクチャとメカニズム

対数深さ削減： 標準的な RNN が系列を逐次的に処理し $O(n)$ の深さを持つのにに対し、MLP-LDRU はバランスの取れた二項木構造を用いて系列を処理します。長さ $n$ の系列が与えられた場合、モデルは $\lceil \log_2 n \rceil$ ステップにわたり、隣接するペアに対して二項演算子 $\odot_\theta$ を並列に適用します。これにより、すべてのトークンに対して $O(\log n)$ の均一な計算深さが達成され、位置バイアスが緩和されると同時に並列計算が可能になります。
演算子（ $\odot_\theta$ ）： 中核となる演算子は、およそ結合的な振る舞いを誘発するように設計された MLP ベースの関数です。
- 2 つの入力埋め込み $h_i, h_j$ を受け取り、それらを連結します。
- MLP がゲートベクトル $g_i, g_j$ を生成します。
- これらのゲートは要素ごとの乗算を通じて入力を変調し、その後に学習された線形射影とバイアスが適用されます。
- 最終的な出力は、射影された入力の重み付き和です。
- 初期化バイアス： 演算子は、射影行列が単位行列となり、バイアスがゼロとなるように初期化されます。要素ごとの和の構造と組み合わせることで、この初期化は演算子が当初は単純な和として振る舞うようにバイアスをかけ、結合的な操作を近似させます。
パディング処理： 削減中に系列長が奇数の場合、ゼロ埋め込みでパディングされます。演算子は、いずれかの入力がゼロであれば出力が他方の入力となるように設計されており、ゼロを単位元（恒等元）として扱うことで、ゼロから恒等写像を学習する必要を回避します。
計算量： MLP-LDRU は、系列長に対して線形である $O(nd^2)$ の作業計算量と $O(\log n)$ の計算深さを達成します。これは、RNN の $O(n)$ の深さや、標準的なトランスフォーマーの $O(n^2)$ の作業計算量と対照的です。

実験設定

著者らは MLP-LDRU を以下の対象で評価しました：

21 の正則言語タスク： 標準的なベンチマーク（パリティチェック、モジュラ算術、Tomita 言語、Dyck 言語 $D_n$ など）と、長さ外挿下での長距離依存関係の処理をテストするために設計された新しいクラスの接頭辞言語（ $P_{p,q}$ ）を含みます。
ListOps： 正則言語を超えた構成的な外挿のための階層的タスク。
NLP 分類： 非正則データにおける振る舞いを探るための GLUE、AG's News、DBPedia などのベンチマーク。

主要な貢献

MLP-LDRU の提案： 近似結合律と単位元の処理にバイアスをかけた二項演算子を用い、並列削減を通じて逐次的な再帰を誘発する特定の対数深さ再帰ユニット。
接頭辞言語の導入： 長さ外挿下での長距離依存関係の処理を分離し、テストするために特別に設計された新しいクラスの正則タスク（ $P_{p,q}$ ）。
実証的評価： 21 の正則タスク、ListOps、NLP ベンチマークにおける包括的なテストにより、RNN、トランスフォーマー、および他の再帰型ニューラルネットワークと比較して、優れているか競争力のある性能を実証。
学習要件の分析： 汎化の失敗を、訓練データにおける同値クラス（EC）の構成の不足と関連づける分析。限られた訓練長が、完全な汎化に必要な希少なモノイド構成を観測できない原因となっていることを示唆。

結果

正則言語タスク

性能： 長さ 1〜40 の系列で訓練された場合、MLP-LDRU は 21 のタスクのうち 18 で（長さ 41〜500 で評価）、100% の OOD 精度を達成し、残りの 3 つでも最大訓練長を増加させれば少なくとも 99.9% を達成しました。
比較： MLP-LDRU は、ALiBi、NoPE、ランダム化された RoPE を含むトランスフォーマーのすべてのバリアント、ゲート付き DeltaNet、および他のベースラインの大多数のタスクで上回りました。また、これらのタスクにおいて長距離依存関係に悩まされることが多い RNN や LSTM の能力と同等かそれ以上でした。
演算子の感度： 除去実験により、削減演算子の選択が重要であることが示されました。モジュラ算術のような複雑なタスクでは、単純な要素ごとの和や線形射影は失敗しましたが、ゲート付きの MLP ベースの演算子は完全な汎化を達成しました。これは、結合律が必要である一方で、複雑な構成を学習する具体的な能力も必要であることを示唆しています。

ListOps と NLP

ListOps： 階層的タスクにおいて、木ベースのベースライン（BBT-GRC、RIR-GRC）が一般的に最高精度を達成しました。しかし、MLP-LDRU は競争力があり、データセットサイズが大きい場合（50 万および 100 万サンプル）、LSTM やトランスフォーマーのベースラインを上回りました。明示的な結合律正則化項の追加はさらなる性能向上をもたらし、正則言語以外でも近似結合律を促すことが有益であることを示しました。
NLP 分類： MLP-LDRU は、GLUE、AG's News、DBPedia において同様に訓練されたトランスフォーマーベースラインと競争力のある性能を示し、DBPedia で最高精度（98.6%）を達成しました。

解釈可能性とモノイド分析

同値クラス： D6 タスクの分析により、MLP-LDRU が構文モノイドにおける対応する同値クラス（EC）に従って系列埋め込みをクラスタリングすることを学習していることが明らかになりました。
カバレッジのギャップ： EC 構成のヒートマップは、短い系列（長さ 10〜40）での訓練がモノイド空間の疎なカバレッジをもたらし、長い系列（長さ 480〜500）で見られる希少な構成を見逃していることを示しました。この疎性のギャップが、短い系列で訓練されたモデルが長い系列に完全には汎化できない理由を説明します。つまり、必要なすべての構成規則に曝されていないためです。

意義と主張

本論文は、モノイドの数学的性質を活用することで、MLP-LDRU が正則タスクにおける長さ汎化に対する堅牢な解決策を提供すると主張しています。近似結合的な演算子を誘発することで、モデルは並列削減を通じて逐次的な再帰を近似でき、RNN の長さ適応性と木構造の並列効率を効果的に組み合わせます。

著者らは、最大訓練長が OOD 性能の主要な駆動因子であると強調しています。彼らの分析は、複雑な言語において 100% の汎化を達成するには、すべての可能な同値クラス構成に十分な曝露が必要であり、ターゲットのテスト長よりも長い系列での訓練が必要になる可能性があることを示唆しています。

モデルは正則言語において強力な性能を示し、NLP タスクでも競争力のある結果をもたらしましたが、著者らはその範囲については控えめです。正則言語は正確な検証を提供する一方で、自然言語における分布シフト下でのより豊かな構成的問題へのこれらのアイデアの拡張度は、さらなる調査が必要であると指摘しています。さらに、モノイド構成の完全なカバレッジを達成するために必要な最小訓練長やサンプル複雑性に関する理論的限界の必要性を特定しています。