On Subquadratic Architectures: From Applications to Principles
本論文は、コードおよび時系列タスクにおける主要な劣二次アーキテクチャ（xLSTM、Mamba-2、およびGated DeltaNet）を評価し、xLSTMがそのゲーティングスキームによってより柔軟かつ安定したメモリ補正と状態追跡を可能にしているため、優れた性能を達成していることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、超スマートなアシスタントを構築しようとしていると想像してください。そのアシスタントは、膨大な本を読み、複雑なコンピュータコードを書き、あるいは来週の天気を予測できるような存在です。長年、業界の標準は「Transformer」と呼ばれる特定のタイプのエンジンでした。これは非常に強力ですが、大きな欠点があります。情報の量（「シーケンス」）が増えるにつれて、エンジンが指数関数的に重くなり、遅くなってしまうのです。それはまるで、新しい本を1冊追加するたびに、バックパックが前の本の2倍の重さになるようなものです。
これを解決するために、科学者たちは「サブクアドラティック（二次以下）アーキテクチャ」を発明しました。これらは、情報の量に対して線形にしか増えない、より軽く高速な新しいエンジンの設計です。しかし、どの新しいエンジンが実際に最強なのでしょうか？
この論文では、トップ3の有力候補をレースに投入しています。それは、xLSTM、Mamba-2、そしてGated DeltaNetです。彼らは、以下の3つの非常に難しい仕事でテストを行いました。
- コードを書く： 厳格なルールと長い論理の連鎖に満ちたタスク。
- 教師から学ぶ： 巨大でスマートなAIから、より小さく高速なAIへとそのスキルを教え込むタスク。
- 時系列予測： 株価や天気のように、過去が未来に複雑な影響を与える現象を予測するタスク。
レースの結果
全体を通して、xLSTMが勝利しました。xLSTMは最も一貫性があり、正確でした。特に、複雑なタスクや、長い出来事の連鎖を記憶する必要がある場合にその強さが際立ちました。Mamba-2とGated DeltaNetも優秀でしたが、最も困難な部分でつまずいてしまいました。
なぜxLSTMが勝ったのか？（「メモリ」の比喩）
その理由を探るため、著者らはエンジンの内部構造を調査しました。彼らは、これらすべてのエンジンが、これまでに見たものに対する「状態（ステート）」、つまり「メモリ（記憶）」を維持することで機能していることに気づきました。そして、各エンジンが以下の2つの重要なメモリ・スキルをどのように処理しているかを比較しました。
- 蓄積（カウンター）： 長期間にわたって合計を出し続けたり、数を数えたりする能力（例：100ページの文書の中で特定の単語が何回登場するかを数えること）。
- 状態追跡（トラッカー）： 特定の順序に基づいた詳細を記憶し、文脈を見失うことなく正しく更新する能力（例：「もしAが起きたら、次にBが起こるはずだ。ただし、もし先にCが起きていなければ」というルールを覚えること）。
各エンジンによるこれらのスキルの扱いは以下の通りです。
- Mamba-2は、片手が縛られた厳格な司書のようなものです。 「もし何かを忘れたら、新しいことも書くのをやめなければならない」というルールを持っています。「忘れる」スイッチと「書く」スイッチが連動しているため、メモリを柔軟に更新することが苦手です。得意なこともありますが、カウントを見失ったり、物語が長くなると混乱したりすることがよくあります。
- Gated DeltaNetは、消しゴム付きのホワイトボードのようなものです。 古い情報を新しい情報で「置き換える」のが非常に得意です。新しい事実が入ってくると、古いものをボードから消し去ります。これは情報の検索（最新の事実を見つけること）には優れていますが、カウントには適していません。もし「A + B + C = 10」と覚えておく必要があるのに、新しい数字を入れるために古い数字を消し続けてしまうと、合計値を見失ってしまうからです。
- xLSTMは、ハイライターと計算機を備えた賢いノートブックのようなものです。 メモリを2つの部分に分離しています。
- 一方の部分は、何も消すことなく合計を出し続けることができる**「計算機」**（蓄積）として機能します。
- もう一方の部分は、特定の状態を追跡し、柔軟に更新できる**「ノートブック」**（状態追跡）として機能します。
- 決定的なのは、xLSTMには**「ソフトな消しゴム」**として機能する特別な「ゲート」があることです。DeltaNetのようにページを真っ白に消してしまうのではなく、あるいはMambaのように消すことができないのではなく、新しい情報がより重要であれば古い情報を「薄める」ことができ、もし古い情報がまだ関連していればそのまま保持することができます。この柔軟性により、xLSTMはカウントと追跡の両方を完璧にこなすことができるのです。
証拠： 「ロング・ストリング」テスト
この理論を証明するために、著者らは作成されたタスクを用いてシンプルなテストを行いました。
- カウンティング・テスト： 学習時の長さよりもはるかに長いリストの中で、アイテムを数えさせる。
- トラッキング・テスト： 長いシーケンスの中で、「奇数」と「偶数」の切り替わりという特定のパターンを記憶させる。
結果：
- Mamba-2は、ほぼ即座に失敗しました。リストが長くなるにつれて、すべてを忘れてしまいました。
- Gated DeltaNetは、多少のカウントはできましたが、トラッキングのタスクで混乱しました。トラッキング性能を高めるよう調整しても、非常に長い距離でのカウントには依然として苦戦しました。
- xLSTMは、両方を行うことができた唯一のエンジンでした。非常に長い距離でも完璧にカウントでき、かつ、場所を見失うことなく複雑なパターンを追跡することができました。
結論
この論文は、xLSTMが複雑なタスクにおいて現在最も優れた選択肢であると結論付けています。なぜなら、xLSTMは「合計を出し続ける能力（蓄積）」と「特定の変化する詳細を追跡する能力（状態追跡）」の、両方の良いところを組み合わせているからです。これらを選択させる必要もありません。他のエンジンはどちらか一方には優れていますが、xLSTMの柔軟な「メモリ補正」メカニズムによって、現実世界のコードやデータに見られるような、乱雑で長期的な依存関係を扱うことができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。