💬 NLP

Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models

この論文は、Transformer ベースのモデルが抱える計算量とメモリ使用量の課題を解決するため、Mamba2 などの再帰型言語モデルを微調整し、垂直チャンキング推論戦略を用いて長文でも一定のメモリ消費で高速なテキスト埋め込みを生成する手法を提案し、その有効性を検証したものである。

原著者： Tobias Grantner, Emanuel Sallinger, Martin Flechl

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tobias Grantner, Emanuel Sallinger, Martin Flechl

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🏗️ 問題：「巨大な図書館」のジレンマ

まず、現在の AI（特に「Transformer」と呼ばれる技術）が抱える問題を想像してみてください。

現状の AI（Transformer）：
長い文章を処理する際、この AI は**「図書館のすべての本を同時に机に広げて、一つ一つ比較する」**ような作業をします。
- メリット： 非常に賢く、精度が高い。
- デメリット： 文章が長くなると、机（メモリ）がすぐにパンクします。本（データ）が増えれば増えるほど、必要な机の広さは**「2 乗」**で爆発的に増えます。100 冊なら大丈夫でも、1000 冊になると机が部屋全体を埋め尽くしてしまいます。
今回の課題：
長いドキュメント（論文、法律文書、長いニュース記事など）を要約したり検索したりする際、この「机の広さ不足」が大きなボトルネックになっています。

💡 解決策：「リレー方式」と「垂直スライス」

この論文の著者たちは、**「再帰型言語モデル（Mamba2, RWKV, xLSTM など）」**という、昔からあるが最近再評価されている技術を使おうと提案しています。

1. 従来の「リレー方式」の弱点

再帰型モデルは、**「本を 1 冊ずつ読み、要点をメモ帳に書き足していく」**というリレー方式で動きます。

メリット： メモリ（机）の広さは一定で済み、どんなに長い文章でも大丈夫。
デメリット： 1 冊ずつ順番に読まなければならないので、「並列処理（同時に複数の作業）」が苦手で、処理速度が遅いという弱点がありました。

2. 論文の画期的なアイデア：「垂直スライス（Vertical Chunking）」

著者たちは、この 2 つの欠点を埋めるための**「垂直スライス方式」**という新しい読み方を考案しました。

イメージ：
長い文章を、横に並べるのではなく、**「垂直にスライス（切り分け）」**します。
例えば、1000 ページの文書があったとして、それを「100 ページずつのブロック」に切ります。
どう動くか？
1. ブロックごとに「並列処理」： 100 ページのブロック内では、最新の AI 技術を使って「一気に読み進める」（並列処理）。
2. ブロック間は「リレー」： 100 ページが終わったら、その要点をメモ帳に書き留め、次のブロックに引き継ぐ（リレー）。
すごいところ：
- メモリ： 一度に処理するのは「100 ページ分」だけなので、メモリの必要量は**「文章の長さ」に関係なく一定**に保たれます。
- 速度： ブロック内は並列処理なので、非常に速いです。

🧪 実験結果：「賢さ」と「軽さ」の両立

著者たちは、この新しい方法で「Mamba2」というモデルを訓練し、テストしました。

結果：
- 精度： 従来の「巨大な机（Transformer）」を使ったモデルとほぼ同じくらい賢いことがわかりました。
- メモリ： 長い文章を処理する際、メモリ使用量は劇的に減りました。
- 速度： 短い文章では同等ですが、長い文章になるほど、新しいモデルの方が圧倒的に速く、省メモリで動作しました。

比喩で言うと：

従来の AI： 1000 冊の本を一度に机に広げて比較する。→ 部屋が狭すぎて作業できない。
新しい AI： 100 冊ずつ箱に入れて、箱ごとにまとめてから、箱と箱の要点だけを比較する。→ 小さな机でも、どんなに本があっても処理できる。

🌟 まとめ：なぜこれが重要なのか？

この研究は、**「長い文章を扱う AI」**にとってのゲームチェンジャーです。

コスト削減： 高価なメモリ（GPU）が少なくても、長い文書処理が可能になります。
実用性： 法律文書、医療記録、長い技術マニュアルなど、これまでは AI が苦手としていた「長いもの」を、手軽に検索・分析できるようになります。
未来への布石： Transformer だけが全てではないことを示し、より効率的な AI 時代の幕開けを告げています。

つまり、「重い荷物を運ぶトラック（Transformer）」から、「軽くて速いバイク（新しい再帰モデル）」へ乗り換えることで、遠くまで（長い文章まで）楽に移動できるようになったというお話です。

この論文「Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models（再帰型言語モデルに基づく線形時間・定数メモリのテキスト埋め込み）」の技術的な要約を以下に記述します。

1. 背景と課題 (Problem)

現代の自然言語処理において、テキスト埋め込み（文書やクエリをベクトル空間にマッピングする技術）は、情報検索やクラスタリングなどの基盤技術として不可欠です。現在の最先端（SOTA）はトランスフォーマー（Transformer）ベースのモデルですが、これには以下の重大な限界があります。

計算量とメモリのスケーリング: トランスフォーマーの自己注意機構（Self-Attention）は、入力シーケンス長 $T$ に対して二次的（ $O(T^2)$ ）な計算量と線形的（ $O(T)$ ）なメモリ使用量を要求します。
長文への対応困難: 長文書やリソース制約の厳しい環境（メモリが限られたエッジデバイスなど）では、トランスフォーマーモデルの推論が非現実的になります。
既存の解決策の限界: FlashAttention などの最適化やスライディングウィンドウ注意機構はメモリ使用量を削減しますが、表現能力の低下や完全な定数メモリ化には至っていません。一方、静的埋め込みモデルは効率的ですが、品質が劣ります。

2. 提案手法と方法論 (Methodology)

著者らは、トランスフォーマーの代わりに**再帰型アーキテクチャ（Mamba2, RWKV, xLSTM）**をテキスト埋め込みモデルとして活用し、効率的な推論戦略を提案しています。

A. 学習アプローチ

E5mistral-7b のトレーニング手順の適用: 既存の高性能な埋め込みモデル「E5mistral-7b」で用いられている対照学習（Contrastive Learning）とインストラクションチューニングの手法を、事前学習済みの再帰型モデル（Mamba2 ベース）に適用しました。
データ: 公開データセットと、Springer et al. (2025) が生成した合成データを用いて微調整（Fine-tuning）を行いました。
埋め込み生成: 文の末尾（EOS）トークンにおける最終層の出力を、文全体の埋め込みベクトルとして使用します。

B. 推論戦略：垂直チャンキング（Vertically Chunked Inference）

これが本論文の核心的な技術貢献です。再帰型モデルの「線形時間計算」と「定数メモリ」の特性を最大化し、並列処理の恩恵も得るための推論手法です。

Mamba2 の双対性（Duality）の活用:
Mamba2 は、再帰的な状態更新（ $O(T)$ 計算、 $O(1)$ メモリ）と、行列形式の並列計算（ $O(T^2)$ 計算、 $O(T^2)$ メモリ）の両方の視点で記述できる「双対性」を持っています。
水平チャンキング（Intra-chunk）:
入力シーケンスを小さなチャンク（サイズ $Q$ ）に分割し、各チャンク内では行列計算を用いて並列処理を行います。これにより、ハードウェアの並列性を活用します。
垂直チャンキング（Cross-layer / Vertical Chunking）:
- 従来の問題: 標準的な水平推論（全シーケンスを 1 層ずつ処理）では、各層で全シーケンスの中間アクティベーションを保持する必要があり、メモリが $O(T)$ になります。
- 提案手法: 入力シーケンスを「垂直チャンク（サイズ $V$ ）」に分割し、1 つの垂直チャンクをすべての層（Layer 1 $\to$ Layer L）に通してから、次のチャンクへ進むという順序で処理します。
- メモリ効率: この方式では、各層ごとに直前の垂直チャンクからの「状態（State）」のみを保持すればよく、中間アクティベーションは現在の垂直チャンク分のみ保持すれば済みます。
- 結果: 入力長 $T$ が垂直チャンクサイズ $V$ を超える場合、メモリ使用量は**入力長に依存せず定数（ $O(1)$ ）**になります。計算量は $O(T \cdot V)$ となり、 $V$ を適切に設定することで、トランスフォーマーに匹敵する高速性を維持しつつ、メモリ制約を回避できます。

3. 主要な貢献 (Key Contributions)

再帰型モデルの埋め込みとしての有効性の実証: Mamba2 ベースのモデルが、MTEB（英語・多言語）や LongEmbed（長文検索）などのベンチマークにおいて、トランスフォーマーベースのモデルと競争力のある性能を達成することを示しました。
垂直チャンキング推論戦略の提案: 再帰型アーキテクチャ（Mamba2, RWKV, xLSTM）に適用可能な、メモリ使用量を定数化しつつ並列性を維持する新しい推論アルゴリズムを提案し、理論的導出と実装を行いました。
アーキテクチャ横断的な検証: 提案手法が Mamba2 だけでなく、RWKV や xLSTM といった異なる再帰型アーキテクチャでも同様のメモリ・実行時間のトレードオフ効果をもたらすことを実証しました。

4. 実験結果 (Results)

性能（品質）:
- MTEB (英語・多言語): 再帰型モデル（Codestral Mamba2 7B など）は、同サイズのトランスフォーマーモデル（Mistral 7B など）とほぼ同等、あるいは多言語タスクではそれ以上のパフォーマンスを示しました。英語タスクではわずかに劣る場合もありますが、その差は 1-2 パーセントポイント程度です。
- LongEmbed: 長文コンテキスト（最大 32k トークン）における検索タスクでも、トランスフォーマーモデルと同等の性能を達成しました。
効率性（メモリ・実行時間）:
- メモリ使用量: 入力長が増加するにつれて、トランスフォーマーモデル（Mistral 7B）のメモリ使用量は線形に増加し、4096 トークンを超えると GPU メモリ不足に陥ります。一方、提案する垂直チャンキングを用いた再帰型モデルは、垂直チャンクサイズ（例：4096）を超えるとメモリ使用量が定数に収束します。
- 実行時間: 単一シーケンスの推論では、垂直チャンクサイズを適切に設定（例：4096）することで、トランスフォーマーのフル並列推論と同等の速度を達成しました。バッチ処理（Batch Size 32）では、より小さな垂直チャンクサイズで並列性が飽和し、高速に処理できました。
- ハードウェア依存性: NVIDIA L40S, A100, H100 などの異なる GPU 上でも、同様のメモリ効率と速度の優位性が確認されました。

5. 意義と結論 (Significance)

長文・リソース制約環境への実用化: 本論文は、トランスフォーマーモデルが抱える「メモリ不足」というボトルネックを解消し、長文書やメモリ制約の厳しい環境でも高品質なテキスト埋め込みを生成できる新しいパラダイムを示しました。
スケーラビリティ: 垂直チャンキング戦略により、モデルの深さ（レイヤー数）に依存するメモリ使用量となり、シーケンス長には依存しなくなります。これにより、非常に長い文脈を扱うアプリケーションが現実的になります。
将来の展望: 現時点では英語タスクにおいてトランスフォーマーにわずかに劣る部分がありますが、より大規模に事前学習された再帰型ベースモデルを用いることで、この性能差は埋まると予想されます。

結論として、 再帰型言語モデルは、トランスフォーマーに代わる効率的でスケーラブルなテキスト埋め込み生成の基盤となり得ます。特に、メモリ制約が厳しい環境や長文処理が必要なユースケースにおいて、再帰型アーキテクチャは強力な代替手段となります。