Stacked from One: Multi-Scale Self-Injection for Context Window Extension

本論文は、単一の LLM レイヤーを圧縮器とデコーダーとしてスタックし、マルチスケールの自己注入と木構造に基づく効率的な情報取得を実現することで、8K トークンの学習データから 128K トークンを超える長文脈を高精度かつ高効率に処理する新たなフレームワーク「SharedLLM」を提案しています。

要約

「SHAREDLLM」の解説：長い物語を賢く要約して、記憶力抜群の AI を作る

この論文は、現在の AI（大規模言語モデル）が抱える大きな問題、「一度に読める文字数の限界（コンテキストウィンドウ）」を、非常に巧妙で効率的な方法で解決しようとするものです。

想像してみてください。AI が「12 万文字もの長い小説」を読まされようとしたとき、従来の AI は「頭がパンクして内容を忘れる」か、「読むのに何時間もかかる」かのどちらかでした。この論文は、**「SHAREDLLM」**という新しい仕組みを提案し、少ないメモリで、高速に、かつ正確に長い文章を理解できるようにしました。

以下に、専門用語を排して、日常の例えを使って解説します。

---

1. 問題：AI の「記憶力」と「処理速度」のジレンマ

今の AI は、本を 1 冊読ませることは得意ですが、図書館全体の本を同時に読ませようとすると、以下の 2 つの問題が起きます。

• メモリ不足: 本を全部頭に入れると、脳の容量（GPU メモリ）が足りなくなってクラッシュします。
• 時間がかかる: 本を 1 文字ずつ読み返して意味を理解しようとするので、答えが出るまで待ち時間が長くなります。

従来の解決策は、「もっと大きな脳（モデル）を作る」か、「本を全部読み直す」ことでしたが、これには莫大なコストと時間がかかります。

2. 解決策：SHAREDLLM の「2 人の双子」システム

SHAREDLLM は、**「2 人の双子のような AI」**を組ませて仕事をさせるというアイデアです。

• 下位の AI（圧縮係）
  • 役割：長い本（入力データ）を**「要約」**して、小さなメモにまとめます。
  • 特徴：本を「章ごとの要約」「段落ごとの要約」「重要な 1 行だけ」といった**「多段階の要約」**を作ります。
  • 工夫：本全体を全部読むのではなく、「質問（クエリ）だけを選んで、その部分だけ詳しく要約します。
• 上位の AI（回答係）
  • 役割：ユーザーからの質問と、下位の AI からの「要約メモ」を受け取って、最終的な答えを出力します。
  • 特徴：本来の AI の能力をそのまま使いますが、下位の AI からの「要約メモ」を参考にするだけで済むので、頭を使わずに済みます。

3. 核心技術：「木（ツリー）」のようなメモ帳

このシステムで最も面白いのは、「コンテキストツリー（文脈の木）という仕組みです。

【アナロジー：図書館の司書】
長い本を全部読まなくていいように、AI は以下のように考えます。

1. 根元（ルート） 本全体をざっくり「この本は戦争の話だ」と理解する。
2. 枝（ノード） 質問が「戦争の戦術について」なら、「戦術」の章に注目する。「戦術」の章をさらに 2 つに分ける。
3. 葉（リーフ） 質問が「特定の戦術の名前」なら、その名前が書かれている 1 行だけを詳しく読む。

AI は、「関係ない部分は粗く（要約を大きく）という、まるで木が枝分かれするように情報を整理します。
これにより、**「必要な情報だけ」**を AI の記憶（メモリ）に保存できるため、12 万文字の文章でも、実際には数行のメモだけで処理できてしまいます。

4. なぜ「自 injection（自己注入）」がすごいのか？

通常、2 つの AI をつなぐには、複雑な変換や長い計算が必要で、時間がかかります。しかし、SHAREDLLM は**「双子**（同じモデル）を使います。

• 同じ土台: 下位の AI と上位の AI は、同じ「AI の脳」の一部分を共有しています。
• 直接の受け渡し: 下位の AI が作ったメモ（要約）を、上位の AI が**「最初の方の層」**で直接受け取れます。
• メリット: 変換の手間がゼロに近いので、「2 倍速く」、**「3 倍少ないメモリ」**で動作します。まるで、自分が書いたメモを自分がそのまま使うような効率の良さです。

5. 結果：8,000 文字で訓練したのに、12 万文字を攻略！

驚くべきことに、この AI は**「8,000 文字の短い文章」だけで訓練されました。しかし、テストでは「12 万文字**（12 万文字）の文章でも、全く問題なく回答できました。

• 従来の AI: 長い文章になると、記憶が飛んで答えがでたらめになる（ハルシネーション）。
• SHAREDLLM: 長い文章でも、必要な部分だけを「木」から取り出して正確に回答する。

さらに、「メモリ使用量」は半分以下、「処理速度」は 2〜3 倍になりました。

まとめ：この研究が意味すること

この論文は、**「AI に無限の記憶を持たせるために、無理やり脳を大きくする必要はない」**と証明しました。

代わりに、「賢い要約係（下位モデル）と**「優秀な回答係**（上位モデル）を、**「木のようなメモ帳」でつなぐだけで、「少ないリソースで、超長文を瞬時に理解できる AI」**が作れることを示しました。

これは、AI が長い契約書、膨大な研究論文、あるいは長い小説を、人間のように「要点を押さえながら」読めるようになるための、非常に現実的で効率的な第一歩です。

技術概要

以下は、ICLR 2026 にて発表された論文「STACKED FROM ONE: MULTI-SCALE SELF-INJECTION FOR CONTEXT WINDOW EXTENSION（SHAREDLLM）」の技術的な要約です。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の応用範囲を広げる上での最大のボトルネックは、コンテキストウィンドウ（文脈の長さ）の制限です。

• 現状の限界: 従来の LLM は入力トークン数に上限があり、それを超えると性能が著しく低下したり、幻覚（ハルシネーション）が発生したりします。
• 既存手法の欠点:
  • 継続的プリトレーニング: 長文データでの再学習は、データ収集と計算コストが莫大で非現実的です。
  • 位置エンコーディングの拡張（RoPE など）: 「短い文で訓練し、長い文で推論する」アプローチですが、128K トークンなどの極長文に対応するには、依然として大規模な事前学習が必要であり、効率が低いです。
  • ストリーミング/エンコーダ - デコーダ型: メモリ制約を緩和する手法もありますが、FlashAttention などの高速実装と互換性がない、または追加の事前学習・ウォーミングアップが必要で、推論速度が遅くなる傾向があります。

2. 提案手法：SHAREDLLM (Methodology)

著者は、SHAREDLLM という新しいフレームワークを提案しました。これは、既存の短文脈 LLM を再トレーニングすることなく、効率的に長文脈処理を可能にする階層型アーキテクチャです。

2.1 基本アーキテクチャ

SHAREDLLM は、同じベース LLM のレイヤーから派生した**2 つのモデル（下位モデルと上位モデル）**で構成されます。

• 下位モデル（コンプレッサー）: 長い入力文脈を小さなチャンクに分割し、それぞれを圧縮して「多粒度（Multi-grained）」の表現に変換します。
• 上位モデル（デコーダー）: 現在の文脈（質問や指示など）を入力とし、下位モデルから圧縮された情報を統合して、次のトークンを生成します。
• 自己注入（Self-Injection）: 両モデルは同じ LLM のレイヤーから初期化されており、隠れ状態（Hidden Space）に乖離がありません。そのため、広範なウォーミングアップなしに微調整（Fine-tuning）が可能です。

2.2 中核技術

1. コンテキストツリー（Context Tree）:

   • 長文を構造化するために、ツリー構造を採用しています。
   • 多粒度表現: 文脈の重要度に応じて、関連性の高い部分は微細な情報（Fine-grained）として、関連性の低い部分は粗い要約（Coarse-grained）として表現します。
   • 動的構築と検索: クエリ（質問）に基づいて、必要な部分のみを再帰的に分割・選択するアルゴリズムを採用しています。これにより、GPU メモリと時間を大幅に節約します。
   • ノイズ注入: 訓練時に分割位置にランダムなノイズを加えることで、モデルが特定の境界に依存しないロバストな表現を学習できるようにしています。

2. 効率的な情報転送（KV 状態の共有）:

   • 下位モデルで圧縮されたキー・バリュー（KV）状態を、上位モデルの**最下層（Lowest Layers）**に直接注入します。
   • これにより、長いフォワードパスや冗長なクロスアテンション演算を回避し、推論効率を最大化します。
   • 圧縮率は階層によって異なり、上位レイヤーほど粗く、下位レイヤーほど細かく圧縮されます（Coarse-to-Fine）。

3. 位置情報の保持:

   • クロスアテンションにおいて、チャンクごとの位置インデックスを付与し、元のテキストの時間的順序を維持できるようにしています。

3. 主要な貢献 (Key Contributions)

1. SHAREDLLM の提案: 共有 KV メカニズムを用いた階層型アーキテクチャにより、パラメータ調整を最小限に抑えつつ、効率的にコンテキストウィンドウを拡張する手法を提案しました。
2. コンテキストツリーの設計: 非構造化された長文を「粗から細（Coarse-to-Fine）」の形式で表現・検索するためのツリー構造と、クエリ依存の動的構築アルゴリズムを開発しました。
3. 広範な実験的検証: 継続的プリトレーニングと教師あり微調整（SFT）の両方の設定において、8K トークンで訓練されたモデルが 128K トークンを超える入力にも汎化し、既存の強力なベースラインを上回る性能と効率性を示しました。

4. 実験結果 (Results)

• 言語モデリング（Perplexity）:
  • RedPajama データセットを用いた実験で、8K トークンで訓練した SHAREDLLM は、128K トークンの推論においても Perplexity の急増（爆発）を回避しました。
  • CEPE や YaRN などの既存の長文脈拡張手法と比較して、より低い Perplexity を達成し、特に SFT 設定では Activation Beacon などの手法を凌駕しました。
• 長文脈理解ベンチマーク:
  • LongBench と InfiniBench において、単一ドキュメント QA、多ドキュメント QA、要約、コード生成などのタスクで、既存の SFT ベースラインや推論時手法（SnapKV, OmniKV など）を上回る、あるいは同等の性能を示しました。
  • 128K トークンの「Needle In A Haystack（通し鍵検索）」タスクでも、長さの増加に伴う精度の低下が最小限に抑えられました。
• 効率性（時間・メモリ）:
  • メモリ: 128K トークンの入力でも OOM（メモリ不足）を回避し、既存のフルアテンション手法（YaRN など）に比べてメモリ使用量が劇的に減少しました。
  • 推論速度: ストリーミング手法（Activation Beacon）に対して約 2 倍、エンコーダ - デコーダ型（CEPE）に対して約 3 倍の推論速度向上を実現しました。これは、浅いレイヤーでの圧縮と注入、および FlashAttention との互換性によるものです。

5. 意義と結論 (Significance)

SHAREDLLM は、LLM のコンテキストウィンドウ拡張における**「性能」と「効率性」の最適なバランス**を実現した画期的なアプローチです。

• コスト削減: 大規模な長文脈データでの再事前学習（Continual Pre-training）や、複雑な特徴量アライメント段階を不要にします。既存のオフ・ザ・シェルフ（市販）のチェックポイントから直接微調整可能です。
• スケーラビリティ: 8K トークンで訓練されたモデルが 128K トークン以上を処理できることは、計算リソースの制約下でも長文脈処理を可能にする重要なステップです。
• 将来展望: この「自己注入（Self-Injection）」と「構造化圧縮」のパラダイムは、マルチモーダル LLM など、より複雑なアーキテクチャへの拡張も期待されており、効率的な無限コンテキスト処理への道を開くものとして位置づけられています。

この研究は、大規模言語モデルの実用的な展開において、計算コストとメモリ制約を大幅に緩和する重要な技術的進展を示しています。