技術的サマリー：EndPrompt – ターミナルアンカーリングによる効率的な長文脈拡張

1. 問題提起

大規模言語モデル（LLM）のコンテキストウィンドウを、事前学習の限界（例：8K トークン）を大幅に超える入力（例：64K トークン）を処理できるように拡張することは、長文書 QA、コード理解、証拠検索などのアプリケーションにとって重要な課題です。既存の主流アプローチは、ターゲット長でのシーケンスに対するモデルのファインチューニングを含みます。しかし、アテンション機構のスケーリングに起因し、この手法は禁止的な二次関数的なメモリおよび計算コストを伴います。さらに、高品質な長文コーパスの収集は困難です。

位置補間、スパースアテンション、またはチャンクベースのシミュレーションなどの既存の代替手段は、しばしば制限をもたらします。これらは大量の長シーケンス学習を必要としたり、アテンション構造を変更したり、意味的連続性を損なう方法で連続テキストを分割したりする可能性があります。根本的な未解決の問いが残っています：信頼性の高いコンテキスト拡張のために、完全長のシーケンスに対する密な監督は必要なのか、それともスパースで構造化された位置信号で十分なのか？

2. 手法：EndPrompt

著者は、短いトレーニングシーケンスのみを使用して効果的なコンテキスト拡張を達成するEndPromptを提案します。核心的な洞察は、モデルを長距離の相対的位置距離に曝露させるために、完全長の物理的入力を構築する必要はないという点です。

中核メカニズム

EndPrompt は、2 つのセグメントから構成されるトレーニングシーケンスを構築します：

1. 無傷の短コンテキスト： 元の短いトレーニングテキストが最初のセグメントとして保持されます。
2. ターミナルプロンプト： 簡潔で一般的なプロンプトが 2 番目のセグメントとして付加されます。

位置インデックス操作：
物理的なシーケンス長は短い（$a + b$）ままですが、割り当てられる位置インデックスはターゲットコンテキストウィンドウ（$L$）にまたがるように操作されます：

• 短コンテキストは局所インデックス $[0, a-1]$ を保持します。
• ターミナルプロンプトはターゲット境界に近いインデックス $[L-b, L-1]$ が割り当てられます。
• 位置補間（PI）： この範囲に適応させるために、ロータリー位置埋め込み（RoPE）を適用する際、インデックスは $s > 1$ の係数で再スケーリングされ、位置エンコーディングの角周波数が実質的に低下します。

理論的基盤：
この手法は RoPE と PI の特性を活用します：

• 平滑性制約： PI は位置変動の実効周波数を低下させ、アテンション関数全体に平滑性のバイアスを誘発します。これにより、未観測の中間距離における不安定な高周波振動が抑制されます。
• 共有パラメータ： トランスフォーマーはすべての距離に対して共有されたクエリおよびキー射影を使用します。局所（短コンテキスト）と長距離（ターミナルプロンプト）の両端でスパースな監督を提供することで、この手法は共有パラメータ空間を制約し、モデルが未観測の中間距離に対して独立した不安定な挙動を学習することを防ぎます。
• 意味的完全性： テキストを分割するチャンクベースの手法とは異なり、EndPrompt は元のコンテキストの意味的連続性を保持し、モデルが局所的なトークン予測を妨げることなく長距離相互作用を学習することを保証します。

学習目的

モデルは標準的な自己回帰ファインチューニングを受けます。損失関数には、元のコンテキストとターミナルプロンプトの両方に対する予測が含まれ、ターミナルトークンにはゼロ以外の重みが割り当てられます。これにより、モデルは人工的に大きく割り当てられた距離を跨いで、ターミナルアンカーから元のコンテキストへ注意を向けることを強制され、暗黙的な正則化として機能します。

3. 主要な貢献

1. EndPrompt（ET）フレームワーク： 短いトレーニングシーケンス、位置インデックス操作、および付加された末尾プロンプトを活用して、長距離位置監督をシミュレートする効率的なコンテキスト拡張手法。
2. 意味的保持： 分割されていないセグメントとして元のコンテキストを保持し、意味的連続性を維持しながら、安定したターミナルアンカーとして末尾プロンプトを使用して長距離関係を構築する設計。
3. 理論的分析： RoPE と位置補間に基づく説明により、滑らかな位置変動と共有トランスフォーマーパラメータが、未観測の中間距離に対する一般化を可能にする仕組みを明らかにする。
4. 実証的検証： 構造化されたスパース位置監督が、完全長トレーニングなしで信頼性の高い長文脈一般化を誘発しうることを示す包括的な評価。

4. 実験結果

この手法は LLaMA ファミリーモデル（LLaMA-2 7B および LLaMA-3 8B）で評価され、コンテキストウィンドウを 8K から 64K に拡張しました。

ベンチマーク：

• RULER（合成ベンチマーク）： EndPrompt は平均スコア 76.03 を達成し、LCEG（72.24）、LongLoRA（72.95）、完全長ファインチューニング（69.23）を上回りました。複雑な情報検索タスク（例：Multi-needle、Variable Tracking）において特に堅牢性を示しました。
• LongBench（ダウンストリームタスク）： EndPrompt は、単一/複数ドキュメント QA、要約、Few-Shot 学習、コード補完を含むタスク全体で最高平均スコア（38.30）を記録し、完全長ファインチューニング（35.63）を凌駕しました。
• 短テキスト能力： 教師ありファインチューニング後、この手法は標準的な短テキストベンチマーク（MMLU、GSM8K、HumanEval、HellaSwag）において強力な性能を維持し、平均 53.56 を達成して他のベースラインを上回りました。

アブレーション研究：

• ベースモデル： この手法は異なるアーキテクチャ（Mistral-7B、LLaMA-2-7B）において効果的であることが証明されました。
• 拡張長： 32K、96K、さらには 128K への拡張時でも性能は安定しており、極端な長さではわずかな劣化のみが見られました。
• トークン数： トレーニングデータを 0.5B トークンから 2.0B トークンにスケーリングすることで、一貫した性能向上が得られました。
• プロンプト堅牢性： この手法は末尾プロンプトの文言の特定の変動に対して敏感ではなく、特定のトークンの記憶ではなく構造的な位置に依存していました。
• 互換性： EndPrompt と位置スキップ埋め込み（ET(PoSE)）を組み合わせることで、両ベンチマークで最高スコアを達成しました。

5. 意義と主張

本論文は、信頼性の高いコンテキストウィンドウ拡張のために密な長シーケンストレーニングが必要であるという既存の仮説に EndPrompt が挑戦すると主張しています。短いシーケンスにおけるスパースな位置監督からモデルが長文脈能力を獲得しうることを実証することで、この研究は完全長ファインチューニングに代わる実用的かつ費用対効果の高い代替案を提供します。

著者は、この手法の成功が以下の相乗効果に由来することを強調しています：

1. テキストのチャンキングを回避することによる意味的完全性の保持。
2. 位置補間の平滑性バイアスの活用。
3. 二重スケール（局所およびターミナル）の監督による共有パラメータの制約。

本論文は、信頼性の高い長文脈適応は、物理的なトレーニングシーケンスを短く保ちながら長文脈ベンチマークで最先端の性能を達成するよう、情報に富む位置監督の設計を通じて誘発しうる、と結論付けています。