Efficient Context Propagating Perceiver Architectures for Auto-Regressive Language Modeling (ECAI 2025) の技術的サマリー

本論文は、Transformer アーキテクチャにおけるアテンション機構の二次的な計算量（$O(n^2)$）という課題を解決し、長系列処理を効率的に行いながら高パフォーマンスを維持するための新しいアーキテクチャ「Efficient Context Propagating Perceiver (ECP)」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

大規模言語モデル（LLM）の基盤である Transformer は、アテンション機構によって文脈を捉える能力に優れていますが、入力シーケンス長 $n$ に対して計算量が $O(n^2)$ となるという重大なボトルネックを抱えています。
これを解決するために、PerceiverAR などのアーキテクチャが提案され、入力序列を「履歴（History）」と「潜在（Latent）」の 2 つのコンポーネントに分割することで計算量を削減しています。しかし、PerceiverAR には以下の 2 つの重大な欠点がありました。

1. 履歴情報の損失 (Lossy History): 最初の層で履歴情報が潜在表現に圧縮され、その後の層では履歴情報が明示的にリファイン（精緻化）されないため、情報が失われる。
2. 自己回帰学習の制限 (Latent Training Dependency): 自己回帰的な学習（次のトークンの予測）において、履歴部分のみが固定入力として扱われ、潜在部分のみで学習が行われる。これにより、通常の Transformer に比べて学習効率が低下する。

2. 手法 (Methodology)

著者らは PerceiverAR の基盤を踏襲しつつ、上記の欠点を克服するための 4 つの新しいアーキテクチャパラダイムを設計・検討しました。最終的に最も性能が優れていたのがECPです。

2.1 検討されたアーキテクチャの進化

1. Double Attention PerceiverAR: 各層で「履歴用」と「潜在用」の 2 つのアテンションを計算し、両方の出力を連結する。履歴情報が全層にわたって維持されるが、計算コストが増大する。
2. Compressed Double Attention PerceiverAR: 履歴情報を最初の層で圧縮（投影）し、その後すべての層で圧縮された履歴を用いる。計算コストは減るが、圧縮による情報損失のリスクがある。
3. s-Split Double Attention PerceiverAR: 履歴を小さなセグメントに分割し、セグメント内でのみアテンションを計算する。計算効率は高いが、セグメント間の情報フローが断絶し、文脈の損失が生じる。

2.2 提案アーキテクチャ：ECP (Efficient Context Propagating Perceiver)

ECP は、LongLoRA の「シフトされたスパースアテンション」のアイデアと PerceiverAR の構造を融合させたものです。

• 重なり合うセグメントへの分割: 入力シーケンスを重なり合う「半分のセグメント（Half Segments）」に分割します。
• PAR ブロック (PerceiverAR Block): 各層において、現在の半セグメントを Query ($Q$) として、現在の半セグメントと直前の半セグメントを Key/Value ($K, V$) としてアテンションを計算します。
  • 式：$Q_i$ はセグメント $i$ の後半部分、$K_i, V_i$ はセグメント $i-1$ と $i$ の両方（重なり部分を含む）から計算されます。
• 情報の伝播: この重なり構造により、下層から上層へ進むにつれて、遠くのセグメントからの情報が累積的に伝播されます（図 6 参照）。
• 自己回帰学習の完全性: 通常の PerceiverAR と異なり、ECP は履歴部分も自己回帰学習に利用可能です。最初の半セグメントのみ通常の三角マスク付きアテンションを行い、それ以降は重なりアテンションを適用します。
• 計算複雑性: アテンションの計算は局所的なペア（セグメント対）に限定されるため、計算量は LongLoRA と同様の効率性（$O(n)$ に近い）を持ちながら、全アテンションに近い情報抽出能力を達成します。

3. 主要な貢献 (Key Contributions)

1. 文脈効率化アーキテクチャの設計: PerceiverAR の「履歴の損失」と「学習制限」という 2 つの欠点を克服するための 3 つの異なるアーキテクチャパラダイムを提案し、そのトレードオフを分析しました。
2. ECP の開発:
   • 重なり合うセグメントペアを用いた新しいアテンションアルゴリズムを開発。
   • LongLoRA と同等の計算効率を持ちながら、PerceiverAR 形式で暗黙的に「完全アテンション」の恩恵を得る仕組みを確立。
   • 履歴と潜在の両方を自己回帰学習に活用し、情報損失を回避。
3. 実証的評価: 複数のベンチマークデータセットにおいて、同等サイズの SOTA モデルを凌駕する性能を実証しました。

4. 実験結果 (Experimental Results)

Wikitext-103、PG-19、および sCIFAR-10（画像分類）のデータセットで評価を行いました。

• Wikitext-103 (言語モデリング):
  • ECP (18 Layers, 172M パラメータ) は、Perplexity 17.82 を達成。
  • 比較対象の PerceiverAR (60 Layers, 974M パラメータ) は 18.35 であり、ECP はパラメータ数が約 1/5 でありながら、より低い Perplexityを記録しました。
  • 他の SOTA モデル（Llama, RWKV-4, Mamba, Transformer-XL など）と比較しても、同規模またはそれ以下のパラメータ数で最良の性能を示しました（Table 3, Table 4）。
• PG-19:
  • ECP (24 Layers, 214M) は Perplexity 18.83 を達成し、Compressive Transformer や Routing Transformer などの大規模モデルを大きく上回りました。
• sCIFAR-10 (画像分類):
  • Transformer ベースのアーキテクチャの中で、ECP は**64.42%**の最高精度を記録しました（State Space Model には劣るものの、Transformer としては最高水準）。
• 計算効率:
  • 完全アテンション（Full Attention）と比較して、ECP はアテンション計算に必要なステップ数が**約 12%**にまで削減されています（Table 8）。

5. 意義と結論 (Significance and Conclusion)

本論文の ECP アーキテクチャは、Transformer の計算量ボトルネックを解決しつつ、長系列の文脈情報を効率的に保持・伝播する新しいパラダイムを示しました。

• 技術的革新: 局所的なアテンション計算（ペアワイズセグメント）を層間で重ねることで、全体として全アテンションに近い情報収集能力を実現しつつ、計算コストを劇的に削減しています。
• 実用性: 大規模言語モデルのトレーニングコストを削減し、より長いコンテキストを扱える可能性を開きました。
• パフォーマンス: 既存の PerceiverAR や他のスパースアテンション手法、さらには大規模な LLM に対しても、少ないパラメータ数で高い精度を達成することを証明しました。

結論として、ECP は「計算効率」と「学習性能（文脈理解）」の両立において、現在の最先端（SOTA）を打ち破る有望なアーキテクチャであると言えます。