💻 computer science

FlashAttention for Scalable Vector Architectures

本論文は、インターヘッド・パラレリズムと効率的なメモリアクセスを活用することで、CPU上でのTransformer推論を大幅に加速させる、スケーラブルなベクトルアーキテクチャ向けに最適化されたブロック化FlashAttentionであるFlashAttention-Vを紹介し、プリフィルで最大42倍、デコードで11倍の高速化を実現すると同時に、長ベクトル実行における現在の量子化フォーマットの構造的なボトルネックを浮き彫りにしている。

原著者： Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

公開日 2026-08-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sonia Rani Gupta, Nikela Papadopoulou, Miquel Pericàs

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

メールの草案を作成するチャットボットから、ソフトウェアのデバッグを行うコーディングアシスタントに至るまで、現代の人工知能システムは「トランスフォーマー」と呼ばれる特定の種類のコンピュータプログラムに依存しています。これらのプログラムは、文の中で単語が互いにどのように関連しているかを見ることで、言語を理解するように構築されています。これを行うために、彼らは「アテンション（注意）」と呼ばれるメカニメントを使用しており、これはスポットライトのように機能し、システムがテキストの残りの部分を無視しながら、最も関連性の高い部分に焦点を合わせることを可能にします。これらのシステムは、強力なグラフィックスカードを備えた大規模なデータセンターで実行されることが多いですが、ノートパソコンやタブレット、さらにはモノのインターネット（IoT）に見られるような専用のマイクロチップといった、より身近な日常的なデバイスで実行する必要性が高まっています。これらの小型デバイスは、多くの場合、データを長い列として処理することで一度に多くの計算を行うように設計された、ベクトルアーキテクチャとして知られる異なる種類のプロセッサを使用しています。しかし、大きな障害が生じています。アテンション・メカニズムは非常にメモリを貪欲に消費するため、プロセッサが大量のデータを絶えず読み込み、保存することを要求し、それが動作を遅らせるのです。

チャルマーズ工科大学とグラスゴー大学の研究者たちは、これらのベクトルプロセッサ上でアテンション・メカニズムがどのように機能するかを再設計することで、この問題に取り組みました。彼らは「FlashAttention-V」と呼ばれる新しい手法を開発しました。これは、プロセッサの独特な形状に合わせて、コンピュータが作業をどのように整理するかを変更するものです。プロセッサに一度に一つの小さなデータ片を扱わせようとする代わりに、この新手法は、複数の独立した計算を一つの幅の広いデータの列へとグループ化します。これは、作業員が通常は一度に一つのアイテムを扱う工場の組立ラインを想像してみてください。この新しいアプローチでは、作業員がトレイごとまとめて掴み、一度にすべてを処理することを可能にし、保管棚へ何度も往復する時間を劇的に削減します。操作の順序を並べ替え、データをより密に詰め込むことで、研究者たちは、特に短いテキストを扱う場合や、デバイスが一つずつ新しい言葉を生成している場合に、これらの小型デバイスを大幅に高速化できることを見出しました。

チームは、TinyLlama、Llama 3.2、Qwen2.5を含むいくつかの言語モデルを用いて、実機ハードウェアと詳細なコンピュータシミュレーションの両方で彼らの新しいアプローチをテストしました。RISC-Vプロセッサを使用するBanana Pi BPI-F3という物理的な開発ボードにおいて、この新手法は劇的な改善を示しました。デバイスが短い入力を読み取る準備をしている際、この新しいアプローチは、標準的な最適化されていないバージョンよりも12倍から14倍高速でした。デバイスが単語ごとにテキストを生成しているときには、4倍から5倍高速でした。また、研究者たちは、プロセッサがより大きな情報の塊を一度に扱えるほど、より広いデータラインを備えている場合に、その手法がどのように機能するかを確認するために、広範なシミュレーションを実施しました。これらのシミュレーションは、データラインが広くなるにつれて、速度の向上も継続し、入力準備のベストケースにおいては基本バージョンよりも最大42倍高速になることを示しました。

しかし、この研究は、これらのデバイスがどれほど速くなれるかには明確な限界があることも明らかにしました。研究者たちは、アテンションの部分のプログラムはこれらのより広いデータラインから大きな恩恵を受ける一方で、他の部分、具体的には数値を予測に変換するレイヤーはそうではないことを発見しました。これらのレイヤーは、スペースを節約するためにデータを圧縮する「量子化」と呼ばれる特定の数値保存方法を使用しています。現在このデータが詰められている方法は、構造的な不一致を生んでおり、プロセッサに数値を分離・再結合するための余分で非効率な作業を強いています。シミュレーションによれば、これらの特定のレイヤーにおいて、一度に多くのデータを処理することで節約された時間は、それを並べ替えるために費やされる時間によって完全に相殺されてしまいました。これは、アテンション・メカニズムは驚異的に高速化できる一方で、システム全体の速度は現在、これらの他のコンポーネントによって引き下げられていることを意味しており、将来の改善には、単にどのように処理するかだけでなく、どのようにこれらの数値を保存するかを変える必要があることを示唆しています。

これらの知見は、人工知能を日常的なデバイスでより身近なものにするための明確な道筋を提示しています。新しい手法であるFlashAttention-Vは、現代の言語モデルの設計と、スケーラブルなベクトルプロセッサの能力との間の溝をうまく埋めることに成功しました。これは、コンピュータがタスクを考える方法を単に並べ替え、データをより効率的に詰め込むだけで、新しいハードウェアを必要とせずに大幅なパフォーマンス向上が可能であることを証明しています。研究は、短時間のタスクやリアルタイムのテキスト生成において、これらの最適化されたプロセッサが非常に効果的であることを裏付けています。しかし同時に、これらのデバイスのための現在のデータ圧縮方法が壁に突き当たっている可能性があるという警告でもあります。将来の、より広いプロセッサの全ポテンシャルを解き放つことは、おそらく、これらの圧縮された数値をよりインテリジェントに保存し、移動する方法というパズルを解くことにかかっています。

技術要約：スケーラブルなベクトル・アーキテクチャのためのFlashAttention

問題提起

エッジデバイスにデプロイされる小型言語モデル（SLM）を中心に、CPU上でのトランスフォーマー・モデルの推論はますます重要になっています。RISC-V Vector Extension (RVV) や ARM Scalable Vector Extension (SVE) のようなベクトル・アーキテクチャは有望な実行基盤を提供していますが、アテンション・モジュールは高いメモリ帯域幅への要求により、依然として主要なボトルネックとなっています。

llama.cpp などに見られる既存のベクトルCPU向け実装は、根本的なスケーラビリティの限界に直面しています。それは、ベクトル長（VL）をヘッド次元（ $D$ ）（通常64または128）に紐付けてしまうことです。その結果、ハードウェアが大きなヘッド次元（例：512ビット、2048ビット、または8192ビット）をサポートしている場合でも、これらの実装はフルSIMD幅を活用できません。実装は $VL \le D$ で飽和し、より広いベクトルレジスタを活用できず、ロングベクトル・アーキテクチャの潜在能力を引き出すことができません。さらに、標準的な量子化フォーマット（特にQ8_0）は、線形投影層およびフィードフォワード層におけるロングベクトル実行との構造的な不整合を引き起こし、追加のボトルネックを生み出します。

手法

著者らは、スケーラブルなベクトル・アーキテクチャ向けに再設計されたFlashAttentionアルゴリズムである FlashAttention-V を提案しています。その核心となる革新は、単一のヘッド内だけでなく、アテンション・ヘッド「間」の並列性を活用することにあります。

主要なアルゴリズム変換

インターヘッド・パッキング（Inter-Head Packing）: $VL > D$ の場合、FlashAttention-Vは複数のアテンション・ヘッドを単一のベクトルレジスタにマッピングします。アテンション・ヘッドに関するループを再順序付けし、ループ展開を適用することで、アルゴリズムは複数のヘッドからの $Q, K, V$ 要素を連続したベクトルレジスタにパッキングします。これにより、システムはヘッド次元を超えるベクトル長を利用できるようになります。
ループの再順序付けと展開: アルゴリズムは、空間的局所性を向上させ、ユニットストライドのメモリ・アクセスを可能にするためにループを再順序付けます。また、命令レベルの並列性（ILP）を高め、ベクトルレジスタの占有率を最大化するために、アテンション・ヘッドに対するループ展開を適用します。
GQA/MHAへの対応: この設計は、Grouped-Query Attention (GQA) および Multi-Query Attention (MQA) をネイティブにサポートしています。共有されたキー・バリュー・ヘッドに対しては、データを一度ロードしてからベクトルレジスタに複製することで、冗長なメモリ・アクセスを回避します。
ブロック実行: 実装には、中間データをレジスタ内に保持し、メモリ・トラフィックを削減するための、キャッシュを意識したブロッキング戦略（FlashAttention-2に着想を得たもの）が用いられています。

実験設定

実装: RISC-VおよびARM SVEイントリンジックを用い、llama.cpp 内の ggml フレームワークに統合。
評価モデル: TinyLlama, Llama 3.2, Qwen2.5 (GQAモデル), および Pythia-410M (MHAモデル)。
ハードウェア/シミュレーション:
- 実機ハードウェア: Banana Pi BPI-F3 (RVV 256-bit)。
- シミュレーション: RiscvMinorCPU を用いたRISC-Vインオーダー型として構成された gem5。シレーターは、Vitruvius+マイクロアーキテクチャに基づき、ベクトル長（512ビットから8192ビット）およびレーン数（8から64レーン）に比例する現実的なベクトルレイテンシをモデル化するように拡張されました。
ベースライン: 非ベクトル化FlashAttention (ggml-scalar) および既存のベクトル化FlashAttention (ggml-vec)。

主な貢献

FlashAttention-V アルゴリズム: ヘッド次元を超えるベクトル長（$VL > D$）の有効な利用を可能にする、新しいアプローチを提供します。これは、インターヘッド並列性を活用することで実現されます。これにより、プレフィル段階において非ベクトル化FlashAttentionに対し 22倍〜42倍、デコード段階において 8倍〜11倍（gem5シミュレーションによる512ビット・ベクトル長時）の高速化を達成しました。
スケーラビリティ分析: FlashAttention-Vが8192ビットのベクトル長までどのようにスケールするかについての定量的分析を提供しています。論文では、理論的なスピードアップはベクトル幅とともに増加しますが、現実的なパフォーマンスはベクトル機能ユニットのレイテンシによって支配されることを特定しています。著者らは、64レーンかつ4096ビットのベクトル構成が最適なスケーラビリティ（プレフィルで2倍〜2.5倍の利得）を達成する一方で、レイテンシのオーバーヘッドにより、それ以上の構成では利得が減少することを見出しました。
量子化ボトルネックの特定: 線形投影層およびフィードフォワード層における Q8_0 量子化 とロングベクトル実行との間の構造的な不整合を特徴付けています。重みとスケールのインターリーブされたレイアウトが、明示的なパッキングおよびマスク付きリダクション操作を強制し、これが2048ビットVLにおいて実行サイクルの最大 60% を消費することを実証しました。このオーバーヘッドは、ロングベクトルの演算上の利点を打ち消してしまいます。この知見は、RVVとArm SVEの両方で一貫しています。

結果

実機ハードウェア (Banana Pi BPI-F3): FlashAttention-Vは、非ベクトル化FlashAttentionに対して 12倍〜14倍の高速化 を達成しました。これは、エッジ推論で一般的な短いコンテキスト（ $N \le 128$ ）において最も効果的でした。
プレフィル段階 (シミュレーション):
- 512ビットVLにおいて、スピードアップはTinyLlamaの22倍からQwen2.5の42倍の範囲でした。
- 8192ビットVLへのスケーリングは、より多くのヘッドをレジスタにパッキングできる小さなヘッド次元を持つモデルに対して、さらなる利得（最大約3倍）を提供しました。
- 現実的なレイテンシ・スケーリング（64レーン）の下では、4096ビット構成は512ビット・ベースラインに対して2倍〜2.5倍のスピードアップを維持しましたが、8192ビット構成はレイテンシのペナルティにより収穫逓減が見られました。
デコード段階: FlashAttention-Vは、512ビットVLにおいて 8倍〜11倍の高速化 を達成しました。しかし、デコーディングのシングル・トークンという性質上、反復あたりのワークロードが不十分であるため、512ビットを超えるベクトル幅やレーン数に対する性能の感度は限定的でした。
量子化レイヤー: マイクロベンチマークにより、Q8_0 線形層におけるパッキングおよびマスク付きリダクションのオーバーヘッドが実行時間を支配しており、演算の償却を妨げていることが明らかになりました。

意義と主張

本論文は、ヘッド次元を大幅に超えるベクトル長での効率的な実行を可能にすることで、FlashAttentionとスケーラブルなベクトル・アーキテクチャの間の溝を埋めるものであると主張しています。著者らは、ループの再順序付け、インターヘッド・パッキング、および展開といった最適化手法が、エッジデバイス上でのトランスフォーマー推論を大幅に加速させる転用可能な原理であると断言しています。

決定的な点として、本論文はロングベクトル実行における現在の量子化戦略の根本的な限界を強調しています。著者らは、FlashAttention-Vがアテンション機構のスケーラビリティを成功させた一方で、Q8_0 量子化された線形層の構造的レイアウトが、フィードフォワード・ネットワークにおける同様のスケーラビリティに対する障壁となっていると述べています。結論として、現在のロングベクトルの演算上の利点はデータ移動のコストによって相殺されているため、明示的なパッキング・オーバーヘッドを排除するために、代替の量子化フォーマットやメモリ・レイアウトを探索する必要があると提言しています。

本研究は、ハードウェア設計者およびソフトウェアエンジニアに対して、64レーン・4096ビットのベクトル構成がレイテンシ・オーバーヘッドが支配的になる前の「スイートスポット」であることを示唆しており、アテンション・カーネルの最適化だけでは、量子化に起因するボトルネックに対処しない限り、エンドツーエンドのパフォーマンス向上には不十分であることを示しています。