💬 NLP

BLASST: Dynamic BLocked Attention Sparsity via Softmax Thresholding

BLASST は、学習や事前計算を不要とし、既存のフレームワークに容易に統合可能な動的なスパースアテンション手法として、オンラインソフトマックス統計量を活用して不要なアテンションブロックをスキップすることで、精度を維持しつつ推論速度を大幅に向上させる。

原著者： Jiayi Yuan, Cameron Shinn, Kai Xu, Jingze Cui, George Klimiashvili, Guangxuan Xiao, Perkz Zheng, Bo Li, Yuxin Zhou, Zhouhai Ye, Weijie You, Tian Zheng, Dominic Brown, Pengbo Wang, Markus Hoehnerbach

公開日 2026-04-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiayi Yuan, Cameron Shinn, Kai Xu, Jingze Cui, George Klimiashvili, Guangxuan Xiao, Perkz Zheng, Bo Li, Yuxin Zhou, Zhouhai Ye, Weijie You, Tian Zheng, Dominic Brown, Pengbo Wang, Markus Hoehnerbach, Richard Cai, Julien Demouth, John D. Owens, Xia Hu, Song Han, Timmy Liu, Huizi Mao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

BLASST: 長文の AI 読み込みを「無駄な作業」から解放する新技術

こんにちは！今回は、大規模言語モデル（LLM）の「長い文章を読む・考える」能力を劇的に速くする新しい技術**「BLASST（ブラスト）」**について、難しい数式を使わずに、身近な例え話で解説します。

🧠 問題：AI が「長い本」を読むときの悩み

皆さんは、AI に「この 1000 ページの技術書を読んで要約して」と頼んだことがありますか？
従来の AI は、**「すべてのページを、すべてのページと照らし合わせて、重要度を確認する」**という作業を、まるで「全ページを 1 枚ずつコピーして、全ページ同士を比較する」ような重労働で処理していました。

問題点: 文章が長くなると、この作業量は**「2 乗」**で爆発的に増えます。
結果: 100 ページなら瞬時でも、10 万ページ（10 万トークン）になると、AI は「計算しすぎて疲れてしまい、メモリもパンクして、答えが出るのに時間がかかる」という状態になります。

✂️ 解決策：BLASST（ブラスト）の「スマートな捨てる」

BLASST は、この重労働を**「本当に重要な部分だけ残して、それ以外は思い切って捨てる」**という発想で解決します。

🌟 アナロジー：「図書館の司書」の話

AI が文章を処理する様子を、**「巨大な図書館の司書」**に例えてみましょう。

従来の方法（全照合）:
司書は、読者が「A さんの話」について聞きたいとき、**「図書館にあるすべての本（10 万冊）」**を 1 冊ずつ開いて、「A さんが出てくるか？」をチェックします。
- 結果: 99% の本には A さんが出てきませんが、確認するために全部開くので、時間と体力（計算リソース）が莫大にかかります。
BLASST の方法（動的な閾値）:
BLASST は、司書に**「魔法のルーレット」**を与えます。
- 司書は本をパラパラめくりながら、「今のところ、A さんが出てきた**『最も重要なページ』**のスコア」を頭に入れておきます。
- 次に新しい本を開いたとき、**「この本の中の A さんの登場頻度（スコア）が、今の最高スコアより『かなり低い』なら、この本は開かずにスキップする！」**と即座に判断します。
- メリット: 99% の本は「開く必要がない」と判断され、司書は**「開く作業（計算）」も「本を棚から出す作業（メモリ読み込み）」も省く**ことができます。

🔑 BLASST の 3 つのすごいポイント

この技術が画期的な理由は、以下の 3 点です。

1. 🚫 事前学習も事前計算も不要（「その場で判断」）

他の多くの技術は、「どのページを捨てるか」を決めるために、事前に特別なトレーニングをしたり、文章全体を一度読んで「重要度マップ」を作成したりしていました。

BLASST: 「今、この瞬間に計算している情報」だけで判断します。
- 例え: 事前に地図を用意する必要はなく、歩きながら「ここは遠回りだな」と思えば、その場でルートを変えるようなものです。そのため、**「すぐに使える（Drop-in）」**のが最大の特徴です。

2. 🏃‍♂️ 読み込み（Prefill）と生成（Decode）の両方を加速

読み込み（文章を全部読む）: 計算能力が足りないのがボトルネック。BLASST は「計算自体」を減らします。
生成（1 文字ずつ答える）: メモリ（本棚）から本を取り出すのが遅いのがボトルネック。BLASST は「取り出す本（値の読み込み）」自体を減らします。
- 結果: 文章を読み込む速度も、回答を生成する速度も、どちらも 1.5 倍近く速くなりました。

3. 🎚️ 自動調整機能（「長さ」に合わせた自動感度）

「どのくらい捨てるか」を決める基準（閾値）は、文章の長さによって変える必要があります。

短い文章: 基準を少し厳しくしないと、重要な情報まで捨ててしまいます。
長い文章: 基準を緩くしないと、捨てるべきゴミまで残ってしまいます。
BLASST: 「文章の長さ」を測るだけで、「どのくらい厳しく捨てるか」を自動で計算してくれます。人間が手動で調整する必要はありません。

📊 実際の効果は？

実験結果によると、BLASST を使えば：

精度: ほとんど落ちません（むしろ、ノイズを削ぎ落とすことで、在某些のタスクでは精度が上がることも）。
速度: 70% 以上の計算を省いても、1.5 倍速で動作します。
対応: 最新の GPU（Blackwell や Hopper）で最適化されており、既存の AI フレームワークに簡単に取り入れられます。

🎉 まとめ

BLASST は、AI が「長い文章」を処理する際の**「無駄な努力」を排除するスマートな技術**です。

従来の AI: 「全部確認してから捨てる」→ 疲れる、遅い。
BLASST の AI: 「重要度を見て、明らかに不要なものは最初から触らない」→ 楽、速い。

これにより、AI は「全コードのレビュー」や「長い論文の要約」、「長時間の会話」を、これまでよりもはるかにスムーズにこなせるようになります。まるで、**「賢い司書が、無駄な本棚巡りをやめて、本当に必要な本だけを素早く取り出せるようになった」**ようなものです。

この技術は、今後、より長く、より複雑なタスクをこなす AI 時代への重要な一歩となるでしょう。

BLASST: ソフトマックス閾値による動的ブロックアテンションスパース性の技術的サマリー

本論文は、大規模言語モデル（LLM）の長文脈推論における計算およびメモリボトルネックを解決するため、BLASST（Dynamic BLocked Attention Sparsity via Softmax Thresholding）と呼ばれる新しいスパースアテンション手法を提案しています。BLASST は、事前計算やモデルの再トレーニングを必要とせず、既存の FlashAttention 実装に「ドロップイン（そのまま導入可能）」として統合できる動的なスパース化手法です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と課題

LLM の文脈長（コンテキスト）が 128K トークン、あるいは 1M トークンに達するようになると、自己アテンション機構の二次的な計算複雑度（ $O(n^2)$ ）が深刻なボトルネックとなります。
既存のスパースアテンション手法には、実用化における以下の 5 つの障壁が存在します：

高コストな事前計算: スパースパターンを決定するための事前計算が重く、理論上の高速化効果を相殺する。
トレーニングの必要性: モデルの微調整や新しいアーキテクチャの学習が必要。
フェーズの偏り: プリフィル（入力処理）またはデコード（生成）のどちらか一方のみを対象としており、エンドツーエンドの加速が不十分。
ハードウェア対応の欠如: 最新の GPU（Blackwell, Hopper など）向けに最適化されたカーネルが不足している。
フレームワーク統合の難しさ: 既存の API やアーキテクチャへの侵入的な変更が必要。

2. 手法：BLASST の核心

BLASST は、FlashAttention のブロック単位オンライン・ソフトマックス計算中に得られる統計情報を利用し、無視できるアテンションブロックを動的にスキップするアプローチです。

2.1 主要な洞察とアルゴリズム

Running Maximum の利用: FlashAttention では、各ブロックの処理中に「実行中の最大値（running maximum, $m$ ）」を維持します。BLASST は、現在のブロックの局所最大値（ $\tilde{m}$ ）が、実行中の最大値よりも閾値 $\ln(\lambda)$ だけ小さい場合、そのブロックのソフトマックス後の値はほぼゼロになると判断します。
スキップ条件:
$\tilde{m}^{(j)}_i - m^{(j)}_i < \ln(\lambda)$
この条件を満たすブロックに対しては、以下の 3 つの重たい操作をスキップします：
1. ソフトマックスの指数計算（ $\exp(\cdot)$ ）
2. HBM（高帯域幅メモリ）からの Value ブロックの読み込み
3. アテンション重みと Value の行列乗算
特徴: 追加の事前計算や代理スコア（proxy scores）を必要とせず、単一のスカラー閾値 $\lambda$ だけで動作します。

2.2 閾値の自動較正（Calibration）

最適な閾値 $\lambda$ は文脈長 $L$ に依存します。実験により、最適な閾値と文脈長の間に逆比例関係（ $\lambda = a/L$ ）があることが発見されました。

自動較正: 目標とするスパース性（例：70%）に対して、モデル固有の係数 $a$ を決定する較正手順を提案しています。これにより、異なる文脈長やタスクに対して手動調整なしで安定したスパース性を維持できます。

2.3 スパース性認識トレーニング（Sparsity-Aware Training）

BLASST は推論時の最適化ですが、トレーニング段階でも同様のスパース化を適用することで、モデルが重要な情報を高スコアなブロックに集中させるよう学習させ、推論時の精度低下をさらに抑えることを可能にします。

3. カーネル設計と最適化

BLASST は、Blackwell (B200) と Hopper (H200) 向けに最適化された CUDA カーネルとして実装されています。

プリフェーズ（Prefill）: 計算ボトルネック（Compute-bound）であるため、不要なブロックのソフトマックス計算と行列乗算（MMA）をスキップすることで CUDA コアとテンソルコアの負荷を軽減します。
デコードフェーズ（Decode）: メモリ帯域幅ボトルネック（Memory-bound）であるため、不要なブロックからの Value 読み込みをスキップし、HBM へのアクセスを削減します。
パイプライン設計: スキップ判定によるパイプラインバブルを最小化するため、バッチ処理や条件付きロードのスケジューリングを工夫しています。

4. 実験結果

Llama-3.1-8B、Qwen3-8B、DeepSeek-R1 などのモデルで評価されました。

精度: 70-75% のスパース性でも、ベンチマーク（RULER, LongBench, MATH500 など）において密度アテンションと同等、あるいは一部でそれ以上の精度を維持しました。
- 例：Qwen3-8B において、50% スパース性で MATH500 のスコアが 95.87（密度）から 96.23 に向上。
高速化:
- プリフェーズ: 71.9% スパース性で 1.52倍 の高速化（Blackwell/Hopper）。
- デコードフェーズ: 73.2% スパース性で 1.48倍 の高速化。
- 文脈長 200K の極端な長文脈でも、精度の大幅な低下なしに有効に機能しました。
較正の有効性: 固定閾値では文脈長によってスパース性が大きく変動しますが、提案する較正手法（ $\lambda = a/L$ ）を用いることで、目標スパース性を高い精度で維持できました。

5. 主要な貢献と意義

トレーニング不要・事前計算不要の「ドロップイン」手法: 既存のモデルやフレームワーク（TensorRT-LLM, FlashInfer）に容易に統合可能。
プリフェースとデコードの両方の加速: 多くの既存手法が片方のみを対象とする中、BLASST は両フェーズを最適化し、エンドツーエンドの推論遅延を削減します。
ハードウェア最適化: 最新の GPU アーキテクチャに特化したカーネルを提供し、実環境での大幅な速度向上を実現。
自動較正とトレーニング拡張: 閾値の自動調整メカニズムと、スパース性への耐性を高めるトレーニング手法を提案し、実運用の堅牢性を高めています。

結論:
BLASST は、長文脈 LLM の推論を現実的なコストで実行可能にするための実用的なソリューションです。複雑な事前処理やモデル変更なしに、高いスパース性を実現しつつ精度を維持し、現代のハードウェア上で劇的な高速化をもたらす点で、LLM 推論インフラの重要な進展と言えます。