Sparsity Forcing: Reinforcing Token Sparsity of MLLMs

本論文は、異なるトークン予算で複数のロールアウトを実行し、効率性と正答性を組み合わせた報酬に基づいて強化学習を行う「Sparsity Forcing」というポストトレーニング手法を提案し、MLLM の推論メモリを最大 3 倍、デコード速度を最大 3.3 倍向上させながら、精度を維持したままトークン削減率を 20% から 75% まで引き上げることに成功したことを報告しています。

要約

この論文は、**「AI が画像や動画を見る時、いかにして『無駄な情報』を捨てて、もっと速く、もっと安く、でも賢く答えられるようにするか」**という問題に対する新しい解決策を提案しています。

タイトルは**「スパースティ・フォーシング（Sparsity Forcing）」、つまり「あえて情報を絞り込む力」**です。

以下に、専門用語を排し、身近な例えを使って解説します。

---

🎒 1. 問題：AI は「荷物が重すぎる」

Multimodal Large Language Models（MLLMs）という最新の AI は、画像や動画を見ながら質問に答えることができます。しかし、高解像度の画像や長い動画を見ると、AI の頭（メモリ）には**膨大な数の「トークン（情報の断片）」**が詰め込まれてしまいます。

• 例え話：
  Imagine 想像してください。ある探偵（AI）が事件現場（画像）を調べる時、**「地面の砂粒一つ一つ、空の雲の形、遠くの車のナンバープレートまで、すべてをメモして持ち運ぶ」**とします。
  これでは、探偵は重すぎて動けず、答えを出すのに時間がかかりすぎます。これが現在の AI が抱える「計算コストが高すぎる」という問題です。

🛠️ 2. 既存の解決策の限界

これまで、この問題を解決するために「必要なものだけ選ぶ」方法が試されてきました。

• 既存の方法： 「AI が自然に『あ、これは重要だ』と感じるものだけ残す」方法です。
• 限界： しかし、これは AI の「自然な癖」に頼っているだけなので、「半分くらい捨てれば大丈夫」というラインまでしか減らせません。 さらに捨てようとすると、AI が「え？あの重要な情報がない！」と混乱して、間違った答えを出してしまいます。

💡 3. 新しい解決策：「スパースティ・フォーシング」

この論文が提案するのは、AI に**「あえて、もっと少ない情報で正解を出す練習」**をさせる新しいトレーニング方法です。

🎮 仕組み：「試行錯誤のゲーム」

この方法は、AI に対して**「同じ質問に対して、あえて情報量を変えて何回も答えさせて、一番良い組み合わせを見つける」**というゲームをさせます。

1. 複数のシナリオを作る：

   • A さん（AI）：「情報の 80% を見て答えなさい」
   • B さん（AI）：「情報の 30% しか見てはいけない」
   • C さん（AI）：「情報の 10% しか見てはいけない」
   • ...と、それぞれ異なる「情報量（予算）」で答えさせます。

2. 評価と報酬：

   • もし C さん（10% しか見ていない）が正解を出せたら、**「すごい！少ない情報で正解できた！」**として、ご褒美（報酬）をあげます。
   • もし B さん（30%）が正解でも、C さんが正解なら、C さんのほうが**「より効率的」**なので、C さんにより大きなご褒美をあげます。
   • もし誰も正解できなければ、「もっと情報が必要だ」と判断します。

3. 学習：
   この「少ない情報で正解する」成功体験を繰り返すことで、AI は**「どの情報が本当に重要で、どれを捨てても大丈夫か」**を自ら学び取ります。

🧠 例え話：「料理の味見」

• 従来の AI： 鍋の中にあるすべての具材（野菜、肉、スパイス）をすべて口に入れて味見してから、「これはカレーだ」と言います。
• スパースティ・フォーシング： 「具材を 10% しか口に入れちゃいけない」というルールで練習させます。最初は失敗しますが、練習を繰り返すうちに**「カレーの味は、実は『玉ねぎ』と『スパイス』の 2 種類だけあればわかるんだ！」と気づきます。
  結果、「必要なものだけ」**を選んで食べるようになり、胃袋（メモリ）も空くし、食べる時間（処理速度）も劇的に短縮されます。

🚀 4. どれくらいすごい？（成果）

この方法を試した結果、驚くべき効果が得られました。

• 情報の削減： 画像や動画の情報を**「75% も減らしても」**、AI の性能はほとんど落ちませんでした。
  • （例：100 個の情報を 25 個に減らしても、正解率は同じ！）
• 速度アップ： 答えを出すまでの時間が**「最大 3.3 倍速」**になりました。
• メモリ節約： 必要なメモリ容量が**「最大 3 分の 1」**になりました。

🌟 まとめ

この論文は、AI に**「無駄な荷物を捨てて、身軽に走る方法」**を教える新しいトレーニング法を紹介しています。

• 昔： 「全部見てから考えろ」→ 重くて遅い。
• 今： 「あえて捨てて、必要なものだけ見ろ」→ 軽くて速い、でも賢い。

これにより、スマホやタブレットのような性能の低い端末でも、高画質な動画や複雑な画像をリアルタイムで理解できるようになる未来が近づいています。まるで、**「重たいリュックを捨てて、軽装で山を登る」**ような、スマートな AI の進化です。

技術概要

論文「SPARSITY FORCING: REINFORCING TOKEN SPARSITY OF MLLMS」の技術的サマリー

本論文は、マルチモーダル大規模言語モデル（MLLMs）の推論効率を大幅に向上させるための新しいポストトレーニング手法**「Sparsity Forcing」**を提案するものです。既存の疎性（スパース性）手法が抱える限界を克服し、推論時のトークン削減率を大幅に高めつつ、精度の低下を最小限に抑えることに成功しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

MLLMs は画像キャプション生成や視覚的質問応答（VQA）などで高い性能を示していますが、高解像度の画像や長尺の動画を処理する際、視覚エンコーダが生成する視覚トークンの数が膨大になり、生成効率とメモリ使用量がボトルネックとなっています。

既存の解決策には以下のような課題があります：

• 既存の疎性アテンション手法: 既存のモデルが持つ「自然な疎性」を利用するのみ（例：FastV, ZipVL）であり、トークン削減率が約 50% 程度で頭打ちになり、それ以上（20% や 10% など）削減しようとすると精度が急激に低下する。
• 学習可能な疎性アテンション: 事前学習からスパースパターンを固定する手法（MOBA, NSA など）は、入力やレイヤーのダイナミクスを無視し、ゼロから学習する必要があり、既存の高性能 MLLM への適用が困難。
• 正則化によるアプローチ: 注意マップの鋭化（Sharpness）を促す正則化項を用いる手法は、代理目的（proxy objective）を最適化しているに過ぎず、エンドツーエンドのトークン削減や推論時の安定した精度保証につながらない。
• SFT（教師あり微調整）の限界: 教師あり学習では正解トークンに基づいてスパース性を強制するため、推論時に生成される出力との間にミスマッチが生じ、実際の効率化が限定的になる。

2. 提案手法：Sparsity Forcing (Methodology)

本論文は、**強化学習（RL）に基づくポストトレーニングフレームワーク「Sparsity Forcing」を提案します。これは、トークン削減（効率）と回答の正解率（性能）を明示的な共同報酬（Joint Reward）**として最適化し、推論と整合性の取れたトークン削減を実現します。

2.1 基本的な枠組み

• ポリシーモデル: 疎性アテンション（例：ZipVL）を適用した MLLM（例：Qwen2-VL）。
• 参照モデル: 標準的な因果アテンションを持つ同じ MLLM（パラメータ固定）。
• アルゴリズム: Group Relative Policy Optimization (GRPO) を採用。

2.2 学習プロセス

1. マルチバジェットロールアウト: 1 つの質問に対して、異なるトークン削減閾値 $p$（$0 \sim 1$ の範囲からランダムに選択）を用いて $N$ 回の推論（ロールアウト）を実行します。これにより、正解を保つために必要な最小トークン量を動的に探索します。
2. 報酬設計: 各ロールアウトに対して、以下の 2 つを考慮した報酬を計算します。
   • 性能報酬 ($r_{per}$): 回答が正しければ 1、そうでなければ 0。
   • 効率報酬 ($r_{eff}$): トークン削減率（$1 - \tau$）。
   • グループ条件付き報酬: グループ内に少なくとも 1 つの正解がある場合のみ、効率性を報酬に含めます。これにより、精度が崩壊する極端なスパース化を防ぎつつ、正解する中で最も効率的な回答を強化します。
3. 優位性（Advantage）の計算: グループ内の報酬を正規化し、正解かつ効率的な回答には正の優位性、そうでないものには負の優位性を割り当てます。
4. ポリシー更新: GRPO の目的関数を用いて、トークン削減と正解率のトレードオフを最適化するようモデルを微調整します。KL 発散項により、参照モデルからの乖離を抑制し、タスクの忠実性を保ちます。

2.3 動的な疎性アテンション

• Top-p サンプリング: 注意スコアの累積和が閾値 $p$ を超える最小のトークンセットを保持する「Top-p 疎性アテンション」を採用。
• KV キャッシュ管理: 学習時と推論時で同じトークン削減ポリシーと KV キャッシュ管理を行うことで、推論時のメモリ使用量と遅延を確実に削減します。

3. 主要な貢献 (Key Contributions)

1. 明示的な効率・性能トレードオフの最適化:
   トークン削減を代理目的ではなく、エンドツーエンドの報酬として直接最適化します。これにより、推論と整合したスパース性を実現し、アーキテクチャ変更やゼロからの学習を不要にしています。
2. 動的な最小予算の探索:
   複数の閾値 $p$ によるロールアウトを通じて、入力やレイヤー、学習段階に応じて「正解に必要な最小トークン量」を動的に学習します。これにより、硬直的なスパースパターンを回避しています。
3. 大幅な効率化と精度維持:
   13 の画像・動画ベンチマークにおいて、Qwen2/2.5-VL モデルのトークン削減率を 20% から75% まで引き上げ、精度の低下を最小限に抑えることに成功しました。

4. 実験結果 (Results)

4.1 性能比較

• 画像ベンチマーク (7 種類): Qwen2.5-VL-7B において、既存のトレーニングフリー手法（ZipVL, FastV など）が 50% 前後のトークン保持率で精度を維持するのに対し、Sparsity Forcing は約 25% のトークン保持率で同等以上の精度を達成しました。
• 動画ベンチマーク (6 種類): VideoMME や MLVU などの長文脈タスクにおいても、同様にトークン削減率を大幅に高めつつ、Full Attention モデルに近い精度を維持しました。
• ベースラインとの比較: 学習ベースの手法（MOBA, 鋭化正則化など）と比較しても、Sparsity Forcing は 25% 程度のトークン使用量で、それらの手法（25% 使用時）よりも高い精度を記録しました。

4.2 効率性の向上

• 推論速度: 200k トークンのシーケンス長において、FlashAttention-2 と比較して最大 3.3 倍の高速化を達成。
• メモリ使用量: 推論時のメモリ使用量を最大 3 倍削減しました。
• スケーラビリティ: 入力シーケンス長が増加する（4k から 20k へ）につれて、保持されるトークン比率がさらに低下する傾向が見られ、長文脈理解において冗長なトークンを安全に削除できることが示されました。

4.3 頑健性

• ハルシネーション: HallusionBench での評価により、トークン削減率を厳しくしても、モデルのハルシネーション（幻覚）が増加せず、重要な証拠情報を保持していることが確認されました。

5. 意義と結論 (Significance)

Sparsity Forcing は、MLLMs の推論コストを劇的に削減するための実用的なソリューションを提供します。

• 実用性: 既存の高性能モデル（Qwen2-VL など）に適用可能であり、アーキテクチャ変更なしに「推論時」の効率化を実現します。
• 適応性: 固定されたスパースパターンではなく、入力内容に応じて動的に最適なトークンセットを選択するため、多様なタスクや長文脈に対して柔軟に対応できます。
• 将来展望: 本手法は、ハードウェア制約（レイテンシ、メモリ、エネルギー）や、マルチターン対話、ツール呼び出しなどのより複雑なシナリオへの拡張も可能であり、MLLMs の実社会への導入を加速させる可能性を秘めています。

要約すると、Sparsity Forcing は「正解を保ちつつ、いかに少ないトークンで推論を行うか」という課題を、強化学習によるグループ比較を通じて解決し、MLLMs の実用化におけるボトルネックである計算コストとメモリ使用量を大幅に解消する画期的な手法です。