🤖 machine learning

Improving MLLM Training Efficiency via Stage-Aware Sparsity

本論文は、アライメント中に視覚トークンを動的に圧縮し、指示チューニング中に冗長な層をスキップすることで計算上の冗長性の多様な源に対処し、マルチモーダル大規模言語モデルの訓練効率を向上させる段階認識型フレームワークであるスパース訓練手法（STS）を提案する。

原著者： Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。非常に優秀だが非常に空腹な学生（AI）に、画像と言葉の両方を理解させることを教えていると。この学生は「マルチモーダル大規模言語モデル（MLLM）」です。問題点は、この学生を教えることが信じられないほど高価で時間がかかることです。なぜなら、この学生は写真のすべてのピクセルを見ようとし、教科書のすべてのレイヤーを読もうとするからです。たとえその情報の大部分がノイズや繰り返しであっても、そうします。

この論文は、STS（スパーストレーニングスキーム）と呼ばれる新しいトレーニング手法を提案しています。STS を単なる一つのトリックではなく、学生が現在何を学んでいるかに応じてアプローチを変える、賢明な2 段階のコーチング戦略として考えてください。

以下に、その仕組みを単純なアナロジーに分解して説明します。

核心的な問題：「ノイズが多すぎる」

これらの AI モデルをトレーニングする際、以下の 2 つのことが多くの時間を浪費します。

視覚的冗長性: 写真には 10,000 ピクセルあるかもしれませんが、その 8,000 は単なる青空や空の背景です。AI は空っぽの空を処理することにエネルギーを浪費します。
レイヤーの冗長性: AI には多くの「思考のレイヤー」（本の章のようなもの）があります。トレーニングの初期段階では、AI は基礎を学ぶためにすべての章を読む必要はありません。

この論文は、これらの「無駄な」部分が学習の各段階で同じではないと主張しています。初期に時間を浪費するものと、終盤に時間を浪費するものは異なります。

解決策：2 段階のコーチング計画

著者らは、アスリートがウォーミングアップ中か競技中かによってコーチがドリルを変えるように、トレーニングの段階に応じて戦術を切り替えるシステムを設計しました。

第 1 段階：「写真フィルター」（モダリティアライメント）

状況: 開始時、AI は画像と言葉を結びつけることを学んでいます。AI の「言語」部分は凍結されています（まだ新しい言葉を学んでいません）が、あまりにも多くの画像詳細に溺れています。
アナロジー: 物語を説明するために学生に 4K 映画を見せると想像してください。学生はフレームの多さに圧倒されます。
対策（視覚トークン圧縮器）: 映画全体を見せる代わりに、コーチ（STS）はスマートフィルターを使用します。それは画像を素早くスキャンし、「ねえ、この部分は単なる青空だからスキップしよう。この部分は顔だから残そう」と言います。

AI が画像を見る前に、退屈で繰り返しの多い部分を捨て去ります。
これにより、開始直後に莫大なエネルギーを節約できます。

第 2 段階：「スキミング読者」（インストラクションチューニング）

状況: 今や AI は画像を見る方法を学び、複雑な指示に従ってチャットする方法を学ぶ時が来ました。AI の「言語」部分は現在アクティブで学習中です。
アナロジー: 学生が厚い教科書を読んでいると想像してください。最初は基礎を理解するためにすべての言葉を読む必要があります。しかし、賢くなってくると、「私はすでに第 1 章と第 2 章を知っている。第 10 章の新しい難しい部分に集中するために、これらはスキミングして読もう」と気づき始めます。
対策（レイヤー動的スキッパー）: コーチは AI に、「この特定のレッスンでは、あなたの脳の全能力を使う必要はない。最初のいくつかの『思考レイヤー』をスキップして、直接深い部分へ飛びつこう」と伝えます。

トレーニングが進み AI が上達するにつれて、コーチは徐々に再び多くのレイヤーを読むようにします。
これにより、AI がすでに理解していることに対して不要なメンタル・ジャム（知的な体操）を行うのを防ぎます。

結果：より速く、より軽量化され、なおかつ賢い

この論文は、この「2 段階コーチング」をいくつかの異なる AI モデルでテストしました。その結果は以下の通りです。

莫大な節約: AI はトレーニングに約17% 少ない計算能力（FLOPs）を使用しました。これは、マラソンを 17% 少ない時間で完走するようなものです。
知性の大幅な低下なし: これほど多くの作業をスキップしたにもかかわらず、AI はすべての作業を行った場合と比較して、**97% から 99%**のテストスコアを依然として獲得しました。
バランスの取れたアプローチ: この論文は、「写真フィルター」のみを使用するか、「スキミング読者」のみを使用するだけでは、結果があまり良くないことを発見しました。速度と知性の最良のバランスを得るためには、適切なタイミングで両方の戦略が連携して働く必要があります。

要約

この論文はこう述べています。「AI のトレーニングプロセスを、長く退屈な苦行として扱わないでください。異なる地形を持つ旅として扱ってください。AI が画像を見ているときは、背景のノイズを無視するのを手伝ってください。AI が話すことを学んでいるときは、すでに知っている章をスキップさせてください。これを行うことで、AI モデルが知性を失うことなく、はるかに速く超賢い AI モデルをトレーニングすることができます。」

技術サマリー：ステージ認識型スパース性による MLLM 訓練効率の向上

問題定義

マルチモーダル大規模言語モデル（MLLM）は顕著な能力を示しているものの、非効率的な訓練プロセスに悩まされている。この非効率性は、主に 2 つの冗長性源に起因する：

データ冗長性: マルチモーダル入力はサンプルあたり数百の視覚トークンを導入するが、その多くは最終的な予測にわずかな寄与しかしない。
パラメータ冗長性: 深いトランスフォーマーアーキテクチャは数十層を含んでいるが、訓練プロセス全体を通じてすべての層が均等に重要であるわけではない。

既存の効率化手法は通常、これらの課題を個別に（例えばトークン圧縮や層スキップなど）扱い、冗長性を静的な性質として扱う。しかし、本論文は冗長性のパターンがステージ依存型であると論じている。モダリティアライメント中は、言語モデル（LLM）がしばしば凍結され、ボトルネックは膨大な視覚トークン系列の処理にある。一方、インストラクションチューニング中は LLM パラメータが積極的に更新され、ボトルネックは深いトランスフォーマー層の計算オーバーヘッドに移行する。冗長性を静的と見なすことは、効率性と性能のトレードオフを最適化しない結果を招く。

手法：スパース訓練スキーム（STS）

著者は、異なる訓練ステージの特定の計算ボトルネックに適応するスパース性戦略を統合したフレームワークである**スパース訓練スキーム（STS）**を提案する。STS は、2 つの相補的なコンポーネントから構成される：

1. 視覚トークン圧縮器（VTC）－ステージ I：モダリティアライメント

LLM が凍結され、プロジェクタのみが更新されるモダリティアライメントステージにおいて適用される。

機能: データ冗長性を緩和するため、LLM に入力される前に視覚トークンの長さ（ $T_v$ ）を削減する。
メカニズム: セレクター関数 $C$ が、 $T_v \in \mathbb{R}^{b \times n \times d}$ を圧縮された系列 $T_v' \in \mathbb{R}^{b \times n' \times d}$ （ $n' < n$ ）にマッピングする。
選択戦略:
- 均一サンプリング: グローバルな意味構造を保持するための固定ストライド選択。
- ランダムサンプリング: 頑健性を向上させるための確率的導入。
- インストラクションガイド型: 視覚トークンとテキストトークン間のコサイン類似度を用いて、無関係な視覚情報を破棄する。
実装: 本論文では、ランダムサンプリングの不安定性やインストラクションガイド型選択のバイアスと比較して、タスク全体で最もバランスの取れた性能を提供することから、デフォルト戦略として均一サンプリングを採用している。

2. 層動的スキッパー（LDS）－ステージ II：インストラクションチューニング

LLM パラメータが更新されるインストラクションチューニング中に適用される。

機能: 不要なデコーダー層を動的にスキップすることで、パラメータ更新と計算オーバーヘッドを削減する。
メカニズム: 訓練ステップ $e$ における層 $l$ について、隠れ状態は $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$ として更新される。ここで、 $z_l$ はスキップ確率 $p_l(e)$ によって制御されるベルヌーイ変数である。
確率定式化: スキップ確率は 2 つの要因を組み合わせる：
- ステップベースの減衰: 「粗いものから細かいものへ」という収束傾向に基づく。訓練の初期段階では勾配が粗いため、高いスキップ率を許容する。確率は訓練が進むにつれて二次関数的に減衰する： $\alpha (\frac{E-e}{E})^2$ 。
- 深度ベースの調整: 浅い層が深い層よりも効果的に特徴を抽出することを考慮し、層深度 $l$ によって確率を調整する： $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$ 。
デフォルト設定: 著者は、 $\alpha=0.5$ および $\epsilon=0.5$ が効率性とタスク性能の間の最良のバランスを提供することを見出している。

主要な貢献

ステージ依存型冗長性の分析: 本作業は、MLLM 訓練における冗長性が静的ではないことを明らかにしている。すなわち、モダリティアライメントではデータ冗長性が支配的であり、インストラクションチューニングではパラメータ冗長性が支配的である。
統合フレームワーク（STS）: 変化する冗長性パターンを明示的にモデル化し、アライメント中はトークンレベルのスパース性を、チューニング中は層レベルのスパース性を適用する、ステージ認識型のスパース訓練フレームワークを提案する。
実証的検証: 広範な実験を通じて、STS が多様な MLLM アーキテクチャにおいて高い精度を維持しながら計算コストを大幅に削減することを示している。

実験結果

著者は、GQA、VQAv2、SQA、POPE、MME などのベンチマークにおいて、5 つの MLLM（LLaVA、Mipha、Phi-2、MoE-LLaVA 変種）に対して STS を評価した。

効率性: STS は、FLOPs を平均で15% 以上削減した。具体的には、ベースラインに対する理論的な FLOPs 比率が約**82.2%**にまで低下した。
性能: 本手法は、ベースライン精度の平均で**96.9% から 99.7%**を維持した。
- 頑健性指標（POPE）および包括的評価（MME）では、最小限の劣化しか示さなかった。
- 知覚指向タスク（GQA、VQAv2）では、わずかに目立つ低下（約 2〜3 ポイント）が見られたが、いくつかのケース（例：LLaVA における SQA）では STS がベースラインを上回り、潜在的な正則化効果を示唆している。
アブレーション研究:
- VTC: 均一サンプリングは、ランダムサンプリングやインストラクションガイド型サンプリングよりも頑健であることが証明された。
- LDS: ハイパーパラメータ $\alpha$ （スキップ率）および $\epsilon$ （深度分散）の極端な値は、モデルを特定の能力に偏らせた。バランスの取れた設定（ $\alpha=0.5, \epsilon=0.5$ ）が最良のトレードオフをもたらした。
- 統合フレームワーク: VTC と LDS を併用することは、いずれかのコンポーネントを単独で使用する場合と比較して、優れた効率性 - 性能トレードオフを提供した。

意義と主張

本論文は、STS が効率的な MLLM 最適化のための実用的かつスケーラブルな解決策を提供すると主張している。静的な冗長性削減からステージ認識型アプローチへと焦点を移すことで、このフレームワークは複雑なアーキテクチャ変更を必要とせずに、異なる訓練フェーズの特定のボトルネックに対処する。著者は、STS が多様な MLLM アーキテクチャに広く適用可能であり、最小限の性能損失でより高速な訓練を実現し、大規模マルチモーダルモデルの訓練における計算障壁を低減する viable な戦略であると強調している。