ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

以下は、論文「REGATE: Learning Faster and Better with Fewer Tokens in MLLMs」の詳細な技術的サマリーです。

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、主に入力シーケンス長に対する自己注意メカニズムの二次的な複雑さに起因する、トレーニング中の重大な計算上のボトルネックに直面しています。この問題は、フレームが極めて長いシーケンスにトークン化されるビデオタスクにおいてさらに悪化します。

• 既存手法の限界: 現在の効率化戦略（トークンプルーニング、マージ、圧縮）は、主に静的または事前スコアリングされたトークンを用いた推論をターゲットとしています。これらはトレーニング段階で動的に適応することができません。
• トレーニングの非効率性: 標準的なトレーニングでは、モデルは、トークンが冗長であるか、テキストのみから容易に予測可能であるかに関わらず、すべてのフォワードおよびバックワードパスにおいてすべてのトークンを処理します。これは膨大な計算リソースを浪費し、より長いコンテキストや大規模なデータセットへのスケーリング能力を制限します。
• ギャップ: ヒューリスティック（ランダムなドロップなど）に依存したり、アーキテクチャの変更を導入したりすることなく、トレーニング中にトークンの重要性を推定し、クロスモーダル依存関係を捉えるための原理的な適応手法が存在しません。

2. 手法：REGATE

著者らは、冗長なトークンをスキップしながら情報豊富なトークンを動的に選択することで MLLM トレーニングを加速するフレームワークであるREGATE（Reference-Guided Adaptive Token Elision）を提案します。

中核アーキテクチャ：教師 - 学生フレームワーク

• 学生モデル: トレーニング中の MLLM（例：VideoChat2、VideoLLaMA2、InternVL3.5）。
• 教師モデル: 学生モデルの LLM バックボーンの凍結されたテキスト専用バージョンです。これは、学生モデルから視覚エンコーダとプロジェクタを削除することで作成されます。
• メカニズム: 教師は、特定のトークンがどの程度視覚的コンテキストに依存するかを推定するための参照専門家として機能します。

トークンスコアリングメカニズム

REGATE は、2 つの相補的なシグナルに基づいて、各トークンに対して統合された難易度スコア（$d_{b,i}$）を計算します。

1. 参照損失（$\ell^{ref}_{b,i}$）: 教師モデルは、視覚トークンをプレースホルダーに置き換えたテキストコンテキストのみを使用してトークンを予測しようとします。
   • 損失が低い: トークンはテキストのみから予測可能（冗長）。
   • 損失が高い: トークンは視覚的グラウンディングを必要とする（重要）。
2. 学生の歴史的難易度（$m_{s,i}$）: 時間経過に伴う、そのトークン位置に対する学生のクロスエントロピー損失の指数移動平均（EMA）です。これは、学生が一貫して学習に苦労するトークンを追跡します。

統合スコアは以下のように定式化されます：
$$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$$
ここで、$\lambda$ は静的な参照シグナルと動的な学生学習シグナルのバランスを取ります。

動的トークングーティングとスパース性

• マスク生成: 各バッチに対して、結合された難易度スコアが最も高い上位 $k$ 個のトークンを選択することで、バイナリマスクが生成されます。
• 視覚トークンの保持: 特別な視覚トークン（例：<image>, <video>）は、難易度スコアに関わらず、マルチモーダル構造を保持するために常に保持されます。
• デュアルサイクルスケジュール: 安定性を確保するため、REGATE は決定論的なスケジュールを採用します。
  • ウォームアップフェーズ: 各サイクルの最初の $F$ ステップでは、すべてのトークンが処理されます。
  • スパースフェーズ: 残りのステップでは、固定された割合（$p_{sparse}$）のトークンのみが処理されます。
• スパースデコーダー実装: トランスフォーマデコーダは、アクティブ（保持された）トークンのみに対して自己注意およびフィードフォワードネットワーク（FFN）操作を実行するように修正されます。非アクティブなトークンは計算をバイパスしますが、勾配流の連続性を維持するために残差接続を維持します。これは Flash Attention マスクを使用して効率的に実装されます。

3. 主要な貢献

1. 適応的トレーニングプルーニング: 学習可能なパラメータを追加することなく、視覚的に不可欠なトークンを動的に識別する、MLLM トレーニングに特化した最初の適応的トークンプルーニング手法の導入。
2. モデル非依存かつアーキテクチャフリー: REGATE は、モデルアーキテクチャを変更したり、追加の学習可能コンポーネントを必要としたりすることなく、既存の MLLM（LoRA またはフルファインチューニングを使用するものを含む）にシームレスに統合されます。
3. デュアルシグナルガイダンス: テキスト専用の教師からの静的なクロスモーダル参照損失と、動的な学生学習履歴を組み合わせた新しいスコアリングメカニズムにより、視覚的に重要かつ学習が困難なトークンを効果的に分離します。

4. 実験結果

著者らは、5 つの画像ベンチマークと 8 つのビデオベンチマークにわたって、3 つの代表的な MLLM（VideoChat2（Mistral-7B）、VideoLLaMA2（Qwen2-7B）、InternVL3.5（Qwen3-14B））に対して REGATE を評価しました。

効率性の向上

• トークン削減: REGATE は、標準的なトレーニングと比較して平均して**38%**のトークンのみを使用してピーク精度を達成します。
• トレーニング速度: MVBench ベンチマークにおいて、ベースラインのピーク精度に到達する時間が2 倍速くなります。
• リソース節約:
  • VideoLLaMA2: 積極的なプルーニングにより、精度を維持しながらトレーニング時間を 129.6 GPU 時間から 64.0 GPU 時間に削減。
  • InternVL3.5: トークン使用量を**41.4%**削減し、トレーニング時間を約 40% 削減しながら、ベースライン精度を上回る性能を達成。
  • メモリ: 全モデルで、GPU 当たりの平均メモリ使用量を 7〜8 GB（約 10〜11%）削減。

性能精度

• ベースラインの超越: 延長されたトレーニングにより、REGATE モデルは複数のベンチマークで標準的なベースラインを一貫して上回りました。
  • 例: VideoLLaMA2-REGATE は、41% 少ないトークンを使用しながら、ScienceQA の精度を19.1%向上させ、MME を33.1 ポイント向上させました。
  • 例: InternVL3.5-REGATE は、Video-MME および MLVU ベンチマークで、著しく少ないトークンでより高い精度を達成しました。
• 汎化性: この手法は、異なるバックボーン（Mistral、Qwen）およびトレーニング戦略（フルファインチューニング、LoRA）全体で効果的であることが証明されました。

5. 意義と結論

REGATE は、MLLM のスケーリングにおける重要なボトルネック、すなわち長いマルチモーダルシーケンスに対するトレーニングの計算コストに対処します。

• パラダイムシフト: トークン効率を推論時のみの懸念事項からトレーニング時の最適化へと移行させ、最も情報豊富なデータポイントに計算を集中させることで、モデルがより良く（高精度で）、速く学習できることを実証しました。
• 実用性: アーキテクチャの変更や追加の学習可能パラメータを必要としないため、REGATE は限られたハードウェアでより大きなモデルをトレーニングしたい研究者や実務家向けのドロップインソリューションを提供します。
• 将来の課題: 著者らは、将来の方向性として、タスクの複雑さに基づく適応的スパース性スケジュールの策定や、より複雑な推論タスクのためのより強力な教師モデルの探求を提案しています。

要約すると、REGATE は MLLM トレーニングにおいて**「少ないことは多いこと」**を実証しています：冗長なトークンをインテリジェントにスキップすることで、モデルはより速く収束し、メモリを消費せず、最終的に優れたマルチモーダル理解を達成します。