技術概要：拡散ベースのマルチモーダル大規模言語モデルのための視覚冗長性制御並列デコーディング

1. 問題定義

拡散ベースのマルチモーダル大規模言語モデル（dMLLM）は、視覚入力に基づいて、複数のマスクされた位置を反復的に並列デコードすることでテキストを生成する。トークンごとにプレフィックスを拡張する自己回帰モデルとは異なり、dMLLM は各デコーディングステップにおいて、どのマスクされた位置のサブセットを「コミット」（マスク解除）して後続のステップの文脈とするかを選択しなければならない。

既存のデコーディング戦略、主に信頼度ベースデコーディングは、予測されたトークン確率が最も高い上位 K 個の位置を選択する。効率的である一方で、このアプローチは各位置を独立して扱う。著者らは、マルチモーダル設定において視覚冗長性という重要な限界を特定した。同じステップで選択された高信頼度トークンは、重複する視覚的グラウンディング（すなわち、同じ画像領域や物体に注意を向ける）に依存している可能性がある。そのようなトークンを同時にコミットすると、補完的な手がかりではなく冗長な視覚的文脈が提供され、多様な視覚情報を必要とする残りのマスクされた位置の解決能力が低下する可能性がある。この冗長性は、生成されたテキスト内の意味的反復や入力視覚トークン内の冗長性とは区別される。これは、同時にマスク解除されるテキストトークン間の視覚的グラウンディングの重複を特指する。

2. 手法

2.1 視覚冗長性指数（VRI）

コミットされたトークン間の視覚的グラウンディングの重複の程度を定量化するために、著者らは**視覚冗長性指数（VRI）**を導入した。

• 定義: ステップ $t$ におけるコミットされた位置の集合 $S_t$ が与えられたとき、VRI はトークンから画像への注意の重なりを測定する。
• メカニズム: 各画像トークン $u$ について、コミットされたトークンによって割り当てられた総注意重みが計算される。単一の最大寄与分が差し引かれ、追加のトークンによって割り当てられた「冗長」な重みが分離される。
• 数式:
  $$\text{VRI}(S_t) = \frac{\sum_{u=1}^{N} (\sum_{i \in S_t} v_i(u) - \max_{i \in S_t} v_i(u))}{m - 1}$$
  ここで、$v_i(u)$ はテキストトークン $i$ の画像トークン $u$ に対する正規化された注意であり、$m = |S_t|$ である。VRI が低いほど、視覚的冗長性が少ないことを示す。

2.2 視覚冗長性制御デコーディング（VRCD）

著者らは、モデルの重みを変更することなく視覚的冗長性を軽減するように設計された、トレーニング不要の推論時デコーディング手法であるVRCDを提案する。VRCD は軽量な再ランク付けメカニズムとして機能する。

1. 候補ウィンドウの構築: すべてのマスクされた位置を評価する代わりに、VRCD は初期信頼度スコアに基づいて上位 $M_t$ 個の位置を含む候補ウィンドウ $U_t$ を構築する。ここで、$M_t$ はコミットサイズ $K_t$ とスケーリング因子 $\lambda$ の関数である。
2. 視覚的顕著性の抽出: 各候補について、最終デコーダ層からの正規化されたトークンから画像への注意を抽出する。ノイズを低減するため、均一成分（$1/N$）が差し引かれ、正の残差注意重みのみが保持されて再正規化される。
3. ペアワイズ重なり計算: 候補の各ペア $(i, j)$ 間の視覚的重なりは、それらの顕著性分布の交差（例：$\sum \sqrt{q_i(u)q_j(u)}$）を使用して計算される。
4. 冗長性スコアの計算: 重なりは現在のウィンドウ内のパーセンタイル順位に変換される。トークンレベルの冗長性スコア $r_i$ は、他の可能性のある候補との重なりに対する信頼度加重和として計算される。これにより、高信頼度の隣接トークンと重なるトークンがより強くペナルティを受けることが保証される。
5. 再重み付け: 元の信頼度スコア $c_i$ は、冗長性制御スコア $s_i$ を形成するように再重み付けされる。
   $$s_i = c_i (r_i + 1)^{-\alpha}$$
   ここで、$\alpha$ は冗長性ペナルティの強度を制御する。
6. 選択: 最も高い $s_i$ を持つ上位 $K_t$ 個の位置がコミットされる。このプロセスは、視覚的に補完的なグラウンディングを提供する高信頼度トークンを優先する。

3. 主な貢献

• 視覚冗長性の特定: 並列デコーディングステップにおいて、個別的に信頼性の高いトークンが重複する視覚的グラウンディングに依存するという現象を特定し、形式化した。これは、dMLLM デコーディング戦略において以前は見落とされていた要因である。
• VRI 指標: デコーディングステップ全体にわたる視覚的グラウンディングの重なりを体系的に定量化・分析するための視覚冗長性指数（VRI）の導入。
• VRCD アルゴリズム: トークンから画像への注意を利用して視覚的に補完的な位置を優先し、信頼度ベースデコーディングの効率を維持しながら冗長性を低減する、軽量でトレーニング不要の再ランク付け手法の提案。

4. 実験結果

この手法は、5 つのマルチモーダルベンチマークで評価された。M3CoT（多段階推論）、MMBench（一般ビジョン言語）、SQA-IMG（科学 QA）、DocVQA、およびInfoVQAである。使用されたバックボーンモデルはLaViDa（LLaDA-8B ベース）である。

• 性能向上: VRCD は、さまざまなデコーディング長さ（$L=192, 384$）および前方比（FR）において、信頼度ベースデコーディングおよび他のベースライン（Margin, Entropy, InfoGain）を一貫して上回った。
  • M3CoTにおいて、VRCD は信頼度ベースデコーディングに対して最大**18.8%**の相対精度向上を達成した。
  • MMBenchでは、向上は**6.9%**に達した。
  • 改善は、短答タスク（DocVQA, InfoVQA）と比較して、長距離マルチモーダル推論を必要とするタスク（M3CoT, MMBench, SQA-IMG）で最も顕著であった。
• 冗長性の低減: VRCD は、ベースラインと比較してすべてのデコーディングステップにおける平均 VRI を大幅に低下させ、重複する視覚的グラウンディングを持つトークンを選択する能力を確認した。
• 予測確実性: この手法は残りのマスクされた位置のエントロピーを低減し、将来のステップに対する予測確実性の向上を示した。
• 効率性: VRCD は最小限のランタイムオーバーヘッド（ランタイムの約**1.5%**の増加）を導入し、ニアベースラインのスループット（トークン/秒）を維持した。これに対し、InfoGain などの他の高度な手法ははるかに高い計算コストを要した。
• アブレーション研究:
  • ハイパーパラメータ $\alpha$（冗長性ペナルティ強度）は、M3CoT では $\alpha=1.5$、MMBench では $\alpha=2.0$ で最適性能を示した。ベンチマーク全体では固定された中程度の設定が使用された。
  • 冗長性スコアの信頼度加重集約は、均一平均を上回った。
  • 視覚的顕著性抽出（VSE）は、効果的な重なり推定に不可欠であることが示された。

5. 意義と主張

本論文は、視覚冗長性が視覚的グラウンディングを有する dMLLM における並列デコーディングにとって重要でありながら、以前は対処されていなかったシグナルであると主張する。「どの個々のトークンが最も信頼できるか」から「どのトークンのセットが補完的な視覚的グラウンディングを提供するか」というデコーディング決定へシフトすることで、VRCD は後続のステップのための生成された文脈の品質を向上させる。

著者らは、VRCD がモデルの再トレーニングや大幅な計算オーバーヘッドを必要とせずにデコーディング品質を向上させるプラグイン型、トレーニング不要の手法であることを強調している。この研究は、並列コミット中の視覚的グラウンディングの多様性を管理することが、拡散ベースのマルチモーダル生成の効率と精度を最大化するために不可欠であることを示唆している。今後の研究として、視覚的冗長性シグナルに基づいてコミットサイズを動的に調整する適応的デコーディングスケジュールの探求が提案されている。