💬 NLP

VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation

本論文は、マルチモーダルなオンポリシー蒸留における混合された教師信号から視覚的に帰属可能な修正を分離し、既存の手法を凌駕する、より効果的でエビデンスに整合した学習ターゲットを再構成するための反事実的アルゴリズムであるVisual Attribution Distillation（VAD）を導入するものである。

原著者： Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

公開日 2026-07-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kangning Zhang, Yixing Li, Shuai Shao, Qingyao Li, Zhengxi Lu, Zhiyuan Yao, Jianghao Lin, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに探偵のやり方を教えていると想像してみてください。そこには、犯罪現場を完璧に見通すことができる、非常に賢い先生がいます。そして、その事件を解決する方法を学ぼうとしている学生ロボットがいます。先生は手がかりを見て、「容疑者は赤い帽子を被っています！」と言います。しかし、時々、先生の脳内は少しノイズだらけになります。例えば、先生は「容疑者は赤い帽子を被っています。それと、私は赤い帽子が大好きです。それから、今日はいい天気ですね」とも考えているかもしれません。もしあなたが先生の言葉をそのまま正確にコピーしてしまうと、学生は「赤い帽子」と言うことは覚えるかもしれませんが、誤って天気や先生の好みの色についても話し始めてしまうかもしれません。これが「ソース混在（source-mixed）」情報の問題です。学生は、正しい答えと、それ以外の紛らわしいノイズが混ざったものを受け取ってしまうのです。

人工知能の世界、特にマルチモーダル大規模言語モデル（画像とテキストの両方を理解できるAI）において、研究者たちはモデルにより視覚的な細部に注意を払わせようとしています。その一般的な手法の一つが「オンポリシー蒸留（On-Policy Distillation）」と呼ばれます。これは、学生ロボットがパズルを解こうとしている状態で、学生が詰まったり推測したりするたびに、先生が（より鮮明な視界で）同じパズルを見つめ、学生の次の動きを修正するようなものです。目標は、正しい道を示すことで学生をより賢くすることです。しかし、もし先生の修正が「この特定の詳細を見なさい」という指示と「ただの個人的な意見」が混ざり合った混乱したものである場合、学生は混乱してしまう可能性があります。だからこそ、研究者は、先生のアドバイスのどの部分が視覚的な証拠（画像）に基づいているのか、そしてどの部分が先生自身の習慣や言語的なトリックに過ぎないのかを正確に知る必要があるのです。

ここで、VAD（Visual Attribution Distillation：視覚的属性蒸留）と呼ばれる新しい手法が登場します。これは、先生のアドバイスに対する「真実のフィルター」として機能します。学生の現在の推測を盲目的にコピーする代わりに、VADは巧妙な「もし〜だったら？」という問いを投げかけます。それは、学生の現在の推測を取り上げ、先生に二つのことを尋ねます。「もし完全で鮮明な画像を見せたら、あなたは何と言いますか？」そして「もし今話している特定のヒントをぼかして隠したら、あなたは何と言いますか？」これら二つの答えを比較することで、VADは、先生のアドバイスが視覚的なヒントによってどれだけ変化したかを正確に計算することができます。

先生が学生のスープのレシピを修正しているシェフだと想像してみてください。先生は「塩を足してください。それと、スープは青いボウルに入れて出す必要があります」と言います。VADは、次のような魔法のテストです。「もし青いボウルを隠したら、先生はまだ『塩を足せ』と言うでしょうか？」もし、青いボウルがなくても先生が「塩を足せ」と言い続けるなら、VADは「青いボウル」というコメントが視覚的な必然性ではない、単なる余計な雑談であると判断します。VADは、その「青いボウル」の部分を削ぎ落とし、「塩を足せ」という部分だけを残します。こうして、画像が実際に証明していることに純粋に焦点を当てた、よりクリーンで鋭いレッスンを再構築するのです。

研究者たちは、このアイデアを二つの異なるサイズのAIモデル（40億パラメータのものと90億パラメータのもの）を用い、高解像度写真の微細な詳細を見つけることから、複雑な現実世界のシーンにおける物体認識に至るまで、6つの異なる視覚的パズルを用いてテストしました。その結果、VADは従来の手法よりも大幅に優れていることが分かりました。40億モデルでは、次に優れた手法と比較して平均精度が約2.4ポイント向上し、90億モデルでは2.8ポイント向上しました。実際、VADで訓練された小さな40億モデルは、より巨大でコストのかかる一部のクローズドソースのモデルよりも高い性能を示しました。

この論文は、「視覚的な証拠」を「先生のノイズ」から分離することで、AIは画像をもっと信頼し、先生の習慣をあまり信じなくなることを示唆しています。学生が間違い（例えば、模様が「市松模様」ではなく実際には「ストライプ」だった場合など）を犯したとき、VADは視覚的なヒントを用いて、学生を間違った答えから正しい答えへと押し出すことに特に長けていました。この研究は、「反事実的（counterfactual）」なアプローチ、つまり証拠がある場合とない場合を比較するという手法が、単に先生の不完全で乱雑な修正をコピーするよりも、はるかに優れた学習ターゲットを生み出すことを示しています。この手法は完璧な魔法の杖ではありません（依然として単一のペアのビューに依存しており、あらゆる種類のノイズを完全に分離できるわけではありません）が、その結果は、先生のアドバイスをフィルタリングして再構築するという方法が、AIの視覚をより鋭く、より信頼性の高いものにするための強力な新ツールであることを強く示唆しています。

技術要約：マルチモーダル・オンポリシー蒸留のための視覚的属性蒸留 (Visual Attribution Distillation: VAD)

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、微細な知覚エラー（例：単語の見落としや空間関係の読み間違い）によって、生成プロセス全体の軌道を狂わせてしまうことがよくあります。**オンポリシー蒸留（On-Policy Distillation: OPD）**は、より優れた視覚的証拠（高解像度のクロップ画像など）にアクセスできる「特権ビュー（privileged-view）」を持つ教師モデルを用いて、学生が生成した軌道を監督することでこの問題に対処します。

しかし、現在の特権ビューを用いたOPD手法は、**ソース混在型の修正（source-mixed corrections）**という問題を抱えています。教師が学生のトークンを修正する際、その修正は以下の要素が混ざり合ったものになります：

視覚的信号： 特権ビューから導出された証拠。
言語的事前分布： 一般的な言語パターン。
教師固有の効果： 教師モデル特有の癖。

既存のアプローチは、教師による修正のどの部分が実際に視覚的証拠に裏付けられているのかを区別できていません。

Vision-OPD は、教師の完全な分布を直接蒸留するため、ソース混在型のノイズまで転移させてしまいます。
VA-OPD や V-Zero は、「視覚的優位性（visual advantage）」を用いてトークンや軌道に重み付けを行いますが、ターゲットを「何が証拠を支持しているか」に基づいて再構成するという点では失敗しています。決定的なことに、正の視覚的優位性指標は、誤ったトークンを抑制（refutation）することはできても、必ずしも正しいトークンを促進するわけではないという動態を、標準的な優位性指標では効果的に捉えきれません。

核心となる課題は、教師の修正のうち、どのコンポーネントが単なる「どこで」「どの程度強く」蒸留するかではなく、制御された視覚的介入に起因するものかを推定することです。

2. 手法：視覚的属性蒸留 (VAD)

VADは、視覚的に属性付け可能な教師の修正を分離するための、**反事実的ターゲット再構成アルゴリズム（counterfactual target-reconstruction algorithm）**を導入します。この手法は、固定された教師と学生ポリシーを用いて学習中に動作しますが、推論時には補助的なビューを必要としません。

2.1 反事実的オンポリシー・ビュー

すべての学生生成プレフィックス $y_{<t}$ に対して、VADは以下の3つの条件下で同一の固定教師にクエリを投げます：

学生ビュー ( $p^0_S$ ): 完全な画像 $x^0$ を与えられたときの学生の分布。
証拠存在ビュー ( $p^+_T$ ): クロップされた証拠豊かなビュー $x^+$ を与えられたときの教師の分布。
証拠除去ビュー ( $p^-_T$ ): 低劣化または除去されたビュー $x^-$ を与えられたときの教師の分布。

2.2 介入プロキシによる属性付け

VADは、中心化された対数確率の空間において2つのベクトルを定義します：

教師の修正 ( $r_t$ ): 特権教師 ( $p^+_T$ ) と学生 ( $p^0_S$ ) の差。
視覚的証拠プロキシ ( $u_t$ ): 証拠存在ビューと証拠除去ビューの教師の差 ( $p^+_T - p^-_T$ )。

ベクトル $u_t$ は、視覚的証拠の方向を示す符号付きプロキシとして機能します。正の値は証拠がトークンを支持していることを示し、負の値は証拠がそれを反駁（refute）していることを示します。

2.3 ターゲット再構成

教師の分布全体を一致させるのではなく、VADは元の修正 $r_t$ を視覚的プロキシ $u_t$ に投影することで、新しいターゲットを再構成します：

分解： 修正を、視覚的に属性付けされたコンポーネント ( $r^{vis}_t$ $r_{t}^{v i s}$ ) と残差 ( $r^{res}_t$ $r_{t}^{r es}$ ) に分割します。
- $r^{vis}_t = \beta_t u_t$ （ここで、 $\beta_t$ は視覚的方向との一致のみを保持することを保証する非負の係数）。
- $r^{res}_t = r_t - r^{vis}_t$ （これは混合された残差として扱われ、純粋に言語的とは限りません）。
支持と反駁の分岐： 手法は、支持（positive $u_t$ ）ブランチと反駁（negative $u_t$ ）ブランチを分離します。そして、「視覚的修正予算」をこれらのブランチに割り当て、不確かな証拠が支配的にならないよう、支持側のシェアを制限します。
学生にアンカーされたターゲット： 最終的なターゲット $q^{VAD}_{T,t}$ は、教師の分布ではなく、学生の現在の分布 ( $p^0_S$ ) に対して精緻化された符号付き視覚シフトを適用することで構築されます。これにより、ターゲットは視覚的に支持されたトークンのみを修正しながら、学生の状態にアンカーされたままになります。

2.4 学習目的関数

主要な監督信号は、学生と再構成されたターゲット ( $q^{VAD}_{T,t}$ ) の間のイェンセン・シャノンダイバージェンス（JSD）です。

弱い正則化項： 視覚的修正のみに集中することによる言語ドリフト（例：不安定なフォーマットや長さの変化）を防ぐため、元の特権教師の分布から派生した弱い正則化項が追加されます。これにより、視覚的再構成を上書きすることなく、意味論とフォーマットを固定します。

3. 主な貢献

ソース混在型制限の特定： 本論文は、直接的な教師マッチングや正の視覚的優位性の重み付けが、制御された視覚的介入によって支持される修正コンポーネントを明示的に推定できていないことを明らかにしました。
VADアルゴリズム： 以下の機能を持つ手法の導入：
- 視覚的証拠の方向を示すプロキシの構築。
- 教師の修正を、視覚的に属性付けされたコンポーネントと残差に分解。
- 支持と反駁を分離した、学生にアンカーされたターゲットの再構成。
実証的検証： 4Bおよび9Bパラメータスケールにおいて、6つの詳細な視覚ベンチマークで一貫した性能向上を示し、直接的な蒸留や視覚的優位性の重み付けを上回る結果を得ました。

4. 実験結果

著者らは、Qwen3.5-4B および Qwen3.5-9B モデルを用いて、6つのベンチマーク（V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN）でVADを評価しました。

性能向上： VADは両方のスケールにおいて最高の平均精度（Avg6）を達成し、スケールが一致する最良のベースラインを、4Bで2.40ポイント、9Bで2.80ポイント上回りました。
SOTAとの比較： 4BのVADチェックポイントは、Gemini 3 Flash、Gemini 3.1 Pro、および397BのQwen3.5を含む、より大規模なモデルを大幅に凌駕しました。
意味論的分析： 分解分析により、属性付けされたコンポーネント ( $r^{vis}_t$ ) は視覚的属性、物体、および決定用トークン（例：「垂直」、「金属」、「A/B/C/D」）に富んでいる一方で、残差コンポーネント ( $r^{res}_t$ ) は言語的な足場（scaffolding）やメタコンテンツを含んでいることが確認されました。
汎化性能： 学習後の汎化性能を低下させることがある他のポストトレーニング手法とは異なり、VADは保持されたタスク（MMVP, CV-Bench, MMStar, POPE）においても性能を維持またはわずかに向上させており、視覚的な特化が広範な能力を犠牲にしていないことを示しました。
アブレーション研究：
- ターゲット再構成： ブランチ認識型の再構成は、正則化なしの一方向投影と比較して最大の利得（+1.00ポイント）をもたらしました。
- 正則化： 弱い教師アンカーは、出力フォーマットと長さを安定させるために極めて重要でした。
- ダイバージェンス： JSDは、Forward KLやReverse KLと比較して、最もバランスの取れたデフォルトのダイバージェンスであることが判明しました。

5. 意義と主張

本論文は、マルチモーダルOPDにおいて、反事実的ターゲット再構成が、ソース混在型の監督に代わるより効果的な選択肢であることを主張しています。視覚的証拠に対して修正を明示的に属性付けし、学生の分布を中心に学習ターゲットを再構成することで、VADはモデルが教師の混合信号を盲目的に模倣するのではなく、「画像が何を支持しているか」を学習することを保証します。

著者らは、VADを、複雑な推論時探索やツール利用を必要とせずに、パラメータ効率（小規模モデルが大容量モデルを凌駕する）と知覚的グラウンディングを向上させる手法として位置付けています。この手法は、「視覚的修正の属性付け問題」に対する堅牢な解決策であり、特権的な監督からノイズをフィルタリングするための原理的な方法を提供します。

著者が認める限界事項：

視覚的証拠は、一つのビューのペアからの単一の対照的ベクトルによって表現されているため、構成的な証拠にバイアスが生じる可能性があります。
現在の投影は意味論的なエンリッチメント（強化）をもたらすものであり、完全に識別可能な分離を実現するものではありません。属性付けされたコンポーネントには、依然として非視覚的な教師の効果が含まれている可能性があります。