💻 computer science

On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training

本論文は、視覚言語モデルが知覚よりも推論をより改善するポストトレーニングのボトルネックを特定し、教師あり微調整と強化学習におけるこの非対称性の明確な原因を明らかにする診断フレームワークを導入することで対処し、動的損失再重み付けや知覚を考慮した報酬といった標的介入を提案して、エンドツーエンドのパフォーマンスを大幅に向上させることを目指す。

原著者： Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xueqing Wu, Yu-Chi Lin, Kai-Wei Chang, Nanyun Peng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を平易な言葉と創造的な比喩を用いて解説したものです。

全体像：「賢いが盲目」な学生

あなたが、写真を見てそれに基づいた論理パズルを解くという非常に難しい試験を受ける、非常に優秀な学生を持っていると想像してください。

最近、教師たち（研究者）は、これらの学生を推論（論理パズルを解くこと）においてより得意にするために、特別な訓練方法を用いてきました。その結果、学生たちは数学や論理の分野で驚くほど賢くなりました。

しかし、この論文は奇妙な問題を発見しました。学生たちは「考える」ことについては賢くなっていますが、「見る」ことについては全く上達していないのです。実際、彼らは画像を「幻覚」のように見たり、誤って解釈し始めたりしています。まるで、犯罪解決の天才である探偵が、写真の中の容疑者を繰り返し誤って特定してしまうようなものです。

著者たちはこれを**「非対称最適化」**と呼んでいます。訓練は脳の「考える」部分を強く優先し、「見る」部分を軽視しているのです。

実験：管理された教室

なぜこれが起こっているのかを突き止めるため、研究者たちは現実世界の写真（汚れており、完璧に採点するのが難しい）を使うことはできませんでした。代わりに、彼らは 2 つの特定のゲームを用いたデジタルの砂場を構築しました。

グラフ彩色：点と線でつながったウェブの画像です。課題は、つながった 2 つの点が同じ色にならないように点を塗り分けることです。
数独：数字のグリッドの画像で、これを正しく埋める必要があります。

これらはコンピュータ生成だったため、研究者たちは画像がどう見えるか（知覚）と、それを解くための正確な論理（推論）の両方について、正確な正解を知っていました。これにより、彼らは 2 つのスキルを分離し、学生がどこで失敗しているかを正確に把握することができました。

彼らは 2 種類の訓練をテストしました。

SFT（教師あり微調整）：教師が学生に正解の解答例を見せ、「これを暗記しなさい」と言うようなものです。
RL（強化学習）：ビデオゲームのように、学生が最終スコアを正しく取った場合のみポイントが与えられ、教師は「どこが間違っていたか」を教えないようなものです。

発見：2 つの異なる犯人

研究者たちは、両方の訓練方法が「見る」問題を引き起こしましたが、その理由は異なっていたことを発見しました。

1. SFT の問題：「量」の問題

比喩：学生が長いエッセイを書いていると想像してください。教師はエッセイを単語の総数に基づいて採点します。

学生はエッセイの 95% を論理の説明（推論）に費やします。
学生はエッセイの 5% しか画像の説明（知覚）に費やしません。

何が起きたか：「知覚」の部分が非常に短かったため、教師からのフィードバック（訓練信号）はその部分に対して非常に弱かったのです。学生は論理を完璧に学びました（95% の注目を浴びたため）が、画像の説明の仕方はほとんど学びませんでした（5% の注目にしかならなかったため）。

解決策：研究者たちは損失の再重み付けを試みました。これは教師に「説明が短くても、これをエッセイの 50% とみなして採点しなさい」と伝えるようなものです。

結果：モデルに「見る」部分により多くの注意を払うよう強制したところ、学生は画像を見ることとパズルを解くことの両方で大幅に上達しました。総合スコアは最大で18.2 ポイント向上しました。

2. RL の問題：「ノイズの多い報酬」の問題

比喩：学生がビデオゲームをしていると想像してください。彼らは最後の最後にのみ「ゲームオーバー」または「勝利」の画面を受け取ります。特定の動きに対してポイントが与えられるわけではありません。

学生が画像を間違えて推測しても、運良くパズルを解ければ、それでも「勝利」画面が現れます。
学生が画像を完璧に見ていても、小さな論理ミスを犯せば「ゲームオーバー」になります。

何が起きたか：「勝利」の信号（報酬）は論理（推論）とは強く結びついていましたが、画像の説明（知覚）とは非常に弱く結びついていました。モデルは学習しました。「画像を完璧に見る必要はない。論理を推測するのが上手ければいいのだ」と。画像を見るための信号は、学習するにはノイズが多すぎました。

解決策：研究者たちは報酬の拡張を試みました。最終的な論理が間違っていたとしても、画像を正しく説明した場合のみ、特別な「ボーナスポイント」を加えるようにしたのです。

結果：これによりモデルに視力を向上させる明確な信号が与えられました。総合スコアは最大で6.0 ポイント向上しました。
追加の発見：さらに、完璧な「ボーナスポイント」（正解）がない場合でも、「代理」報酬（より賢い AI に画像の説明を採点させるなど）を使用できることがわかりました。報酬の粗い推定であっても、スコアを3.2 ポイント向上させるのに役立ちました。

トレードオフ：バランスの取れた秤

この論文はまた、微妙なバランスも発見しました。

モデルに「見る」ことにあまりにも集中させると、「考える」ことが悪化します。
「考える」ことにあまりにも集中させると、「見る」ことが悪化します。

最適な点は、「見る」部分を適度に上書きすることによって見つかりました。論理を無視したくはないですが、視覚部分を後回しにしてはいけません。

要点のまとめ

問題：現在の AI 訓練は、モデルを推論においては優れさせますが、知覚においては劣らせます。これにより、モデルが入力を正しく「見ることができない」ために問題を解決できないというボトルネックが生じています。
原因（SFT）：答えの「見る」部分が短すぎるため、標準的な訓練中に無視されてしまいます。解決策：採点においてより重み付けをします。
原因（RL）：最終スコアは、モデルが画像を正しく見たかどうかではなく、最終的な答えが合っていたかどうかだけを伝えます。解決策：画像を正しく見るための具体的な報酬を追加します。
結果：これらの特定の不均衡を修正することで、モデルはタスク全体（エンドツーエンドのパフォーマンス）で著しく向上し、「考える」ことだけを訓練すれば「見る」ことも自動的に向上すると期待してはならないことが証明されました。

技術的サマリー：視覚言語モデルの事後学習における推論と知覚の非対称的最適化

1. 問題提起

事後学習技術、特に教師あり微調整（SFT）と強化学習（RL）は、最先端の視覚言語モデル（VLM）の推論能力を大幅に向上させてきた。しかし、これらの向上は知覚能力には比例的に反映されていない。最近の研究では、事後学習が知覚性能の向上を限定的なものにし、あるいはむしろ低下させる可能性が示されており、これがエンドツーエンドの視覚推論におけるボトルネックとなっている。本研究が取り組む中心的な問いは以下の通りである：なぜ事後学習は知覚よりも推論を不均衡に優先するのか、また、この非対称性をどのように緩和できるのか？

著者らは、知覚エラーが高度な推論の有効性を深刻に制限すると主張する。これを調査するため、著者らは知覚と推論を分離し、各コンポーネントを独立して評価・最適化することを可能にする、制御された診断フレームワークを導入する。

2. 手法

2.1 制御された診断フレームワーク

著者らは、モデルの出力内で知覚（ $p$ ）と推論（ $r$ ）を分離するように設計されたフレームワークを提案する。

分離された出力: 出力シーケンスは $y = [p, r]$ として構造化される。ここで、 $p$ は視覚情報のテキスト転写であり、 $r$ は推論プロセスである。これらは特殊トークンによって区切られ、「知覚先行・推論後行」の順序が強制される。
評価指標:
- 知覚精度（ $a_p$ ）: モデルが生成した知覚 $p$ を、真の基準となる表現 $p^*$ と比較することで測定される。
- 反事実的推論精度（ $a_r$ ）: 知覚エラーから推論能力を分離するため、モデルは真の知覚 $p^*$ に条件付けられて推論 $r'$ を生成する。精度は $Acc(r' | p^*)$ として測定される。
- エンドツーエンド精度（ $a$ ）: 完全なパイプラインの標準的な精度である。
合成タスク: 真の基準アノテーションとプログラムによる評価を確保するため、著者らは 2 つの合成タスクを利用する。
1. グラフ彩色（GC）: グラフの画像を入力とする。 $p^*$ は辺のリストであり、正解には有効なノード彩色が必要である。
2. 数独: グリッドの画像を入力とする。 $p^*$ は部分的に埋められたグリッドであり、正解には有効な解が必要である。
  これらのタスクは、テキストベースの問題からプログラム的にレンダリングされ、基準となる $p^*$ を維持する。

2.2 学習パラダイム

本研究は、2 つの主要な事後学習手法を評価する。

教師あり微調整（SFT）: 出力シーケンス全体にわたるトークン平均の交差エントロピー損失を最適化する。
強化学習（RL）: エンドツーエンド精度を主要な報酬信号として用いる、グループ相対方策最適化（GRPO）を使用する。

2.3 仮説化されたメカニズムと介入

著者らは、この非対称性を駆動する 2 つの特定のメカニズムを調査する。

仮説 1: トークン不均衡（SFT）
- メカニズム: 思考の連鎖（CoT）監督において、知覚トークンは推論トークンと比較して、出力全体の占める割合が著しく小さい。SFT はトークン平均の損失を使用するため、知覚には弱い最適化信号しか届かない。
- 介入: 損失の再重み付け。 SFT 損失を $L_{SFT, \lambda} = \lambda \frac{L_p}{|p|} + (1-\lambda) \frac{L_r}{|r|}$ に変更する。ここで $\lambda$ は知覚トークンの重みを増大させる。また、勾配ノルムに基づく動的なマルチタスクバランス手法である NGDiff もテストする。
仮説 2: 報酬の結合（RL）
- メカニズム: 結果報酬（エンドツーエンド精度）は、知覚の正しさよりも推論の正しさとは強く相関する。知覚は、その後の推論も正しければ初めて報酬に影響を与えるため、知覚に対するクレジット割り当てがノイズまみれになったり、整合性を失ったりする。
- 介入: 報酬の増強。 報酬関数を $R_\alpha(y|x) = \alpha \cdot a_p + (1-\alpha) \cdot a$ に変更し、明示的に知覚信号を追加する。また、真の知覚報酬が利用できないシナリオに対して、代理報酬（CLIP 類似度、自己報酬、教師ベースの報酬）も評価する。

3. 実験結果

3.1 実証的設定

実験は、GC と数独タスクを用いて Qwen3-VL-2B と InternVL3.5-2B で実施された。データセットには、タスクごとに 2,000 の SFT 学習インスタンスと 16,000 の RL 学習インスタンスが含まれていた。

3.2 SFT に関する知見

非対称性の確認: 標準的な SFT は推論精度を大幅に向上させるが、知覚精度の向上は最小限にとどまる。
トークン不均衡の検証: 分析により、CoT 痕跡において知覚が占めるトークンは約 2.5% であり、総損失のわずか 1.3%、勾配ノルムの 8.5% に寄与していることが明らかになった。
介入の有効性:
- 知覚の重み（ $\lambda$ ）を増加させると知覚精度は向上するが、過度な重み付けが推論を損なうトレードオフが生じる。
- 最適なバランス: エンドツーエンド精度は、知覚を中程度に上乗せした時点でピークに達する。
- 結果: 損失の再重み付けは、標準的な SFT に対してエンドツーエンド精度を 10.0–13.8 ポイント 向上させた。動的な NGDiff 手法はこれをさらに改善し、手動のハイパーパラメータ調整なしで最大 18.2 ポイント の向上を達成した。

3.3 RL に関する知見

非対称性の確認: RL もまた、知覚よりも推論をより多く向上させる。
トークン不均衡の却下: SFT と異なり、RL 目的におけるトークン確率の再重み付けは非対称性を緩和せず、むしろ学習を不安定化させることが多かった。これは、トークン数が RL における主要な駆動因子ではないことを示している。
報酬結合の検証: ピアソン相関分析により、結果報酬は推論と強く相関（ $r \approx 0.65\text{--}1.00$ ）するが、知覚とは弱く相関する（ $r \approx 0.34\text{--}0.43$ ）ことが示された。
介入の有効性:
- 報酬の増強: 知覚報酬（ $\alpha > 0$ ）を追加すると知覚精度が向上する。SFT と同様にトレードオフが存在するが、エンドツーエンド性能は非ゼロの $\alpha$ でピークに達する。
- 結果: 報酬の増強は、標準的な RL に対してエンドツーエンド精度を最大 6.0 ポイント 向上させた。
- 代理報酬: 真の知覚報酬が利用できない場合、教師ベースの報酬（より強力なモデルを用いて $p^*$ を生成する）が最も信頼性の高い信号を提供し、3.2 ポイント の改善をもたらした。CLIP ベースの類似度は無視できる程度の信号しか提供しなかった。

4. 主要な貢献

診断フレームワーク: 合成タスクを用いた制御されたフレームワークを導入し、VLM の事後学習における知覚と推論を分離して独立して評価可能にした。
メカニズムの特定: SFT と RL の両方で一貫した知覚 - 推論の非対称性を特定し、その原因を SFT におけるトークン不均衡 と RL における報酬結合 という異なるメカニズムにまで遡って同定した。
ターゲットを絞った介入: 特定の、パラダイムを考慮した介入がこれらのコンポーネントを再バランスできることを実証した。
- SFT: 損失の再重み付け（静的、または NGDiff による動的）。
- RL: 知覚を考慮した報酬増強（真の基準または信頼性の高い代理を使用）。
- これらの介入により、エンドツーエンドの視覚推論性能は、SFT で最大 18.2 ポイント、RL で 6.0 ポイント 向上した。

5. 意義と主張

本論文は、観測された非対称性がモデル固有のアーティファクトではなく、デフォルトの事後学習目的の根本的な帰結であると主張する。著者らは、知覚が依然として支配的なボトルネックであるため、標準的な SFT または RL 目的のみに依存することは、堅牢なエンドツーエンドの視覚推論には不十分であると論じる。

この研究の意義は、この不均衡を緩和するための具体的で実行可能な戦略を提供することにある。特定の失敗モード（SFT におけるトークンの希少性、RL における弱い報酬信号）を診断することで、著者らは将来の VLM 事後学習パイプラインが、損失の再重み付けや知覚を考慮した報酬のような明示的なバランス機構を組み込む必要があると示唆している。これにより、視覚推論の可能性を最大限に引き出すことができる。本研究は、これらの介入が実用的であり、知覚監督や代理信号が利用可能な限り、実世界のパイプラインに統合可能であることを強調している。

限界: 著者らは、本研究が変数を分離するために合成タスク（グラフ彩色と数独）に依存していることを指摘する。この抽象化は、現実世界の多様性における直接のベンチマークを制限するが、複雑で曖昧な実世界のデータでは隠蔽される因果メカニズムを確立するためには必要である。提案されたメカニズム（トークン不均衡と報酬結合）は、事後学習目的の一般的な性質であると論じられており、介入が合成環境を超えて適用可能であることを示唆している。