技術的サマリー：見るから考えるへ：知覚と推論の分離による視覚言語モデルのポストトレーニング改善

1. 問題提起

最近の視覚言語モデル（VLM）の進展は、強化学習（RL）技術に駆動されることが多い長連鎖推論（CoT）を強く強調しています。しかし、この研究は重要なボトルネックを特定しています：複雑な視覚タスク（視覚数学、幾何学、図表理解など）における性能は、推論能力ではなく、視覚知覚によって頻繁に制限されています。

著者らは、VLM が視覚的詳細の初期知覚で誤り（幾何学的な角度や物体数の誤認など）を犯した場合、その後の推論ステップがその誤りを修正することは稀であると観察しています。代わりに、モデルは誤った知覚的仮定に基づいて誤りを増幅し、正しい結論に到達できない長大で複雑な推論トレースを生み出します。逆に、知覚が正確であれば、推論は簡潔で、迅速に収束する傾向があります。本論文は、知覚と推論のデータをしばしば統合するか、推論を優先する現在のポストトレーニングパラダイムは、この基礎的な欠陥に対処できていないと主張しています。

2. 手法

提案される解決策は、VLM の能力を 3 つの独立した連続的な段階に分解し、それぞれに専門的なデータセットとトレーニング戦略を用いる段階的ポストトレーニングフレームワークです。

2.1. 能力分解

トレーニングパイプラインは 3 つの段階に分割されます：

1. 視覚知覚: 多段階の推論を必要とせず、微細な視覚的詳細と空間的関係の認識に焦点を当てます。
2. テキスト推論: テキストのみの入力を用いた論理的推論に焦点を当てます。
3. 視覚推論: 正確な知覚と多段階の推論の両方を必要とする複雑なマルチモーダルタスクに焦点を当てます。

2.2. データ合成とキュレーション

• 知覚データ ($D_{perc}$): 微細な画像キャプションである DOCCI データセットから合成されます。LLM がキャプションに基づいて知覚に焦点を当てた質問を生成します。フィルタリング機構は、画像のみを使用する場合はベース VLM が正しく回答できないが、キャプションを提示された場合は成功するサンプルのみを保持します。これにより、制限が純粋に知覚的なサンプルを分離します。
• テキスト推論データ ($D_{text}$): 視覚入力なしで解決可能な難問を含む ORZ-Math-13k から提供されます。
• 視覚推論データ ($D_{vis}$): 知覚と推論の両方を必要とする CLEVR-Math、GeoQA170K、Math PUMA などの複数のオープンソースソースからキュレーションされます。

2.3. トレーニング戦略

• 段階的トレーニング: モデルは、グループ相対方策最適化（GRPO）を用いて、順次（$D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$）トレーニングされます。
  • 段階 1（知覚）: 著者らは、教師あり微調整（SFT）と検証可能報酬を用いた強化学習（RLVR）を比較します。RLVR は、トークンレベルの SFT よりもはるかに頑健に幻覚的な解釈を罰するため、知覚に対して著しく効果的であることが判明しました。
  • 段階 2 と 3: 推論能力を洗練させるために GRPO を利用します。
• ビジョンエンコーダの扱い: 知覚段階ではビジョンエンコーダがアクティブです。その後の段階では、戦略は異なります（例えば、テキスト推論段階ではエンコーダを固定するなど）が、成功の主な要因は段階的なデータ順序です。
• カリキュラム統合: 著者らは、この能力ベースの段階化が、従来の難易度ベースのカリキュラムと直交することを示しています。両者を組み合わせる（各能力段階内で難易度によってデータを順序付ける）ことで、付加的な利益が得られます。

3. 主な貢献

1. 知覚と推論の分離: 本論文は、視覚知覚が視覚推論を洗練させる前に確立されなければならない、独立した基礎的能力であることを確立しています。これらを統合されたタスクとして扱うことは、最適ではない性能をもたらします。
2. 段階的トレーニングパラダイム: 著者らは、統合されたトレーニングを一貫して上回る特定のトレーニング順序（知覚 $\rightarrow$ テキスト推論 $\rightarrow$ 視覚推論）を提案しています。この順序を逆転させる（知覚より先に推論をトレーニングする）と、性能が低下します。
3. 知覚のための RLVR: この研究は、視覚知覚のトレーニングにおいて、キャプションベースの SFT よりも RLVR が優れていることを示しています。これにより幻覚を減少させるより強力なトレーニングシグナルが提供されます。
4. 効率性の向上: このアプローチでトレーニングされたモデルは、より高い精度を達成しながら、推論トレースを大幅に短縮（20.8% 短縮）しており、正確な知覚が初期誤りを修正するための過度な「思考」の必要性を減らすことを示しています。
5. 新しいカリキュラム次元: 本論文は、難易度ベースのカリキュラムに対する補完的なアプローチとして「能力次元カリキュラム学習」を導入し、両方の次元を組み合わせることでさらなる改善が得られることを示しています。

4. 実験結果

実験は Qwen2.5-VL-7B および Qwen3-VL-8B をバックボーンとして行われ、段階的トレーニングを統合トレーニングおよび各種オープンウェイトベースライン（OneThinker、GThinker など）と比較しました。

• 性能向上:
  • 視覚数学: 段階的トレーニングは、統合トレーニングに対して WeMath 精度を Qwen2.5-VL-7B で 5.2%、Qwen3-VL-8B で 1.5% 向上させました。MathVista において、段階的 Qwen3-VL-8B は 75.9% を達成しました。
  • 知覚: このアプローチは、Qwen3-VL-8B で RealWorldQA 精度を 3.7% 向上させ、A-OKVQA や POPE において高い性能を維持し、推論のみのトレーニングでしばしば見られる「知覚税」を回避しました。
  • 全体: 段階的 Qwen3-VL-8B は、ベースモデルおよび推論特化の OneThinker-8B を上回る、記録的な全体平均 65.8% を達成しました。
• 効率性: 段階的モデルは、より高い精度を達成しながら、統合モデルよりも 20.8% 短い推論トレースを生成しました。
• 誤り分析: 外部ジャッジ（Claude-Haiku-4.5）を使用し、著者らは、統合トレーニングと比較して、段階的トレーニングが推論トレース内の知覚誤りの発生率を 3044 サンプル中 857 から 781 に減少させたことを発見しました。
• 一般化: 段階的トレーニングの恩恵は、InternVL3-8B や InternVL3.5-8B などの異なるアーキテクチャでも確認されました。

5. 意義と主張

本論文は、現在の VLM における視覚推論の支配的な制限要因は、推論能力そのものではなく視覚知覚であると主張しています。したがって、「より長い思考」は誤った知覚を補うことはできません。

この研究の意義は以下の点にあります：

• パラダイムシフト: 統合されたトレーニングから、能力を分離した段階的アプローチへの移行。
• 方法論的洞察: トレーニングの順序が重要であることを証明すること；知覚は推論の足場でなければならない。
• トレーニング効率: より良い知覚がより効率的な推論（より短いトレース）につながり、計算コストを削減することを示すこと。
• カリキュラム設計: 付加的な利益を得るために組み合わせることができる、難易度ベースのカリキュラムに対する新しい直交次元としての能力ベースの段階化を確立すること。

著者らは、高度で汎用的な VLM を開発し、複雑な視覚タスクを確実に解決するためには、専門的な知覚データを段階的トレーニングパラダイムに統合することが不可欠であると結論付けています。