VisionFoundry: 合成画像を用いた VLM の視覚知覚能力の向上に関する技術的サマリー

本論文「VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images」は、視覚言語モデル（VLM）が抱える「視覚知覚（Visual Perception）」の課題、特に空間理解や視点認識などの低次視覚スキルにおける弱点を、タスク特化型の合成データによって解決する新しいアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

近年の VLM は、テキストと画像の推論において飛躍的な進歩を遂げていますが、MMVPやCV-Benchなどの診断ベンチマークでは、以下の低次視覚スキルにおいて依然として脆弱性が指摘されています。

• 空間的関係性の理解（前後、左右、距離など）
• 視点やパースペクティブの認識
• 深度順序（Depth Order）の理解
• 物体の属性や状態の正確な認識

既存の自然画像データセットは広大ですが、これらの低次スキルに対する体系的な監督信号（Supervision）が不足している可能性があります。また、自然画像から特定の視覚的変種（例：特定の視点からの特定の物体）を網羅的に収集するには、参照画像や高コストな人手によるアノテーションが必要となり、非効率的です。

核心的な問い: 「参照画像や人手による注釈なしに、タスクキーワード（例：'Depth Order'）のみから生成されたターゲット型の合成監督信号によって、これらの弱点を克服できるか？」

2. 手法：VisionFoundry (Methodology)

著者らは、VisionFoundryという、タスク認識型の合成データ生成パイプラインを開発しました。このパイプラインは、参照画像や人手アノテーションを一切必要とせず、大規模言語モデル（LLM）とテキスト生成画像（T2I）モデル、そして強力な VLM を組み合わせた閉ループシステムです。

パイプラインは以下の 3 つの主要フェーズで構成されます（図 2 参照）：

1. タスク認識型生成 (VQA Triplet Generation):

   • 入力: タスク名（例：「空間関係」）のみ。
   • プロセス: LLM（GPT-5.2）が、対象タスクに基づいて「質問（Question）」「回答（Answer）」および「T2I プロンプト」を生成します。
   • 特徴: 回答を決定する視覚的事実を T2I プロンプトに明示的に埋め込むことで、画像と質問の整合性を保証します。また、オブジェクト、属性、シーン、スタイルなどのエンティティプールから体系的にサンプリングし、多様性を確保します。

2. 画像合成 (Image Synthesis):

   • プロセス: 生成された T2I プロンプトに基づき、現代の T2I モデル（Gemini-2.5-Flash-Image）で画像を生成します。
   • 最適化: 生成された画像が意図した視覚的記述と一致しない場合、限定的な反復的な編集（ローカルな修正）を試みます。

3. 整合性検証とフィルタリング (Alignment Verification and Filtering):

   • プロセス: 生成された画像と、回答を決定する視覚的記述（宣言文）の整合性を、強力なプロプライエタリなマルチモーダルモデル（Gemini-3-Pro）で検証します。
   • フィルタリング: 整合性が確認されたサンプルのみを保持し、誤ったサンプルは破棄します。これにより、人手介入なしに高品質なデータセットを構築します。

3. 主要な貢献 (Key Contributions)

• VisionFoundry-10K データセットの構築:
  • 10 の低次視覚タスク（空間理解、相対深度、視点変化など）に特化した、1 万枚の画像 - 質問 - 回答トリプレットからなる合成データセットです。
  • 各タスク 1,000 サンプルで構成され、すべて自動検証済みです。
• 完全自動化パイプラインの提案:
  • 参照画像や人手アノテーションを必要とせず、タスクキーワードのみから高品質な視覚的監督データを生成する完全自動化フローを実証しました。
• 合成データの有効性の実証:
  • 合成データのみ、または合成データと自然データの混合でモデルを微調整（Finetuning）した際、視覚知覚ベンチマークで大幅な改善が見られることを示しました。
• スケーラビリティの検証:
  • データ量が増加するにつれて性能が向上する傾向（スケーリング則）を確認し、合成データが体系的なトレーニングに有効であることを示唆しました。

4. 実験結果 (Results)

3 つの代表的なオープンソース VLM（Qwen2.5-VL-3B, Llama-3.2-11B-Vision, MiMo-VL-7B）を用いた評価において、以下の結果が得られました。

• 視覚知覚ベンチマークでの大幅な改善:
  • MMVP: +7% の改善
  • CV-Bench-3D: +10% の改善
  • RealWorldQA: +1.9% の改善
  • 空間推論や深度順序などのタスクにおいて特に顕著な効果が確認されました。
• 汎用能力の維持:
  • 視覚知覚タスクに特化した学習を行っても、OCR、GUI グラウンディング、一般的な推論タスク（MMMU, MMBench など）における性能は維持、あるいは一部で向上しました。特定のタスク（例：OCR）ではわずかな変動が見られましたが、広範な能力の低下は確認されませんでした。
• データ量とエポックの影響:
  • データ量が増えるにつれて視覚知覚性能が向上する傾向（Figure 4）が確認されました。
  • 合成データと自然データを等量混合した場合、自然データのみを使用した場合よりも視覚知覚ベンチマークで高い精度を示しました（Figure 5）。
• タスク特化性の分析:
  • 特定のタスク（例：Depth Order）で学習させたモデルは、空間的ベンチマークで強く機能しますが、GUI 接地タスクなどには転移しにくいなど、タスクとベンチマークの依存関係が明らかになりました。

5. 意義と結論 (Significance & Conclusion)

• VLM の「知覚のボトルネック」はデータ問題である可能性:
  • 現在の VLM の視覚知覚の弱点は、単にモデルの容量不足ではなく、自然画像データセットにおける低次視覚スキルに対する体系的な監督の欠如に起因している可能性が高いことを示唆しています。
• 合成データのパラダイムシフト:
  • LLM のトレーニングにおいて合成データが重要な役割を果たしているように、VLM においても**「検証器でフィルタリングされた合成画像」**が、特定の能力ギャップを埋めるための第一級のプリミティブ（基本要素）となり得ます。
• 将来への展望:
  • VisionFoundry は、新しい評価基準が登場するたびに、その能力ギャップをパッチするための体系的なトレーニングパイプラインの基礎となります。また、Web スケールの自然画像では提供できない、より広範な組み合わせ（コンポジション）のカバレッジを実現する前訓練（Pretraining）レジームへの応用も期待されます。

総じて、本論文は、人手を介さずにタスク特化型の合成データを生成・検証する手法が、VLM の視覚理解能力を飛躍的に向上させる有効な手段であることを実証した画期的な研究です。