技術的サマリー：視覚的構成微調整（COMPACT）

問題定義

マルチモーダル大規模言語モデル（MLLM）向けの視覚指示微調整（VIT）は、従来、パフォーマンス向上のためにデータセットの規模拡大に依存しており、個々の訓練サンプルの情報性を見落としてきた。最近の研究では、小さく選別されたサブセットがほぼフル規模のパフォーマンスを達成できることが示されているが、既存のデータ選択手法は、複雑さを規模の副産物として扱う傾向が強く、制御可能な指標として捉えていない。

現在の VIT データセット（LLaVA-665K など）は、主に「車の色は何ですか？」といった、1 つまたは 2 つの基本的な視覚能力のみを要求する質問で構成されている。これらのサンプルは、物体認識、空間的関係、色の属性付けといった複数の能力を単一の複雑な推論タスクに統合する際に失敗しており、画像に利用可能な豊富な視覚情報を十分に活用できていない。その結果、モデルはこれらの原子スキルを統合することを必要とする複雑な視覚推論タスクに苦戦する可能性がある。

手法：COMPACT

著者は、単一の例内で複数の原子視覚能力を組み合わせることで訓練サンプルの複雑さを拡張するデータレシピ「COMPACT（COMPositional Atomic-to-complex Visual Compositional Tuning：構成原子から複雑な視覚的構成微調整）」を提案する。この手法は、以下の 4 段階のパイプラインを含む。

1. 原子能力の定義：著者は、視覚推論に不可欠な 10 種類の「原子視覚能力」の分類体系を定義し、以下に分類する。

   • 属性（Attribution）：色、形状。
   • 認識（Recognition）：物体認識、動作認識、テキスト認識、数え上げ、空間認識。
   • 関係（Relation）：空間的関係、物体相互作用、シーン理解。
     また、特定の質問に答えるために必要な原子能力の数を定義した$k$値という指標を導入する。

2. 能力サンプリング：画像のランダムなサンプル（例：LLaVA-665K から）を出発点として、システムは事前に定義されたプールから $k_{gen} \in \{1, 2, 3\}$ の能力を均一にサンプリングする。サンプリングは、特定の画像に対してまだ選択されていない能力を優先し、多様性を確保する。

3. 会話生成：Gemini-2.0-Flashを用いて、システムはサンプリングされたすべての能力を自然に統合した会話形式の質問応答ペアを生成する。生成は以下の条件に制約される。

   • 質問は画像からの視覚情報を必要とする（テキストのみでは回答できない）。
   • 回答は簡潔である。
   • 能力は自然に統合される（単に「and」で接続されるだけではない）。
   • 質問は画像に実際に存在する物体を参照する。

4. 品質検証とデータセット構築：生成された質問は、情報性の低い回答、低信頼度の出力、ほぼ重複するもの、能力が正常に統合されなかったケースをフィルタリングするために検証を受ける。最終的なデータセットは、合成された構成微調整データと、元の LLaVA-665K データの小さなサブセット（5%）を混合して構築される。この混合により、モデルは指示追従能力を維持しつつ、構成データは視覚推論に焦点を当てる。

主要な貢献

1. 複雑性意識型データ選別：本論文は、訓練サンプルの複雑さ（$k$値）を増加させることで、データセット内の情報内容をより効果的に活用でき、従来の複雑性無視型のスケーリングの限界を克服できることを実証する。
2. 定量化可能な複雑性指標：著者は、ビジョン・ランゲージタスクの複雑さを定量化するための $k$値を定義し、最大効率を得るための複雑性の最適な分布を分析する。
3. 効率的なデータレシピ：COMPACT は、効果的な VIT に必要なデータ予算を大幅に削減する、スケーラブルな合成データ生成レシピを提供する。

実験結果

著者は、8 つのマルチモーダルベンチマーク（MM-Vet、MMStar、InfoVQA、SeedBench2Plus などを含む）を用いて、LLaVA-v1.5-7Bモデル上で COMPACT を評価した。

• データ効率性：LLaVA-665K の体積のわずか10%（具体的には 32K の構成サンプル＋フォーマット用の LLaVA-665K の 5%）で構成されるデータセットで訓練を行うことで、ベンチマーク全体においてフル規模の LLaVA-665K パフォーマンスの**100.2%**を達成した。
• 複雑なタスクにおける優位性：COMPACT は、特に複雑なベンチマークにおいてフル規模の LLaVA-665K 訓練を上回った。
  • MM-Vet：+8.6% の改善（31.7 対 29.2）。
  • MMStar：+2.9% の改善（36.1 対 35.1）。
  • InfoVQA：+13.8% の改善。
• ベースラインとの比較：COMPACT は、同程度のデータ量で相対パフォーマンスが約 95〜97% にとどまるランダムなサブセットや他のデータ削減手法（ICONS、EL2N、Perplexity など）を大幅に上回った。
• 複雑性分布の分析：LLaVA-665K データセットの平均 $k$値は約 1.95 で、質問の 77% が $k \le 2$を要求している。これに対し、COMPACT データセットの平均 $k$値は約 2.89 である。アブレーション研究により、性能向上の少なくとも半分はこのより高い複雑性分布に起因することが確認された。

意義と主張

本論文は、視覚的構成微調整が、ビジョン・ランゲージタスクにおける MLLM の改善に向けたスケーラブルかつ効率的な道筋を提供すると主張する。サンプル生成中に明示的に高い $k$値をターゲットにすることで、COMPACT はモデルが各画像からより多くの視覚的特徴を学習することを可能にし、データ予算の断片化で複雑な推論タスクにおいて優れたパフォーマンスを実現する。

著者は、データ生成にクローズドソースモデル（Gemini）への依存という限界を認め、これが潜在的なバイアスや再現性のためのコスト障壁をもたらすことを指摘している。さらに、このアプローチは視覚中心の能力に焦点を当てており、外部の世界知識を必要とする知識集約型タスクには最適ではない可能性がある。今後の研究として、画像とテキストの複雑性の交差点の探求や、これらの原則を異なる学習アルゴリズムへの応用が提案されている。