技術的概要：FineVision：オープンデータこそがすべて

問題提起

ビジョン・ランゲージモデル（VLM）の進展は、現在、公共データセットの断片化された状況によって妨げられています。プロプライエタリなモデルは、大規模でキュレーションされたコーパスを活用する一方で、オープンソースの代替案は、数多くの小規模で専門的なデータセットを継ぎ接ぎすることを余儀なくされています。このアプローチは、注記スキーマ、フォーマット、データ品質における不一致をもたらします。さらに、既存のオープンデータセットは、トレーニングデータと評価ベンチマークが重複する汚染に悩まされることが多く、これがパフォーマンス指標を人為的に膨らませ、堅牢でデータ中心の研究を阻害しています。この分野は、単純な集積から、多様性、衛生性、そしてエージェント型 GUI 相互作用のような新興タスクに対処するための原理的かつスケーラブルなキュレーションへの必要性へとシフトしています。

手法

著者は、200 以上の公共ソースから派生した 2400 万サンプルの綿密にキュレーションされたコーパス「FineVision」を導入します。キュレーションプロセスは、異質なデータを標準化された会話スキーマに統一するために設計された、半自動かつ人間が関与するパイプラインを採用しています。

1. データキュレーションパイプライン

• ソース集積: データは Hugging Face、機関のクラウドストレージ、GitHub リポジトリ、および直接の Web ダウンロードから収集されました。
• 半自動変換: 大規模言語モデル（LLM）エージェント（特に Claude）による大量取り込みと戦略設計、そして人間のレビューヤーを組み合わせるハイブリッドアプローチが採用されています。パイプラインは、注記分析、戦略設計、スクリプト実装、品質検証へと変換を分解します。
• 人間による監視: レビューヤーはマッピングを監査し、忠実な注記の消費のために出力を抜き取りチェックし、フォーマットと多様性を検証します。エージェント型/GUI データについては、レビューヤーは統一されたアクションスキーマを検証し、実行可能性の忠実性を確認するために軌跡を検査します。
• 統一スキーマ: すべてのデータセットは、標準化されたチャット形式（sample = {images, texts, source, metadata}）に変換されます。会話型でないデータ（例：分類）は、自然な QA ペアに変換されます。単発 QA データセットは、より豊かなトレーニング信号を作成するために、往復会話にグループ化されることがよくあります。

2. タスク固有の戦略

パイプラインは、意味的豊かさを維持するために 6 つの中核的な変換戦略を適用します。

• ビジュアル QA: 画像ごとの質問を、多様な言い回しを持つ往復会話にグループ化します。
• キャプション付けと記述: 正解キャプションをランダム化された指示プロンプトで囲みます。
• グラウンディングと空間的関係: 空間注記を、説明付きのはい/いいえ質問に変換します。座標はメタデータに正規化されます。
• ドキュメント理解: 多ページドキュメントを、拡張された回答（導出ステップ、事実など）付きの画像リストとして処理します。
• OCR と文字起こし: 任意の理解ターン alongside 正確な文字起こしターンを生成します。
• 分類と検出: ラベルを、説明付きの回答を持つ意思決定質問に変換します。
• GUI/エージェント型統一: 特定のパイプラインが、GUI データセットからの異質な関数シグネチャとアクション分類体系を、解像度に依存しない座標を持つ統一された型付きアクション空間に正規化します。

3. データ衛生と汚染除去

• クリーニング: 自動検証により、破損した画像、復号化不可能なファイル、および不正なテキストを除去します。テキストは UTF-8 に正規化され、制御文字は剥離され、ターンは 8192 トークンに制限されます。
• 重複除去: 自己教師ありコピー検出（SSCD）埋め込みとコサイン類似度が、ソース内およびソース間で近接する重複画像を識別し、マージするために使用されます。
• テストセット汚染除去: パイプラインは、66 の公共 VLM ベンチマークの画像と類似するトレーニング画像を識別します。潜在的な汚染をフラグ立てるために保守的な閾値（$\tau = 0.95$）が適用されますが、汚染統計が提供される形で、データセットは元の形式でリリースされます。

主要な貢献

1. FineVision コーパス: 185 のサブセットにわたる 1700 万枚の画像、8900 万ターン、95 億回答トークンを含む、同種の最大規模のオープンリソースのリリース。
2. キュレーションワークフロー: タスク構造と会話的多様性を維持しながら 200 以上のソースを統一する、再現可能で半自動かつ人間が関与するパイプライン。
3. 統一アクション空間: エージェント型タスクのための新たな貢献。デスクトップ、モバイル、ブラウザ環境にわたる GUI 相互作用のための標準化されたスキーマを提供します。
4. 厳格な衛生管理: SSCD 埋め込みを使用した包括的な重複除去および汚染除去プロトコル。ツールと事前計算された埋め込みの公開。
5. 品質分析: LLM-as-a-judge スコアリングを用いた、フォーマット、関連性、視覚的依存性、画像 - 質問対応という 4 つの軸に沿ったデータセットの詳細な特徴付け。

実験結果

著者は、FineVision 上で 4 億 6000 万パラメータの SmolVLM をトレーニングし、The Cauldron、LLaVA-OneVision、およびCambrian-7Mでトレーニングされたモデルと比較しました。

• パフォーマンス向上: FineVision でトレーニングされたモデルは、オープンデータ VLM 間で最先端の結果を達成し、以下の顕著な相対的改善を示しました。
  • The Cauldronに対して +27.7%
  • Cambrian-7Mに対して +11.4%
  • LLaVA-OneVisionに対して +38.4%
  • （11 のベンチマーク全体で、ベースラインに対して平均 10.8 ポイントの改善）。
• トレーニングダイナミクス: 新規タスクの包含により初期のパフォーマンスはわずかに遅れましたが、FineVision でトレーニングされたモデルは約 1 エポック後にすべてのベースラインを上回り、優れた汎化能力を示しました。
• 汚染に対する堅牢性: データセットの汚染除去版で再トレーニングした際、ベースラインモデルは 2.7〜3.7 ポイントのパフォーマンス低下を被りましたが、FineVision モデルは 1.6 ポイントのみ低下し、その向上がデータ漏洩によって引き起こされたものではないことを確認しました。
• GUI 能力: 困難な GUI ベンチマーク（ScreenSpot-V2 および ScreenSpot-Pro）において、FineVision でトレーニングされた 0.5B モデルは、アーキテクチャ的に同等の 2B モデルと同等のパフォーマンスを達成し、微調整なしではタスクを解決できなかったベースの小型モデルを上回りました。
• 多様性指標: FineVision は高い概念的広がり（有効ランク）を示し、さらに重要なのは、他の大規模データセットと比較して優れた参加率（Participation Ratio）を示すことであり、これは視覚的概念のより均一な分布を示しています。

意義と主張

本論文は、データ衛生と慎重な統合は、規模と同様に重要であると主張しています。FineVision は、厳格なクリーニング、重複除去、人間の監視を組み合わせるキュレーションへの原理的アプローチが、オープンソースとプロプライエタリな VLM の間のパフォーマンスギャップを埋め得ることを示しています。

著者は、このデータセットが単なる大規模な集積ではなく、特に統一されたアクション空間を介したエージェント型/GUI 設定における新興タスクのために設計された「基盤」であると強調しています。コーパス、変換レシピ、および重複除去ツールのリリースにより、この研究は高品質なトレーニングデータへのアクセスを民主化し、オープン VLM 開発における次のイノベーションの波を触発することを目指しています。著者は、残存する重複や GUI 制御のための統合されたコミュニティベンチマークの欠如といった限界を謙虚に認め、FineVision を、ビデオ、多言語カバレッジ、およびより長いコンテキスト推論への将来の拡張の起点として位置付けています。