技術要約: VA-Judger: 結合ビデオ・オーディオ生成のための人間による好みのフィードバックからの報酬モデリング

問題提起

本論文は、強化学習（RL）を用いた結合ビデオ・オーディオ生成モデルのポストトレーニングにおける決定的なボトルネック、すなわち信頼性が高く人間に整合した報酬信号の欠如に対処している。OmniNFTなどの既存のアプローチは、個別の次元（例：視覚的忠実度、オーディオ品質、テキスト・ビデオ間のアライメント、およびオーディオ・ビジュアルの同期）に対する評価指標を集計することで報酬を構築している。著者らは、これらの指標では、人間の好みを左右する包括的なクロスモーダルな一貫性や意味的・時間的一貫性を捉えることができないと主張している。その結果、モデルをこれらの断片的な指標に対して最適化すると、「報酬ハッキング」が発生し、特定の指標では高いスコアを出すものの、人間から見れば支離滅裂であったり、プロンプトに忠実でなかったり、感情的にミスマッチであったりするコンテンツが生成されることになる。さらに、単一モダリティの報酬モデル（例：画像のみ、またはオーディオのみの評価器）では、視覚的な文脈内における音の妥当性や、モダリティ間のイベントの同期を評価することができない。

手法

著者らは、構造化された次元ごとの推論を通じて、結合ビデオ・オーディオ生成を評価するために設計された、思考の連鎖（Chain-of-Thought: CoT）を備えたオムニ報酬モデルであるVA-Judgerを提案している。その手法は、以下の3つのコアコンポーネントで構成されている。

1. データ構築: VAPref-10K

結合ビデオ・オーディオタスクのための人間による好みのデータの不足を克服するため、著者らは以下の内容を含む大規模なデータセットVAPref-10Kを構築した：

• 約9,000のプロンプト：7つのカテゴリ（例：ダイアログ、音楽、シネマティック・アンビエンス）にわたる10,173個の実世界のビデオ・オーディオクリップ（YouTube、映画、テレビ）から派生。
• 10,300の微細なペア比較：3つのオープンソースの最先端モデル（HaCohen et al., 2026; Low et al., 2025; SII-GAIR et al., 2026）によって生成。
• 難易度を考慮した分割：データセットは、「イージー」なペア（モデル間に明確な品質差があるもの）と、「ハード」なペア（微妙な差異があり、多くの場合、同じモデルの異なるシードによるもの）に分けられ、カリキュラム学習を促進する。

2. VA-Judger モデルアーキテクチャ

VA-Judgerは、単なるスカラー値のスコアではなく、構造化されたCoTレスポンスを出力するように訓練される。与えられたプロンプトと2つのビデオ・オーディオクリップに対し、モデルは以下の5つの特定の次元を評価する：

• (A) プロンプトのアライメント（適合性）
• (B) オーディオ・ビジュアルの一貫性
• (C) オーディオの品質
• (D) ビデオの品質
• (E) 完結性と一貫性
  モデルは各次元に対して1〜10のスコアと正当な理由を割り当て、それらを統合して、最終的なペアワイズの好みを出力する。

3. 3段階のトレーニングパイプライン

トレーニングプロセスは、モデルが出力形式と微細な人間の好みの両方を学習することを確実にするため、段階的な戦略に従う：

• ステージ1: イージー・コールドスタート（フォーマット蒸留）：Qwen3-Omniを初期値とし、Gemini 3.1によって生成された構造化された推論トレースを用いて「イージー」なペアで訓練を行う。これにより、出力の定型（ルーブリック）と基本的な好みの識別を確立する。
• ステージ2: ハード・プリファレンス・アライメント（棄却サンプリング）：品質の差が微妙な「ハード」なペアでは、Geminiの判断は信頼性が低くなる（人間との一致率は60%）。著者らは、人間のアノテーターを使用して好ましいクリップを選択し、支持する次元を特定する。その後、GeminiにCoTの説明を生成させるが、最終的な好みが人間のラベルと一致したもののみを棄却サンプリングによって保持する。これにより、ファインチューニング用の検証済みサンプルが4,500例得られる。
• ステージ3: 次元ごとの強化学習（GRPO）：模倣を超えて、著者らはグループ相対方策最適化（GRPO）を採用する。報酬関数は単一のバイナリラベルではなく、以下の複合体となる：
  • 回答報酬：最終的な好みの正しさ。
  • 次元報酬：割り当てられた次元スコアと、好みの理由として特定された内容との一貫性。
    これによって、モデルが勝者を推測するためのショートカットを学習するのではなく、忠実なクロスモーダル推論を開発することを促す。

主な貢献

1. VAPref-10K データセット：結合ビデオ・オーディオ生成に特化した、最初の、大規模な人間による好みのデータセットであり、3つのオープンソースのビデオ・オーディオ生成モデルによって生成された約9Kのプロンプトと10.3Kのペア比較を備えている。
2. VA-Judger モデル：人間によるフィードバックを用いて、結合ビデオ・オーディオ生成のための報酬モデリングを初めて探索した、思考の連鎖を備えたオムニ報酬モデルである。これは、より密な最適化信号を提供するために、フィードバックを次元ごとの推論へと独自に分解する。
3. VA-Judger-Bench：人間による好みに対して報酬モデルを評価するための新しいベンチマークであり、ドメイン内およびドメイン外（Sora 2やVeo 3.1のようなクローズドソースモデルを含む）のスプリットを備えている。
4. 次元ごとのRL：最終的な決定とその根拠となる次元の両方を検証する新しいトレーニング戦略であり、モデルが推論を結論から切り離してしまうことを防ぐ。

実験結果

• 報酬モデルの評価：VA-Judger-Benchにおいて、VA-Judgerは人間の好みを予測する精度で**68.43%**を達成し、単一次元の指標（50〜56%の範囲）やベースのオムニモデルを大幅に上回った。また、指標ベースのベースラインと比較して、ドメイン外のペアに対しても優れた汎化性能を示した。
• ポストトレーニング生成：LTX-2生成モデルのポストトレーニングに使用された際、VA-Judgerは大幅な改善をもたらした。JavisBenchのサブセットにおいて、VA-Judgerで訓練されたモデルは、ベースのLTX-2およびOmniNFTで訓練されたモデルの両方を、報告された13の指標のうち11の指標で上回った。
• 人間による評価：200のプロンプトを用いた3者強制選択調査において、VA-Judgerでポストトレーニングされたモデルは、**62.30%**の人間から好まれた。これに対し、OmniNFTは27.63%、ベースのLTX-2は10.08%であった。これは、改善が単なる指標の最適化によるアーティファクトではなく、人間にとって知覚可能なものであることを裏付けている。

意義と主張

本論文は、VA-Judgerが、より解釈可能で人間に整合した、結合ビデオ・オーディオ生成のためのポストトレーニングへの基礎的なステップを提供すると主張している。断片的な専門家指標から、包括的で人間による好みに基づいた報酬信号へと移行することで、個々のモダリティにおいて高品質であるだけでなく、人間の判断に従って意味的に一貫し、時間的に同期したビデオ・オーディオコンテンツを生成できることを著者らは示している。この研究は、狭い指標のために最適化することが支離滅裂な出力を招く可能性がある一方で、人間と整合した報酬モデリングが、報酬ハッキングを効果的に軽減し、生成モデルの全体的な忠実度を向上させることを強調している。