💻 computer science

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

本論文は、生成的な失敗のデータセット、適応されたOmni-LLM、およびReal-Valued Group Relative Policy Optimizationを活用することで、相対的な人間の知覚と絶対的な自動指標との間のパラドックスを解決し、クロスモーダルな同期性を評価するための人間の好みに最高水準の整合性を達成した、生成的な音響・視覚モデルのためのリファレンスフリー評価フレームワークを導入するものである。

原著者： Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、犬が吠えているのにその音が「プピー！」というおもちゃのような音だったり、ガラスが割れる音が「水風船が弾ける音」のように聞こえたりする映画を見ていると想像してください。AIの世界では、こうした「世界シミュレーター（world simulators）」は画像や音を作る能力は驚異的に向上していますが、しばしば「物理法則」を間違えます。音と動きが一致しなかったり、あるべき音が全く作られなかったりすることがあります。

長い間、科学者たちは、これらのAI映画が「同期しているか」を確認するために、「遅延を見つける」という単純なゲームを行ってきました。つまり、完璧な音を取り出し、それを左右にわずかにずらし、コンピュータがその違いを検知できるかどうかを見てきたのです。しかし、この論文の著者たちはこう言います。「やめなさい！」と。それは、塩と砂糖が同じ瓶に入っているときに、その違いを判別できるかテストしてシェフを評価しようとするようなものです。現代のAIは単にタイミングを間違えているのではなく、「ストーリー」を間違えているため、そのような方法では通用しません。AIは、起こってもいない音を捏造したり、あるはずの音を忘れたりしてしまうのです。

大きな問題：「相対的」対「絶対的」のパラドックス

ここには、著者たちが解決しなければならなかったトリッキーな部分があります。人間が2つの質の悪いAI動画を見るとき、私たちは「動画Aは動画Bよりも優れている」と言うのは簡単です。私たちは比較することに長けています。しかし、もし比較対象を与えられずに、動画Aに対して「100点満点で何点か」と尋ねられたら、私たちは混乱します。ある日は「70点」と言い、別の日は「85点」と言うかもしれません。

しかし、インターネット上で機能するロボット審判を作るには、絶対的なスコアが必要です。他の動画が存在するかどうかにかかわらず、「これは72.4点である」と言える数字が必要です。論文では、人間に数字を尋ねるのではなく、人間の「どちらが良いか／悪いか」という感覚を、いかにして「72.4」という数字に変換させるかを機械に教える必要があると主張しています。

解決策：新しい種類のロボット審判

チームは、彼らが Beyond Time Shifts と呼ぶ、3つのステップからなるシステムを構築しました。

1. 「SynthSync」プレイグラウンド（データセット）
音をずらしてエラーを偽造する代わりに、彼らは SynthSync と呼ばれるプレイグラウンドを作成しました。彼らは実写ビデオを取り込み、10種類のトップティアのAI音響生成モデルに通しました。これにより、「本物の失敗例」の山が作られました。

比喩： 同じレシピに基づいてスープを作るよう、10人の異なるシェフに依頼したと想像してください。あるシェフはニンニクを焦がし、あるシェフは塩を入れ忘れ、またあるシェフはスパイスを入れすぎます。著者たちは単にスープを味わっただけでなく、人間の専門家に一度に2つのボウルを味合わせ、「シェフAはシェフBよりも美味しい」と言わせました。これを30万6,000回繰り返し、誰が誰より優れているかという膨大なマップを構築しました。

2. 新しい脳を持つ「Omni-LLM」
彼らは Omni-LLM（具体的には Qwen2.5-Omni-3B モデル）という超高性能AIを取り上げ、新しい仕事を与えました。通常、このAIは「良い」や「悪い」といった言葉で話しますが、著者たちはその言葉生成部分を取り除き、連続的なスライダーに置き換えました。

比喩： AIが「良い！」や「悪い！」と叫ぶ代わりに、今や滑らかな一つの数値をスライダーとして出力します。彼らは、SynthSync プレイグラウンドから得られた「どちらが良いか／悪いか」のデータを用いて、このAIを訓練しました。彼らは Bradley-Terry-Luce という数学的トリックを用い、「もしAIがシェフAの方がシェフBより優れていると判断するなら、Aの数値はBよりも高く設定されるべきである」ということを学習させました。

3. 「R-GRPO」のマジック・トリック（強化学習）
これが秘伝のソースです。「AはBより良い」と知っているだけでは不十分です。AIはグループ全体を理解する必要があります。もしシェフAが最高で、シェBが中間で、シェフCが最低だとしたら、スコアはその順序を完璧に守らなければなりません。

比喩： AIがテストを受けている学生だと想像してください。教師（R-GRPO アルゴリズム）は、単に問題が正解したかどうかをチェックするのではなく、回答のリスト全体を見ます。教師は「ガウス・ポリシー（少しのランダムなノイズを加えて探索するという、おしゃれな言い方です）」を使用し、AIがグループ全体の完璧なランキングを見つけ出せるかどうかを確認します。
結果： この手法を用いることで、AIは人間の専門家の判断と驚くほど一致するスコアを出すことを学習しました。

何が見出されたのか（数値）

著者たちは、自分たちの新しいロボット審判を、従来の手法（AV-Align、JavisScore、DeSync など）と比較テストしました。

従来の方法： 古い指標は壊れた定規のようなものでした。音が正しいタイミングで発生していれば、たとえその音がデタラメであっても、高いスコアを与えてしまうことがよくありました。
新しい方法： SynthSync データセットで訓練され、R-GRPO で微調整された彼らの新しい指標は、ペアワイズ精度（Pairwise Accuracy）72.38% を達成しました。これは、2つの動画を比較した際、人間の専門家と72.38% の確率で一致したことを意味します。
比較： テストされた中で次に優れた手法は、精度が69.36% でした。
リーダーボード： 彼らはこの新しい審判を使用して、6つの有名なAIビデオモデル（Sora-2、Veo-3.1、LTX-2 を含む）をランク付けしました。彼らの審判は、Sora-2 と Veo-3.1 が物理法則の理解において最も優れている一方で、他のモデルは苦戦していることを明確に示しました。

明確に否定されたこと

論文では、何が機能しないのかが非常に明確に述べられています。

タイムシフト（Time Shifts）： 著者らは、現代のAIにとって、音を前後にずらすという従来の手法は無意味であると主張しています。なぜなら、それは「構造的な幻覚（structural hallucinations）」（捏造された音）を捉えることができないからです。
離散的な言葉（Discrete Words）： AIに「良い」や「乏しい」といった言葉を出力させることは、悪いアイデアであることも分かりました。それは「量子化アーティファクト（quantization artifacts）」を引き起こし、スコアが激しく変動し、滑らかさが失われるためです。
単純な回帰（Simple Regression）： 単にAIに数字を直接推測させるよう訓練（回帰）も試みましたが、失敗しました。その場合の Kendall's τ はわずか 0.1628（ランキングが現実とどれほど一致しているかを示す指標）でした。彼らの新しい手法は 0.4899 を記録しました。

どの程度の確信があるのか？

著者たちは、単なる推測ではなく、測定に基づいているため、結果に強い自信を持っています。

彼らは、185 の異なるプロンプト（「木を挽く」「雨」「オートバイ」など）を含む標準化されたベンチマーク SyncBench を構築しました。
彼らは、この指標を「報酬信号（AIを改善させるための手段）」としてテストしました。複数の候補の中から最適なAIビデオを選ばせる際、クロスメトリック・テストにおいて、ランダムな推測よりも 5.0589 倍優れた結果を出しました。
彼らは、R-GRPO の訓練ステップを取り除くと、スコアが大幅に低下すること（72.38% から 71.07% へ）を示し、自分たちの手法が、システムのあらゆる部分が必要であることを証明することで、その有効性を実証しました。

要約すると、この論文は、AIの映画を判断するには、単に遅延を探すのではなく、音と視覚の「ストーリー」を理解する審判が必要であることを示唆しています。人間の「どちらが良いか／悪いか」という感覚を滑らかな連続的な数値へと変換することで、彼らはようやく、私たちと同じように世界を見ることができるツールを作り上げたのです。

テクニカルサマリー：時間のズレを超えて：生成型オーディオ・ビジュアルモデルのためのリファレンスフリー評価器としてのOmni-LLMの適応

1. 問題提起

オーディオ・ビジュアル（AV）生成モデルが「ワールドシミュレーター」へと進化するにつれ、クロスモーダルなダイナミクスの整合性を評価することが極めて重要になっています。しかし、既存の評価指標は、現代の生成出力に対して根本的なミスマッチに直面しています。

構造的仮定の破綻： 従来の指標（例：オンセットベースの同期、クロスモーダル対照的類似性）は、オーディオとビデオが構造的に正しく、単に時間的な整列が必要であるという前提に基づいています。これらは、構造的な幻覚（例：プラスチックのコップが落下する際にガラスが砕ける音がする）、非対称な関係（視覚的な動作に対応する音声の欠如）、および時間的に拡散したイベント（流体レベルの変化に伴いピッチが変化しない連続的な注ぎ動作など）を検出できません。
アノテーションのパラドックス： これらの複雑なエラーを評価するには人間の認知が必要です。しかし、人間の評価者は自然に相対的な比較（2つの不完全な出力のうち、どちらが良いかを判断する）に依存する一方で、展開可能な自動化された指標は、単一の生成ペアに対して絶対的なスカラー値を算出するリファレンスフリー（参照なし）である必要があります。
現在のAIジャッジの限界： 既存の「LLM-as-Judge」のアプローチは、多くの場合、離散的なテキストカテゴリや単一モードの忠実度測定に依存しており、これが量子化アーティファクトを導入し、AV同期に求められる微細な因果的・意味的整合性の把握を妨げています。

2. 手法

著者らは、相対的な人間の知覚と絶対的な自動スコアリングの間のパラドックスを解決するために、Omni-LLMを連続的なリファレンスフリー評価器へと変容させる3段階のフレームワークを提案しています。

2.1 SynthSync データセット

評価を人工的なタイムシフトではなく、真正な生成失敗に根ざしたものにするため、著者らは SynthSync を構築しました。

構築： 実世界のビデオクリップを10種類の最先端のVideo-to-Audio (V2A) 基盤モデルによって処理し、ビデオごとに複数の異なる音響トラックを生成します。
アノテーション： エキスパートのアノテーターが、固定された視覚的アンカーに対してペア比較（ $a_i$ 対 $a_j$ ）を行い、どちらのオーディオがビデオにより適合しているかを判断します。
成果： これにより、意味的な幻覚や因果的な欠落といった複雑な失敗モードを捉える、経験的な勝率に基づく堅牢でグローバルな順序付け（オーディナル・ランキング）が得られます。

2.2 連続的 Omni-LLM アーキテクチャ

著者らは、離散的なトークンデコーディングを回避するために、Omni-LLM（具体的には Qwen2.5-Omni-3B）を適応させています。

潜在投影（Latent Projection）： 離散的な言語ヘッドを連続的な投影ヘッド（MLP）に置き換え、モデルの特殊な [SCORE] トークンの隠れ表現を直接スカラー値 $s \in \mathbb{R}$ にマッピングします。
目的： この設計は、言語生成の確率性を排除し、相対的な連続スケーリングに最適化された完全微分可能なマッピングを作成します。

2.3 2段階の学習パラダイム

学習プロセスは、2つの異なる段階を通じて、連続的な推定値を人間の好みに適合させます。

ステージ I：潜在的選好アライメント（カリキュラム学習）

損失関数： ペアの選好（ $a_i \succ_v a_j$ ）におけるロジット決定境界の損失を最小化するために、Bradley-Terry-Luce (BTL) 定式化を用いてモデルを訓練します。
カリキュラム・ペース配分： エラータイプの分散による勾配崩壊を防ぐため、訓練は大きなランク差を持つペア（例：最良 vs 最悪）から開始し、徐々に閾値を下げて、より微細な比較にモデルをさらしていきます。

ステージ II：R-GRPO による因果的トポロジー

問題： ペア学習は局所的なマージンを確保しますが、グローバルな推移性や一貫したスコア分布を保証するものではありません。
解決策： 著者らは Real-Valued Group Relative Policy Optimization (R-GRPO) を導入しました。
- 確率的再パラメータ化： 決定論的なスカラー出力をガウス方策の平均（ $\mu_\theta$ ）として扱い、方策勾配最適化に必要な不確実性を注入します。
- 探索的ロールアウト： 指定された分散 $\sigma^2$ 内でスコアを摂動させることにより、 $N$ 個の並列な実行パスをサンプリングします。
- 複合報酬： ホリスティックな報酬関数が、グラウンドトゥルースのトポロジーに対してリストワイズの分布全体を評価し、構造的減衰、単調な順序、および極端なターゲット境界を最適化します。
- 目的： 方策は、リファレンスとなるバックボーンへの近接性を維持するための KL ダイバージェンス・ペナルティを伴うクリップされたサロゲート損失を使用して更新されます。

3. 主な貢献

SynthSync： 人工的なタイムシフト・ベンチマークを超え、意味的および因果的なエラーを捉えるために、真正な生成同期の失敗に特化した初のデータセット。
連続的 Omni-LLM 評価器： 離散的なテキスト出力の量子化バイアスを避けるため、マルチモーダル基盤モデルを連続的なリファレンスフリーの因果的一貫性スコアリングに転用する新しいアーキテクチャ。
R-GRPO フレームワーク： 連続的な潜在方策を離散的な人間の選好に適合させるスケーラブルな強化学習アルゴリズムであり、物理的に根ざした生成評価の新しい標準を確立。
SyncBench と SOTA の整合性： 標準化されたベンチマーク（SyncBench）の確立と、因果的評価における人間との選好における最先端（SOTA）の整合性の実証。

4. 実験結果

ベンチマーク性能： SynthSync ベンチマークにおいて、提案手法は人間の選好とのアライメントにおいて最先端の性能を達成しました。これは、オフザシェルフの Omni-LLM、従来の非LLM指標（例：AV-Align, DeSync）、および他の訓練済み LLM 評価器を凌駕しています。
- 主要指標： フルモデル（R-GRPO 適用）は、72.38% のペアワイズ精度、61.40% の Top-1 精度、および 0.4899 の Kendall's $\tau$ を達成し、ベースラインを大幅に上回りました。
SyncBench による評価： 6 つの最先端 AV 生成モデル（Sora-2, Veo-3.1, LTX-2 を含む）を評価した際、本指標は性能を適切に層別化し、従来の指標が不安定で矛盾したランキングを生み出す中で、業界のリーダーを特定することに成功しました。
テスト時スケーリング： Best-of-N (BoN) サンプリングの報酬信号として展開した際、本指標は優れたクロス指標汎用性を示し、ランダム選択や他の報酬信号よりも、独立した評価指標におけるモデル品質の向上において優れた性能を発揮しました。
アブレーション研究：
- 表現： 連続的なスカラー・ランキングは、スカラー回帰やテキストベースのデコーディング (CE/KL) よりも大幅に優れており、離散的なトークンを避けることが相対的なトポロジカル順序を保持することを裏付けています。
- 構成要素： 増分的なアブレーションにより、SynthSync データセットと R-GRPO ステージの両方が極めて重要であり、特に R-GRPO がランク相関において最大の利点を提供することが示されました。
- 報酬定式化： 「デュアル報酬」戦略（ペアワイズとリストワイズの制約を組み合わせる）が最適なパフォーマンスを発揮し、グローバルな構造的一貫性と局所的な比較精度のバランスを実現しました。
- 探索分散： ガウス方策における中間的な探索分散（ $\sigma=2.5$ ）が、グローバルなトポロジーの探索と方策の安定性の維持との間で、最良のバランスを提供しました。

5. 意義と主張

本論文は、AV生成における重要なボトルネック、すなわち視覚と音響の間の複雑な物理的相互作用を理解できる指標の欠如を解決すると主張しています。視覚に根ざした因果関係への評価パラダイムの移行により、提案されたフレームワークは以下を実現します。

人間と機械のギャップを埋める： 複雑で比較的な人間の判断を、連続的でリファレンスフリーかつグローバルに一貫した自動化された指標へと、見事に蒸留することに成功しました。
信頼できるベンチマークを可能にする： 信号を単に整列させるだけのモデルと、因果的ダイナミクスを理解しているモデルを区別し、物理的接地（グラウンディング）を評価するための標準化されたツール（SyncBench）を分野に提供します。
二重の有用性を提供する： この推定器は、信頼できる評価器としてだけでなく、訓練およびテスト時のスケーリングのための実行可能な報酬信号としても機能し、より物理的に一貫した生成モデルの開発を推進します。