技術的サマリー：視覚的バイアス除去評価による段階的ポストトレーニングでオムニモーダル言語モデルを強化

問題提起

オムニモーダル言語モデル（LLM）は、音声、視覚、テキスト入力を共同で処理するように設計されている。しかし、本論文は、既存のベンチマークでの高い性能が必ずしも真のオムニモーダル統合を示すものではないと主張する。ベンチマークの性能向上の大部分は、「視覚的ショートカット」に起因する可能性がある。これは、モデルが音声処理を必要とせず、視覚的証拠と質問のみを用いてクエリを解決する現象である。このモダリティの漏れにより、評価はモデルの真のオムニモーダル能力を過大評価してしまう。さらに、ビジュアル・ランゲージおよびオーディオ・ランゲージという個別のバイモーダル能力を強化することが、オムニモーダル理解に十分なのか、それとも明示的なオムニモーダルデータと最適化シグナルが必要なのかは、未解決の課題である。

手法

1. OmniClean：視覚的バイアス除去評価プロトコル

評価漏れに対処するため、著者は 9 つの既存のオムニモーダルベンチマーク（Daily-Omni、WorldSense、OmniBench など）を監査し、視覚的のみで解決可能なクエリを除外するプロトコル「OmniClean」を導入した。

• 視覚のみのプロービング：各クエリに対して音声入力を保持し、強力なビジョン・ランゲージモデル（Qwen3-VL-30B-A3B-Thinking）に、視覚入力（2 fps でサンプリングされたフレーム）とテキスト質問のみを使用して回答を促す。
• フィルタリング規則：16 回のロールアウト（pass@16）のうち少なくとも 1 回で視覚のみのモデルが正しく回答できる場合、そのクエリは「視覚的に回答可能」とマークされ、精製された評価ビューから除外される。
• 例外：2 つのベンチマーク、AV-OdysseyとCG-AV-Countingは全体として保持される。AV-Odyssey は、回答オプションに純粋なビジョン・ランゲージモデルが処理できない音声入力を含む場合があるため、フィルタリングから除外される。CG-AV-Counting は、さらなるフィルタリングでクエリ数が劇的に減少するため、評価の安定性を維持するために保持される。
• 結果：このプロトコルは 16,968 クエリを監査し、OmniCleanデータセットを構成する 8,551 クエリを保持した。このデータセットは、視覚的ショートカットに駆動されにくい「視覚的バイアス除去」テストベッドとして機能する。

2. OmniBoost：段階的ポストトレーニングレシピ

OmniClean を用いて、著者はQwen2.5-Omni-3Bモデルに基づく 3 段階のポストトレーニングパイプラインであるOmniBoostを評価した。本研究では、バイモーダル監督のみが十分なのか、それとも明示的なオムニモーダルシグナルが必要なのかを検証する。

• ステージ 1：混合バイモーダル SFT（対照）：

  • 目的：バイモーダルペア間のバランスの取れた監督がオムニモーダルタスクに転移するかをテストする。
  • データ：音声・テキスト、画像・テキスト、動画・テキスト、純粋なテキストデータのバランスの取れた混合（各 10 億出力トークン）。動画データには、密なキャプションと推論トレースが追加される。
  • トレーニング：モダリティ非依存のパッキングを用いた 1 エポックの教師あり微調整（SFT）。

• ステージ 2：混合モダリティ RLVR：

  • 目的：明示的なオムニモーダルシグナルを用いて推論行動を最適化する。
  • データ：テキストのみ、画像・テキスト、動画・テキスト、音声・画像・テキスト、音声・動画・テキストのクエリを含むキュレーションされた混合データ。混合データは音声・動画・テキストに大きく重み付けされている（54.8%）。
  • アルゴリズム：検証可能な報酬を用いた直接選好最適化（DAPO）。報酬スケジュールは、500 ステップ後にフォーマット精度から根拠のある回答精度へ移行する。
  • トレーニング：1,200 ステップの RLVR。

• ステージ 3：自己蒸留 SFT：

  • 目的：より強力な外部教師なしで、合成データを用いて推論パターンを増幅する。
  • 合成クエリ構築：シード動画（LLaVA-Video）をセグメント化し、Step-Audio-R1（音声）と Qwen3-VL（動画）によってキャプションを付与する。gpt-oss-120b を用いてエンティティ・関係グラフを構築し、空間的および時間的関係を足場とする。これらの要素を組み合わせ、ハードマッチ可能な音声・視覚・テキスト質問を生成する。
  • フィルタリング：3B RLVR チェックポイントが各合成クエリに対して 8 回のロールアウトを生成する。3 つの段階的なフィルタリングパス（F1–F3）により、難易度が高すぎる/低すぎるクエリ、知覚エラーを含むクエリ、または推論/回答が不一致のクエリを除去する。
  • トレーニング：フィルタリングされた合成トレースに対する SFT。データ比率を調整する。

主要な結果

OmniClean における評価

著者は、OmniClean データセット上の結果を報告し、3 つのステージをオープンソースの参照モデル（Qwen2.5-Omni-7B、Qwen3-Omni-30B）と比較した。

• ステージ 1（バイモーダル SFT）：限定的かつ不均一な改善をもたらす。マクロ平均はわずかに改善するのみ（24.92 → 26.49）であり、バイモーダル能力のみが一貫したオムニモーダル性能を保証しないことを示している。
• ステージ 2（RLVR）：最初の広範な改善をもたらす。マクロ平均は31.43に跳ね上がり、ステージ 1 のベースラインを大幅に上回る。これは、明示的なオムニモーダル最適化シグナルが重要であることを示唆している。
• ステージ 3（自己蒸留）：プロファイル依存の改善を示す。ステージ 2 に比べマクロ平均はわずかに31.03に低下するが、クエリ重み付き平均は32.15に上昇する。これは主に AV-Odyssey のような大規模な保持サブセットでの性能向上に起因している。
• より大規模なモデルとの比較：ステージ 3 後、3B モデルはより大規模なオープンソース参照モデルと同等の性能となり、クエリ重み付き平均では、より強力なオムニモーダル教師からの回答を蒸留していないにもかかわらず、Qwen3-Omni-30B-A3B-Instructをわずかに上回る。

アブレーション研究

• データ中心のアブレーション：完全な RLVR ステージを経ずに、ベースの Qwen2.5-Omni-3B をフィルタリングされた合成データセット（F1、F2、F3）で直接トレーニングしても、ベースラインに対して改善が見られる。これは合成監督の有効性を確認するものである。
• 相関のシフト：ベンチマークを精製することで、オムニモーダルスコアと単一モダリティ（視覚のみ）の参照強度との間の相関が低下する。特に WorldSense や Daily-Omni などのベンチマークにおいて顕著であり、評価が真のオムニモーダル統合をより反映するようになったことを検証している。

主要な貢献

1. OmniClean データセット：視覚のみのプロービングで解決可能なクエリを除外して構築された、9 つのベンチマークにわたる 8,551 クエリからなる視覚的バイアス除去評価ビュー。
2. OmniBoost レシピ：バランスの取れたバイモーダル SFT はオムニモーダル改善には不十分であるが、混合モダリティ RLVR と合成オムニモーダルクエリによる自己蒸留が大幅な改善をもたらすことを実証する、段階的ポストトレーニングフレームワーク。
3. 合成クエリ構築：エンティティ・関係の足場とキャプションを用いてハードマッチ可能な音声・視覚・テキストクエリを生成する手法。より強力な教師モデルなしで効果的な自己蒸留を可能にする。
4. 実証的証拠：慎重な段階的ポストトレーニングを通じて、3B モデルが視覚的バイアス除去ベンチマークにおいて、30B パラメータモデルと同等かそれ以上の性能を達成しうることを実証。

意義と主張

本論文は、視覚漏れを評価で制御する際に、オムニモーダル進歩はより意味深く評価されると主張する。発見は以下の点を示唆している：

• 生ベンチマークの性能向上は、真の統合ではなく視覚的ショートカットの悪用を反映していることが多い。
• 小規模なオムニモーダルモデルは、より強力な教師モデルへのアクセスがなくても、慎重に設計された段階的ポストトレーニングと自己蒸留された監督を通じて、大幅な能力向上を遂げうる。
• バイモーダル能力と真のオムニモーダル理解の間のギャップを埋めるには、明示的なオムニモーダルデータと最適化シグナル（特に RLVR）が必要である。

著者は、将来の漏れを考慮したオムニモーダル評価を支援するため、OmniClean 評価データを公開する。本研究は、Qwen2.5-Omni-3B 系統および説明された特定の視覚のみのプロービングプロトコルに限定されている。