VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought

本論文は、大規模な比較データセットと階層的なオペレータースケジューリング戦略を活用して劣化を高精度に知覚し、効率的な復元経路を探索する、新しい retrieval-augmented 型動画復元エージェント「VQ-Jarvis」を提案するものです。

要約

この論文は、**「傷ついた動画を、まるで名医が患者を診るように、状況に合わせて最適な治療法を即座に選び、見事に治す AI 助手」**についての話です。

タイトルは**「VQ-Jarvis（VQ ジャービス）」**といいます。
「ジャービス」という名前は、映画『アイアンマン』に登場するトニー・スタークの頭脳的な AI 助手にちなんでいます。この AI は、劣化した動画を「鋭い目（Sharp Vision）」で見て、「素早い思考（Fast Thought）」で最善の修復手順を決めるのです。

以下に、専門用語を使わず、日常の例え話で解説します。

---

1. 何が問題だったのか？（昔の動画修復の悩み）

昔の動画修復技術は、**「万能薬」**のようなものでした。
「動画がボヤけてる？なら、この『ボヤけ取り薬』を全部に塗ればいい！」という考え方です。

しかし、現実の動画はもっと複雑です。

• 暗い上に雨降りで、さらに画質が粗い。
• 色がおかしい上に、ノイズが混じっている。

「万能薬」では、雨を取り除こうとすると暗さが悪化したり、ノイズを消そうとすると色が飛んだりして、**「治したはずなのに、別の場所が壊れてしまう」**という失敗が多発していました。また、どの薬を「どの順番」で使うかを決めるのが難しく、試行錯誤に時間がかかりすぎていました。

2. VQ-Jarvis のすごいところ：2 つの能力

VQ-Jarvis は、この問題を解決するために、2 つの特別な能力を持っています。

① 鋭い目（Sharp Vision）：「プロの目利き」

まず、AI は動画の傷（劣化）を正確に見極めます。

• 普通の AI： 「暗いね、雨だね」と大まかに判断する。
• VQ-Jarvis： 「雨の強さはこれくらい、暗さはこれくらい、そして『この修復方法 A』と『修復方法 B』を比べると、A の方が雨粒の跡が自然に残っているな」という極微細な違いまで見抜きます。

これを実現するために、研究チームは**「VSR-Compare」**という、2 万組もの「修復前 vs 修復後」の動画比較データセットを作りました。まるで、料理の味見を何万回も繰り返して「プロの舌」を養ったようなものです。

② 素早い思考（Fast Thought）：「賢いルート選択」

次に、どうやって直すかを決めます。ここが最も画期的な部分です。

• 簡単なケース（軽傷）：
  「あ、この動画は雨だけか。じゃあ、過去のデータから『雨の動画』の成功例を即座に引っ張ってきて、同じ手順で直せば OK！」
  → これは**「RAG（検索支援）」**という技術で、過去の成功体験（データベース）から最適な答えを瞬時に探します。

• 難しいケース（重傷）：
  「暗くて、雨で、ボヤけて、ノイズも混じってる…。これは複雑だ。」
  → この場合は、AI が**「ステップバイステップ」**で考えます。「まず雨を消すか？それともまず明るくするか？」と、複数の候補を試して、一番良い結果になる順番を自分で組み立てます。

このように、**「簡単なものは即座に解決し、難しいものだけ慎重に考える」**という使い分け（階層的なスケジュール）を行うため、非常に高速で、かつ高品質な修復が可能です。

3. 具体的なイメージ：動画修復の「料理」

このシステムを**「料理」**に例えてみましょう。

• 昔のやり方：
  食材が腐ってたり、焦げたり、塩辛かったりしても、「とりあえず万能調味料を全部混ぜる」。
  → 味はバラバラで、美味しくならないことが多い。

• VQ-Jarvis のやり方：

  1. 味見（鋭い目）： 食材の状態を詳しくチェック。「焦げは浅いけど、塩分が足りないな。でも、この魚は鮮度が落ちているから、まず下処理が必要だ」
  2. レシピの選択（素早い思考）：
     • 「単に塩が足りないだけ？」→ **過去の成功レシピ（RAG）**から「塩加減の調整」だけを即座に適用。
     • 「焦げと鮮度の問題が複雑に絡んでる？」→ シェフ（AI）が「まず下処理→次に炒める→最後に味付け」という最適な手順をその場で組み立てる。

4. なぜこれが重要なのか？

この技術は、単に動画を綺麗にするだけでなく、**「AI が自分で判断して、最適な道具を使い分ける」**という新しい時代の入り口です。

• リアルタイム性： 難しい計算を全部やる必要がないため、処理が速いです。
• 高品質： 人間の目には見えない微細な違いまで考慮して修復するため、自然で美しい動画になります。
• 汎用性： 暗い動画、雨の動画、古い動画など、どんな状況でも対応できます。

まとめ

VQ-Jarvis は、**「傷ついた動画を、プロの修復士が『状況を見て』、『過去の成功例を参考にし』、『最適な手順で』治してくれる、超優秀な AI 助手」**です。

これまでは「一つの機械で全部直す」のが主流でしたが、これからは「AI が頭を使って、状況に合わせて道具を使い分ける」時代が来ることを示す、非常に重要な研究成果と言えます。

技術概要

VQ-Jarvis: 鋭い視覚と迅速な思考を備えた検索拡張型動画復元エージェント

技術的サマリー（日本語）

本論文は、実世界の複雑な劣化条件下における動画復元タスクを解決するために提案された、VQ-Jarvis（Video Quality Jarvis）と呼ばれる新しいエージェントベースのシステムについて詳述しています。従来の静的なアーキテクチャや固定された推論パイプラインの限界を克服し、動的な意思決定、高精度な品質知覚、効率的な探索戦略を実現する「検索拡張型（Retrieval-Augmented）のオールインワン型」動画復元エージェントです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

実世界の動画復元は、ノイズ、圧縮歪み、ぼけ、低解像度、暗所など、多様で不均一な劣化（Heterogeneous Degradations）が混合し、時間的に変化する複雑な状況に直面しています。
既存の手法には以下の課題がありました：

• 静的なアーキテクチャの限界: 特定の劣化に特化したモデルや、単一ネットワークで全てを処理する「オールインワン」モデルは、実世界の多様な劣化パターンやその組み合わせに対して適応性が低く、一般化が困難です。
• 品質知覚の不足: 既存のエージェントシステムは、CLIPIQA や ManIQA などの一般的な画像品質指標に依存していますが、これらは「元のコンテンツが同じで、わずかに異なる復元結果」を比較する際（ペア比較）、人間の知覚と乖離しており、最適な復元結果を選別できません。
• 非効率的な探索戦略: 現在のエージェントは、試行錯誤的な貪欲探索（Greedy Search）に依存しており、計算コストが高く、推論時間が長くなっています。しかし、類似の劣化パターンを持つ動画は、最適な復元戦略（オペレータの順序や組み合わせ）が類似しているという前提が見過ごされていました。

2. 提案手法 (Methodology)

VQ-Jarvis は、「鋭い視覚（Sharp Vision）」と「迅速な思考（Fast Thought）」の 2 つの目標を達成するために設計されています。

A. 鋭い視覚：VSR-Compare データセットと学習モデル

• VSR-Compare データセットの構築: 動画のペア比較に特化した初の大規模データセット（約 2 万ペア）を構築しました。7 種類の劣化タイプ、11 種類の復元オペレータ、多様なドメイン（AIGC、人物、自然風景など）を網羅しています。
  • アノテーション戦略: 複数の大規模マルチモーダル言語モデル（MLLM: Qwen-MoE, GPT-4o, Gemini3 Pro）による投票と推論の統合、および人間の専門家による検証を組み合わせた「人間と機械の協調アノテーション」を行い、高品質な評価ラベルを生成しました。
• モデルの学習:
  • **劣化知覚モデル **(Degradation Perception Model): 動画の劣化タイプと品質スコアを推定します。
  • **マルチオペレータ判定モデル **(Multi-operator Judge Model): 複数の復元候補から、視覚品質、時間的一貫性、動的度合いの観点で最も優れたものを選択するモデルです。
  • これらのモデルは、**GRPO **(Group Relative Policy Optimization) を用いて、ペア比較に基づく選好データから学習されました。

B. 迅速な思考：階層的オペレータスケジューリング

劣化の難易度に応じて、最適な復元経路を効率的に決定するハイブリッド戦略を採用しています。

1. **ワンステップ検索 **(One-Step Retrieval):
   • 劣化が比較的軽度な動画に対して適用されます。
   • 事前に学習済みの「検索拡張生成（RAG）ライブラリ」から、入力動画と最も類似した劣化特性を持つ動画の最適な復元経路（オペレータの順序と選択）を直接取得・適用します。
   • 検索空間を全探索する必要がないため、推論が高速です。
2. **ステップごとの貪欲探索 **(Step-wise Greedy Search):
   • 複雑で困難な劣化ケースに対して適用されます。
   • 復元タスクをサブタスク（除雨、低照度補正、超解像など）に分解し、各ステップで候補オペレータを適用・比較して、最も品質が高いものを選択する貪欲探索を行います。
   • 判定モデル（Judge Model）が中間結果を評価し、最適な経路を構築します。

3. 主要な貢献 (Key Contributions)

1. VQ-Jarvis の提案: 検索拡張と適応的スケジューリングを統合した、実世界向けの高機能動画復元エージェント。
2. VSR-Compare データセットの構築: 動画のペア比較に特化した初の大規模データセット（20K ペア）。これにより、微妙な復元結果の違いを識別するモデルの学習が可能になりました。
3. 階層的スケジューリング戦略: 動画の難易度に基づいて「RAG による即時検索」と「詳細な貪欲探索」を動的に切り替えることで、精度と効率のバランスを最適化しました。
4. 広範な実験による検証: 実世界の超解像や多様な劣化復元タスクにおいて、既存の最先端手法（SeedVR2, FlashVSR, DOVE など）を凌駕する性能を実証しました。

4. 実験結果 (Results)

• **実世界超解像タスク **(UDM10, YouHQ40): 非参照指標（CLIPIQA, DOVER, VQ-Insight）において、既存の単一モデルやメトリクスベースの選択手法（DOVER-guide）を上回る性能を示しました。
• 多劣化復元タスク: 複数の劣化が混在するシナリオ（暗所＋雨＋ぼけ＋低解像度など）において、ランダム選択や単純なルーティング手法と比較して、歪み指標（LPIPS, DISTS）と知覚品質指標の両方で優れた結果を達成しました。
• 劣化検出精度: 劣化の検出精度において、Qwen3-VL や Gemini3 Pro などの汎用 MLLM を大幅に上回る精度（平均 91.53%）を達成しました。
• 効率性: 階層的スケジューリングにより、完全な貪欲探索に比べて推論時間を大幅に短縮しつつ、高い復元品質を維持しました（RAG 利用時は約 12 秒、貪欲探索併用時でも約 17 秒程度）。

5. 意義と将来展望 (Significance)

VQ-Jarvis は、動画復元を「静的な処理パイプライン」から「動的な意思決定プロセス」へと転換させる重要な一歩です。

• 知覚と意思決定の統合: 単に画像を復元するだけでなく、「どの劣化が存在するか」「どの復元手法が有効か」を高精度に知覚し、文脈に応じて戦略を変更する能力を実証しました。
• データ駆動型エージェント: 大規模なペア比較データセットと人間・AI 協調アノテーションの重要性を示し、将来的な知能化された視覚システムにおける「経験に基づく意思決定」の基盤を提供しています。
• 実用性: 計算リソースを効率的に配分するハイブリッド戦略は、リアルタイム性が求められる実社会のアプリケーション（監視、自動運転、ストリーミングなど）への適用可能性を大きく高めています。

本論文は、動画復元分野において、AI エージェントが単なるツールではなく、状況に応じた「思考」と「判断」を行う自律的なシステムとして進化し得ることを示す画期的な研究と言えます。