論文要約：各種コンピュータビジョンタスク向けニア・ラウ（Near-Raw）なトークンヘッド動画データセット

この論文は、リアルタイムコミュニケーション（RTC）における「トークンヘッド（話者の顔が中心の映像）」動画の処理研究のために、高忠実度で大規模なオープンソースデータセットを提案したものです。既存のデータセットが圧縮アーティファクトを含んでいる、またはドメイン固有の特性を反映していないという課題に対し、カメラネイティブ信号を保存した「ニア・ラウ」なデータセットを提供し、動画圧縮や画質向上モデルの評価基盤を確立しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

• 現状の課題: リアルタイムコミュニケーション（ビデオ会議など）では、トークンヘッド動画が主要なコンテンツですが、この分野の研究（圧縮、超解像、ノイズ除去など）に利用可能な公開データセットは不足しており、信号の忠実度が低いものがほとんどです。
• 既存データセットの限界:
  • VoxCeleb などのウェブソース: 規模は大きいですが、YouTube などのプラットフォームによる圧縮アーティファクトが含まれており、本来の画質劣化を評価できません。
  • VFHQ などの高画質データ: 高解像度ですが、依然としてウェブ動画に由来しており、損失のある圧縮が施されています。
  • Naderi et al. [2] の先行研究: 160 クリップのデータセットを提案しましたが、消費財ウェブカメラの損失出力（VP8 や H.264 など）をそのまま使用していたため、参照信号自体に圧縮アーティファクトが含まれていました。
• 研究の必要性: 超解像や圧縮効率の評価には、カメラのセンサーノイズや低照度条件などの「真のシーンレベルの劣化」を保持しつつ、後処理による損失（再圧縮など）を排除したデータが必要です。

2. 手法とデータセット構築

• データ収集:

  • 規模: 805 名の参加者から、446 種類の異なる消費財ウェブカメラを用いて収集された 847 件のトークンヘッド録画（合計約 212 分、各 15 秒）。
  • 環境: 参加者の自宅やオフィスなど、自然な環境下で録画。
  • キャプチャ手法: 独自の録画アプリケーション（DirectShow/FFmpeg ベース）を開発。カメラがサポートする最大解像度と最高品質のピクセル形式（YUYV422 または NV12 の非圧縮、または MJPEG）を選択。
  • エンコーディング: すべてFFV1 損失レスコーデックでエンコード。カメラファームウェアによるデモザイクやホワイトバランス処理は行われますが、キャプチャパイプライン内での追加の損失圧縮は行われません。これを**「ニア・ラウ（Near-Raw）」**と呼んでいます。
  • 統計: 24.4% が非圧縮、75.6% が MJPEG（カメラファームウェア圧縮）で保存されています。

• 品質アノテーション:

  • MOS（平均評価点）: ITU-T Rec. P.910 に基づく主観評価（ACR 法）により、各クリップに MOS を付与。
  • 知覚的品質トークン: クラウドソーシングによる 3 フェーズのプロセスで、10 種類の品質問題（ノイズ、低解像度、照明/色、ぼやけなど）を特定するラベルを付与。MOS の分散の 64.4% をこれらのトークンで説明可能であることを確認しました。

• ベンチマークサブセット:

  • 847 クリップから、空間情報（SI）、時間情報（TI）、MOS に基づいて層化抽出された 120 クリップをベンチマーク用として選定。
  • 3 つの条件:
    1. TH (Original): 加工なしのオリジナル映像。
    2. TH-BB (Background Blur): 背景ぼかし処理を施した映像。
    3. TH-BR (Background Replacement): 背景置換（バーチャル背景）を施した映像。

3. 主要な貢献

1. 大規模ニア・ラウデータセット: 805 名、446 機種、847 クリップ（15 秒×847）からなる、損失レスエンコードされたトークンヘッド動画データセット。既存の最大データセット（160 クリップ）の 5 倍の規模。
2. 多次元品質アノテーション: ACR 方式の MOS と、10 種類の知覚的品質トークンを組み合わせた評価スキーム。クロススタディでの信頼性（Pearson r ≥ 0.859）を確認。
3. 層化されたベンチマークサブセット: 品質レベル、空間・時間的複雑さ、歪みタイプをバランスよく配置した 120 クリップ（TH, TH-BB, TH-BR の 3 グループ）。
4. コーデック効率評価: H.264, H.265, H.266, AV1 の 4 種類のコーデックに対する評価結果の提示。

4. 実験結果と分析

• コーデック効率の比較:
  • H.264 を基準とした BD-rate（ビットレート削減率）を評価。
  • H.266 が最も優れ、H.264 に対して最大 -71.3% のビットレート削減を実現。
  • エンコーダー×データセットの交互作用: コーデックの性能順位はコンテンツの種類によって変化することが示されました（例：VCD データセットと NR-TH データセットで結果が異なる）。
• 背景処理の影響:
  • 背景ぼかし（TH-BB）や背景置換（TH-BR）は、特に現代のソフトウェアベースコーデック（AV1, H.266）の圧縮効率を大幅に向上させました（H.266 で TH-BR は -77.1% の削減）。
  • 一方、ハードウェアベースの H.265 は背景処理による恩恵が小さく、コーデック間の性能差が広がりました。
• 知覚的歪みの影響:
  • ノイズ: 画像にノイズが多い場合、H.265 の H.264 に対する優位性（VMAF 基準）が低下することが判明しました。AV1 と H.266 はノイズレベルに関わらず H.264 に対する相対性能を維持していました。
  • 背景処理によるノイズ軽減: 背景処理を行うことで、画像の大部分のノイズが除去され、H.265 の性能低下が緩和されました。
• 損失レス参照の重要性:
  • WebRTC 風の損失圧縮（VP8 事前エンコード）をシミュレートしたところ、AV1 と H.266 の BD-rate 削減効果が大幅に減少しました。
  • これは、損失のあるキャプチャパイプラインが、高度なコーデックが利用する信号のバリエーションを減らし、その性能差を隠蔽してしまうことを示しています。

5. 意義と結論

• 研究基盤の確立: このデータセットは、リアルタイムコミュニケーションにおける動画圧縮、超解像、復元、ノイズ除去などのタスクを、より生態学的妥当性（Ecological Validity）の高い条件で評価・学習するための重要なリソースとなります。
• 実用性の示唆: 公開されたクリップの 50% 以上が MOS 3.5 未満（画質劣化が目立つ）であったことは、消費者向けウェブカメラの画質向上モデルの必要性を裏付けています。
• 今後の展望: 損失レス参照データを用いることで、コーデック固有の歪みとキャプチャパイプライン由来のアーティファクトを明確に分離し、より正確なアルゴリズム評価が可能になります。

このデータセットは、オープンソースライセンスの下で公開され、動画処理研究の標準的なベンチマークとして活用されることが期待されています。