技術概要：動画広告の注視予測のための ViASNet

問題定義

デジタルメディアの環境は、テレビ、ソーシャルメディア、e コマースプラットフォームにわたるショートフォーム動画広告へと移行している。これらの広告は高いエンゲージメントを達成し得る一方で、その ubiquity（至る所に存在すること）は大きな「クラッター（雑多さ）」を生み出し、広告主が視聴者の注意を捉えるコンテンツを設計することを困難にしている。広告効果を評価する従来の手法は、注視のばらつきを分析するために、神経生理学的測定、特にアイトラッキングに依存している。しかし、アイトラッキングデータの収集と処理はコストが高く時間がかかるため、生成 AI の台頭に伴い特に増加している大量の動画広告の迅速かつ大規模なテストを妨げている。

既存の注視予測の計算モデルは、動画広告に適用される際にいくつかの課題に直面している：

1. 時間的ダイナミクス：動画フレームと眼球運動の同時的な時間的ダイナミクスをモデル化することは、計算上困難である。
2. シーンカット：動画広告は、意図的な急速なシーン切り替えを特徴とし、眼球運動のパターンを乱すため、モデルは急激な遷移を考慮する必要がある。
3. 意味的および音声の影響：注視は、コントラストや動きなどの低レベル視覚特徴だけでなく、高レベルのシーン意味論や音声ストリームによっても駆動され、これらは特定の視覚特徴を強化し得る。
4. 既存モデルの限界：最先端の動的注視モデルは、しばしばクリップの最終フレームのみに対して注視を予測するか、シーンの物語や音声を効果的に取り込むことに失敗している。

手法：ViASNet

著者らは、ショートフォーム動画広告におけるエンドツーエンドの動的注視予測のために設計された深層学習アーキテクチャである**ViASNet（Video Ad Saliency Network）**を提案する。このモデルは 3D U-Net 構造に基づいて構築され、フレームごとの注視マップを予測するためにマルチモーダル入力を統合する。

アーキテクチャ構成要素

1. 入力前処理：

   • 動画広告は PySceneDetect を使用してシーンにセグメント化される。
   • 視覚フレームは $224 \times 384$ にリサイズされる。
   • 生音声信号は $[-1, 1]$ に正規化され、視覚フレームと整合が取られる。前処理の主観性を減らすため、周波数領域への変換は行わない。
   • 真の注視マップ（Ground-truth）は、アイトラッキングデータからガウスブラーと最小 - 最大正規化を使用して生成される。

2. エンコーダ：

   • 視覚エンコーダ：動き認識用に設計された事前学習済みのS3Dバックボーン（因数分解された 3D 畳み込み）を利用する。これはシーンのバッチを処理して空間的および時間的特徴を抽出する。
   • 音声エンコーダ：生音声信号を処理するための、特徴ピラミッドアーキテクチャ（ボトムアップおよびトップダウン経路を横方向接続で結合）を備えたカスタム 7 層 CNN。
   • シーン意味論エンコーダ：大規模マルチモーダルモデルQwen3-VL-Plusを使用してシーンキャプションを生成する。物語の連続性を捉えるため、前のシーンのキャプションを現在のシーンのプロンプトに注入する。これらのキャプションは、微調整されたBERT（BERT-base-uncased）モデルを使用してエンコードされる。

3. マルチモーダル融合：

   • 視覚、音声、意味論からの特徴は連結され、**マルチモーダル統一注意ネットワーク（MUAN）**によって処理される。
   • このブロックは、モダリティ内の依存関係のために自己注意を、モダリティ間の依存関係（例：音声 - 動画、動画 - 意味論）のために協調注意を採用し、モデルがモダリティ間の複雑な相互作用を捉えることを可能にする。

4. デコーダと読み出し：

   • デコーダは、アップサンプリングのための転置畳み込みを備えた U-Net 構造に従い、空間的詳細をエンコーダから保持するためにスキップ接続を利用する。
   • 読み出しネットワーク（ResNet ボトルネックブロックに類似）は、結合された特徴を処理し、チャネルの深さを減少させて空間パターンを捉えた後、元の深さを復元する。

5. 出力の精緻化：

   • 最終出力は、視聴者が画面の中心に注視する傾向を考慮するために、学習可能な 2D ガウスカーネルを介してモデル化されたセンターバイアス成分を組み込む。
   • 学習可能なガウスブラーが出力に適用されて注視マップを平滑化し、その後、確率分布を生成するために softmax 活性化が適用される。

このモデルは、予測された注視マップと真の注視マップ間のカルバック・ライブラー（KL）ダイバージェンスを使用してエンドツーエンドで訓練される。

主要な貢献

1. 新規アーキテクチャ：統一注意メカニズムを介して視覚、音声、意味論的シーン情報を統合する、専用の深層注視ネットワークである ViASNet の開発。
2. マルチモーダル統合：音声ストリームおよびシーン意味論（LLM によって生成されたキャプションを介して）が視覚的注視に与える影響の明示的なモデル化。これは、以前の動的注視モデルにおけるギャップを埋めるものである。
3. 診断ツール：予測された注視マップから計算されたフレームごとのエントロピーを、視聴者エンゲージメントを診断する指標として導入。高いエントロピーは低いエンゲージメント（散漫な注意）を示し、低いエントロピーは高いエンゲージメント（集中した注意）を示す。
4. 包括的な評価：各広告あたり約 20 人の視聴者からのアイトラッキングデータを有する 151 本の動画広告（136 本を訓練用、15 本をテスト用）のデータセットにおける広範なテスト。

結果

このモデルは、4 つのベースライン（Itti-Koch（計算機ベース）、BMS（計算機ベース）、DeepGaze IIE（深層学習、静的訓練済み）、ViNet-S（深層学習、動的訓練済み））に対して評価された。

• パフォーマンス指標：ViASNet は、テストセットにおいて 6 つの評価指標すべて（KL、CC、NSS、SIM、AUC、s-AUC）で最先端のパフォーマンスを達成した。
  • DeepGaze IIE を AUC で 20% 以上、他の指標でも大幅に上回り、フレームごとの静的予測に対する動的モデル化の利点を浮き彫りにした。
  • 多くの指標で ViNet-S を凌駕し、動画広告に特化したそのアーキテクチャの有効性を示した。
• アブレーション研究：コンポーネントを除去する実験により、統一注意メカニズム（除去時に KL が 4.0% 増加）と読み出しネットワーク（3.8% 増加）の重要性が確認された。音声とキャプションの注意は個々の影響が小さかったが、パフォーマンスに測定可能な貢献をしていた。
• エントロピー分析：この研究は、予測されたエントロピーが真の注視のばらつきと相関することを示した（相関 0.51）。エントロピー指標は、散らばった物体やテキストによる高いエントロピーを持つシーンなど、視聴者の注意を惹きつけられなかった特定のシーンや広告全体、そして（顔や製品に焦点を当てた）低いエントロピーで注意を維持したシーンを特定することに成功した。

意義と主張

著者らは、ViASNet を、大量かつ低コストの生産時代における動画広告テストの拡張という課題に対する実用的な解決策として位置づけている。論文は以下を主張している：

• 自動化：ViASNet は、未見の動画広告に対する動的注視マップの自動予測を可能にし、高価で時間のかかるアイトラッキング研究への依存を軽減する。
• 診断能力：フレームごとのエントロピーを計算することで、システムは注意を惹きつけられなかった特定のシーンや広告を特定でき、広告主はリリース前にパフォーマンスの低いコンテンツを修正または削除できる。
• ヒト・イン・ザ・ループ：著者らは控えめに、ViASNet は人間の広告テストを代替するものではなく、むしろヒト・イン・ザ・ループ（HITL）環境におけるツールとして機能すべきであると提案している。このアプローチは、自動化されたテストの速度と人間の戦略的監督を組み合わせ、広告設計を導き、真正性と倫理的配慮を維持する。

この研究は、ViASNet のような深層注視モデルが、競争の激しいショートフォーム動画環境において視聴者エンゲージメントを最適化するための重要な診断を提供し、広告設計とテストのサイクルを大幅に加速し得ると結論づけている。