技術要約: CineCap

問題定義

シネマトグラフィック・キャプション（映画的なキャプション生成）の目的は、ビデオ内で「何が起きているか」を単に記述するのではなく、プロフェッショナルな映画用語の概念を用いて「どのように」撮影されているかを記述することである。このタスクでは、カメラの動き、ショットサイズ、撮影角度、被写界深度、構図、および被写体の向きという6つの特定の次元を網羅する、統一されたオープン形式の記述を生成することが求められる。

著者らは、この領域における3つの主要な課題を特定している：

1. 微細な推論（Fine-grained Inference）: モデルは、プロフェッショナルな概念を推論するために、微妙な視覚的手がかり（例：カメラの動きと被写体の動きの区別、あるいはクローズアップとミディアムクローズアップの区別など）を識別しなければならない。
2. 時空間的な構成性（Temporal Compositionality）: シネマトグラフィックなパターンはしばしば動的かつ複合的である。単一のビデオには、時間の経過とともに変化する複数のカメラ挙動が含まれることがあり、単一の静的なラベルではなく、時間的なローカライゼーションが必要となる。
3. 包括性と正確性の両立（Comprehensiveness vs. Accuracy）: 高密度なキャプション生成タスクとして、出力は事実として正確であると同時に、すべての関連する次元をカバーしていなければならない。既存のアプローチはこれらを両立させることに苦慮することが多く、しばしば正確性のために包括性を犠牲にするか、あるいはその逆の結果を招く。

現在のマルチモーダル大規模言語モデル（MLLM）は、主に視覚的質問応答（VQA）や限定的なカメラモーション認識によってこれに対処しているが、統一された多次元的な記述を生成するには至っていない。

手法: CineCap フレームワーク

著者らは、記述の完全性と事実の正確性のバランスを取りつつ、明示的な視覚的証拠に基づいたキャプション生成を実現するために設計された2段階のフレームワーク、CineCapを提案している。

1. 時空間アンカーに基づく構造化推論

プロフェッショナルな概念を推論する複雑さに対処するため、本フレームワークは**時空間アンカー（Spatio-Temporal Anchors）**を導入している：

• 空間アンカー（Spatial Anchors）: 抽象的な映画的概念を、観察可能な視覚的証拠に結びつける。例えば、カメラの動きは静止した背景のリファレンスの動きから推論され、ショットサイズは被写体のスケールによって決定される。
• 時間アンカー（Temporal Anchors）: 動的な属性を特定の時間間隔（例：$[t_s, t_e]$）に結合し、クリップの期間中にカメラの挙動が変化するような複合的なパターンを記述することを可能にする。

2. ステージ1: 原子的なCoTを用いた教師あり微調整（SFT）

制約のない長い形式の推論ではなく、著者らは**原子的な思考の連鎖（Atomic Chain-of-Thought: CoT）**による監督を構築した。

• 原子的な構造: 推論はコンパクトな単位に整理される。動的な属性については、形式は [時間アンカー] [空間アンカー] → ステートメント となる。静的な属性については、直接的なステートメントが使用される。
• データ構築: 手動でアノテーションされたビデオとキャプションのペアから出発し、各記述の根拠となる視覚的証拠を復元することで、「証拠から回答へ」というCoTを作成する。これにより、80,000個の訓練サンプルが得られる。
• 目的: このステージでは、不必要に長い推論の連鎖に頼ることなく、視覚的証拠を構造化された多次元的な推論へと整理する方法をモデルに学習させる。

3. ステージ2: GRPOによる強化学習

SFTモデルは、包括性と正確性のトレードオフを改善するために、**グループ相対方策最適化（Group Relative Policy Optimization: GRPO）**を用いてさらに最適化される。

• LLM-as-a-Judge: LLMは、生成されたキャプションを6つの次元にわたる原子的なステートメントに分解し、それらを正解（Ground Truth）と比較することで、以下のスコアを算出・評価する：
  • 包括性スコア ($s_{cmp}$): 正解に含まれる内容のうち、カバーされている割合。
  • 正確性スコア ($s_{acc}$): 生成された内容の事実としての正しさ。
• ゲート付きカバレッジ報酬（Gated Coverage Reward）: モデルが、正確性を高めるために短い保守的なキャプションを選択したり、逆にハルシネーションを含む長いキャプションを選択したりすることを防ぐため、ゲート付きカバレッジ報酬が導入されている。
  • この報酬は、予測された原子的なステートメントの数と正解のステートメント数の差（$|N_{gt} - N_{pred}|$）に対してペナルティを課す。
  • ゲーティング機構: カバレッジ報酬は、正確性スコアが閾値（$\tau$）を超えた場合にのみ活性化される。これにより、モデルは記述の範囲を広げる前に、事実としての正確性を優先するように制御される。

主な貢献

1. 斬新な視点: 本論文は、キャプション生成を明示的な時空間的視覚的証拠に根ざしたものへと再定義することで、映画的属性の相互作用と時間的構成性の問題に対処した。
2. CineCap フレームワーク: 時空間アンカーに基づく構造化推論と、ゲート付きカバレッジ報酬メカニズムを組み合わせた統一的なシステム。これにより、記述の包括性と正確性のバランスのとれたトレードオフを実現した。
3. CineCap ベンチマーク: 多様なシネマトグラフィックな側面をカバーする、472組の手動アノテーション済みビデオ・キャプション対からなる、初の包括的なシネマティック・キャプション用ベンチマークを構築した。
4. 最先端の性能: 実験により、CineCapがプロプライエタリなモデル（例：Gemini-3.1-Pro）およびオープンソースのベースライン（例：Qwen3-VL, InternVL）の両方に対して、すべての指標において優れた性能を示すことを実証した。

実験結果

CineCap ベンチマークによる評価において、本モデルは強力なベースラインに対して大幅な改善を示した：

• 全体的な性能: CineCapは73.57の総合F1スコアを達成し、最強のベースライン（Gemini-3.1-Pro）を32.41%（52.45 vs. 73.57）上回った。
• 次元別の利得:
  • カメラの動き: F1スコアは、ベースラインの~40-52から、57.44（Cmp/Accの平均）へと向上した。
  • 被写界深度: 81.29（Cmp/Accの平均）を達成し、47-48付近を推移していたベースラインから劇的な飛躍を見せた。
  • カメラ角度: 89.20を達成し、他のモデルを大きく引き離した。
• アブレーション研究:
  • 直接的なキャプションSFTを原子的CoT SFTに置き換えることで、F1スコアが約1ポイント向上し、構造化された監督の価値が確認された。
  • 提案された報酬設計を用いたGRPOを追加することで、F1スコアがさらに約3.36ポイント向上した。
  • ゲート付きカバレッジ報酬は、正確性を犠牲にして完全性を高めてしまう単純な長さペナルティよりも優れていることが判明した。

意義と主張

本論文は、CineCapがシネマティック・キャプションの新基準を確立すると主張している。その意義は以下の点にある：

• VQAからの脱却: 制約のある認識から、映画言語の多次元的な性質を捉える、統一されたオープン形式の生成へと移行した。
• 制御可能な生成の実現: カメラ属性の精密なモデリングが不可欠な、制御可能な映画品質のビデオ生成のための基礎を提供する。
• 手法の厳密性: 明示的な時空間推論と、注意深く設計された報酬メカニズム（特にゲート付きカバレッジ報酬）を組み合わせることが、高密度ビデオキャプションにおける正確性と包括性の相反する目的を両立させる上で有効であることを示した。

著者らは、本研究がシネマティックな理解に関するさらなる研究を促進し、制御可能なシネマティック・ビデオ生成を必要とするダウンストリーム・タスクを支援すると結論付けている。