技術要約：ビデオの時間的接地のためのTAR（Temporal Anchor-Constrained Reasoning）

1. 問題定義

ビデオ時間的接地（Video Temporal Grounding: VTG）は、未トリミングのビデオ内から自然言語のクエリに対応する特定のセグメントを特定することを要求する。近年の大規模視覚言語モデル（LVLM）は、思考の連鎖（Chain-of-Thought: CoT）を生成するために強化学習（RL）を採用しているが、決定的な限界に直面している。それは**不誠実な推論（unfaithful reasoning）**である。

現在の手法は主に2つのパラダイムに分類されるが、いずれも重大な欠点がある：

1. 結果ベースの教師なし推論（Outcome-based Unsupervised Reasoning）： Time-R1のような手法は、最終的な結果の教師（例：Intersection-over-Union: IoU報酬）のみに依存する。計算効率は高いものの、これは「間違った理由による正解」という現象を引き起こしやすい。つまり、モデルが最終的な指標を満たすために、視覚的内容から乖離したハルシネーション（幻覚）を起こしたり、一般的な記述を生成したりしてしまう。
2. プロセスベースの教師あり推論（Process-based Supervised Reasoning）： Video-VERのような手法は、外部の大型モデルを用いて正解の推論ステップを生成したり、中間ステップをスコアリングするための別個の報酬モデルを利用したりする。これは忠実性を向上させる一方で、膨大な計算コストを要し、モデルを硬直したテンプレートマッチングのパターンへと強制してしまうため、モデルのセマンティックな自律性を損なう。

本論文が取り組む核心的な課題は、高価な外部の教師なしに頼ることなく、またモデルの自律的な推論能力を犠牲にすることなく、いかにして視覚的証拠に密接に接地し、段階的に洗練される推論プロセスを強制するかである。

2. メソドロジー：TARフレームワーク

著者らは、推論の連鎖の中に透明で監査可能なチェックポイントとして**時間的アンカー（Temporal Anchors: T-anchors）**を導入する半教師あり推論パラダイム、**TAR（Temporal Anchor-Constrained Reasoning）**を提案している。

2.1 コアメカニズム：T-アンカー

制約のないテキスト生成の代わりに、モデルはCoT内の特定の区間に<T-anchor>...</T-anchor>タグを挿入するように促される。これらのタグには、中間的な時間の予測（開始時刻と終了時刻）が含まれる。

• 視覚的接地チェックポイント： アンカーメカニズムは、構造的な中断として機能し、「テキストの慣性（モデルがビデオではなく自身が生成したテキストに集中してしまう状態）」を打破する。モデルは、アンカー内のタイムスタンプを正当化するために、視覚的証拠を再評価することを強制される。
• 段階的な洗練（Progressive Refinement）： 推論プロセスは、粗い区間から始まり、反復的に洗練されるように設計されている。後のアンカーは、前のアンカーよりも高い精度を示す必要がある。
• セマンティックな自律性： 言語的な内容を指示する完全教師あり手法とは異なり、TARは数値的なアンカーのフォーマットのみを制約する。アンカー間の自然言語による推論は自由形式のままであり、モデルが自律的にビデオの内容を探索することを可能にする。

2.2 報酬関数

TARは、以下の3つのコンポーネントからなる複合報酬関数 $R(o)$ を用いた強化学習（具体的にはGRPO）を利用する：

1. フォーマット報酬 ($r_{Format}$): 出力が要求された構造（例：<T-anchor>タグに続く最終的な<answer>）に厳密に従っていることを保証する。
2. ソフトIoU報酬 ($r_{sIoU}$): 予測セグメントと正解セグメントの間に重なりがない場合でも連続的な勾配を提供する、修正されたIoU指標（標準的なIoUは0となるが、これは異なる）。これにより、位置のずれの大きさを罰することで、初期段階での安定した学習を可能にする。
3. 時間的アンカー制約報酬 ($r_{TAR}$): 段階的な洗練のロジックを強制するために設計された新しいコンポーネント。以下を含む：
   • 加重精度: 最終的な予測への収束を促すため、後のアンカーにはより高い重みが付けられる。
   • 段階的洗練: 後続のアンカーが前のアンカーよりも正確（sIoUが高い）である場合にのみ、モデルに報酬が与えられる。
   • 長さのペナルティ: 生成されるアンカ数が増えすぎる「報酬ハッキング（無限のアンカー生成による報酬獲得）」を防ぐため、ターゲット数から逸脱した場合に二次的なペナルティが適用される。

2.3 ブートストラップ・データ戦略

ベースモデル（例：7Bパラメータ）は、T-アンカーのための複雑なフォーマット指示に従うことができず、学習の非効率性を招くという大きな障壁がある。これに対し、GPT-4oのような超大規模なプロプライエタリモデルを用いたデータ蒸留に頼ることなく、著者らは**自己ブートストラップ戦略（Self-Bootstrapping Strategy）**を提案している：

1. ベースモデルに対して軽量なGRPOトレーニングを行い、探索的な推論軌跡を生成する。
2. 決定論的なフィルタリングパイプラインを適用し、高品質なサンプル（有効なタグと段階的な精度の向上を必要とするもの）を抽出する。
3. このフィルタリングされたデータセット（30kサンプル）をコールドスタートのための教師あり微調整（SFT）に使用し、その後に最終的なGRPOトレーニングを行う。

3. 主な貢献

1. TARフレームワーク： 推論の連鎖に検証可能なT-アンカーを導入することで、推論プロセスとローカリゼーション結果の間の溝を埋め、忠実性と精度を向上させた。
2. リソース効率の高いブートストラップ： 標準的な7Bモデルを使用して高品質なCoTデータを収集するという、超大規模モデルへの依存を排除したデータ生成パラダイムを提案した。
3. 最先端のパフォーマンス： Charades-STAデータセットにおいて最高水準（61.1 mIoU, 50.2 R1@0.7）を達成し、強力なゼロショット性能をActivityNet-CaptionsおよびTVGBenchで示した。

4. 実験結果

著者らは、Charades-STA、QVHighlights、ActivityNet-Caption、TVGBenchの4つのデータセットでTARを評価した。

• Charades-STA: TAR (7B) モデルは最高のmIoU (61.1) と R1@0.3 (83.6) を達成し、追加の2.5kサンプルで訓練されたTime-R1などの手法を上回った。TARの3Bバージョンも、ほとんどのVLPベースのモデルを凌駕した。
• QVHighlights: TARは既存のVLPおよびRLベースの手法を大幅に上回り、Time-R1と比較して +6.8 mIoU および +5.8 R1@0.7 の改善を示した。
• ゼロショット汎化: ActivityNet-CaptionsおよびTVGBenchにおいて、TARはゼロショット設定で最高のmIoUおよびR1@0.3スコアを達成し、異なるビデオ・クエリ分布間での強力な汎化性能を示した。
• ビデオ質問応答 (VQA): VQAタスク（MVbench, VideoMME）に適用した場合、モデルは「段階的洗練」の推論パターンを維持し、Qwen2.5-VL-7BやTime-R1などのベースラインを上回った。これは、中間アンカーを介した自己修正能力が、論理的判断タスクにも効果的に転移できることを示唆している。
• 忠実度と自律性： Qwen2.5-VL-72Bを用いた評価により、TARはTime-R1（結果ベース）やVideo-VER（プロセスベースの教師あり）と比較して、最も高い推論の忠実度と自律性スコアを達成した。

5. 意義と主張

本論文は、TARが計算効率と推論の忠実性のトレードオフを成功裏に解決したと主張している。外部のスコアラーや純粋な結果ベースの報酬に頼るのではなく、監査可能なチェックポイント（T-アンカー）を導入することで、モデルが自身の思考を視覚的証拠に継続的に接地することを強制している。

著者らは、このアプローチが以下を実現することを強調している：

• 自律性の強化： 制約されたアンカー間で自由な形式の推論を許可することで、モデルが硬直したテンプレートマッチャーになることを防ぐ。
• 効率の向上： トレーニングデータの生成において、高価な外部モデルや大規模なプロプライエタリデータセットの必要性を排除する。
• ギャップの解消： 中間的な推論ステップを最終的なローカリゼーション精度と効果的に一致させ、ハルシネーションを軽減し、「正しい理由による正しい答え」を保証する。

本研究は、TARを、ビデオ理解タスクにおけるLVLMの信頼性を高めるスケーラブルな半教師ありパラダイムとして位置づけている。