🤖 AI

DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

DynFrame は、効率的な多粒度の動画証拠検索と精密なクレジット割り当てを実現し、複雑な動画理解において最先端の性能を達成するために、学習可能なトークン化されたフレームサンプリング密度とセグメント非依存の GRPO 学習戦略を導入する適応型マルチモーダルフレームワークである。

原著者： Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、DynFrame論文の解説を、創造的な比喩を用いた平易な言葉で翻訳したものです。

大きな問題：「ぼやけたスナップショット」の罠

30 分間の動画で謎を解こうとしていると想像してください。あなたは賢い AI に、「車が衝突したとき、その色は何色でしたか？」と尋ねます。

現在の AI モデルは、しばしば動画の全体を把握する前に、1 枚のぼやけたスナップショットを撮って回答する写真家のように動作します。彼らは動画の冒頭、中盤、終盤からフレームを 1 つずつ選ぶかもしれません。もし衝突がそれらのフレームの間の瞬間に起こった場合、AI はそれを完全に見逃してしまいます。その後、AI は記憶に基づいて答えを推測しようとしますが、これにより「幻覚」（事実を捏造すること）を引き起こすことがよくあります。

より新しいモデルの中には、AI が動画を「巻き戻して」再度見ることを可能にすることでこの問題を修正しようとするものもあります。しかし、これらのモデルは不器用です。通常、小さなクリップを要求し、次に別のクリップ、そしてさらに別のクリップを要求するために、動画を何度も巻き戻さなければなりません。これは遅く、高価であり、AI の「思考プロセス」を非常に長く、混乱したものにします。

解決策：DynFrame（「賢い探偵」）

DynFrameは、AI をはるかに賢い探偵に育てる新しいシステムです。ぼやけたスナップショットを撮ったり、動画を 10 回も巻き戻したりする代わりに、DynFrame は単一のステップで同時に 2 つのことを行うことを学びます。

どこを見るか： 正確な時間範囲（例：「1 分 05 秒から 1 分 10 秒の間を見る」）を選びます。
どの速さで見るか： その特定の瞬間に必要な「フレームレート」（1 秒あたりの画像数）を決定します。

比喩：防犯カメラ
ライブ映像を見ている警備員を想像してください。

従来の AI： 警備員は 10 秒ごとに写真を撮ります。もし 10 時 05 分に泥棒が通り過ぎた場合、警備員は見逃してしまいます。その後、警備員はカメラオペレーターに「ズームイン」して「スロー再生」を依頼し、さらに「もっとズームイン」するために再度連絡しなければなりません。
DynFrame： 警備員は怪しいものを見つけます。瞬時に、彼らはこう言います。「10 時 05 秒に巻き戻して、1 秒間に 60 フレームで表示して！」彼らは事件を解決するための完璧な高速証拠を即座に入手します。

仕組み（「ネイティブトークン」）

この論文では、**トークン化された検索（Tokenized Retrieval）**と呼ばれる巧妙なトリックが紹介されています。
通常、コンピュータに「もっと動画を取得して」と頼むことは、別部署に別々のメールを送るようなものです。DynFrame はこれを会話そのものの一部にします。

AI は思考プロセスの中に、<span>（時間範囲）や <fps>（1 秒あたりのフレーム数）のような特別な「魔法の言葉（トークン）」を直接生成します。

例： AI は考えます。「衝突を確認する必要があります。10.0 秒 - 12.0 秒 6。わかった、これで車が赤だったことが見えました…」

これにより、AI は高速なアクションにはスローモーションビュー（高フレームレート）が必要か、それとも遅い会話には数枚の低速フレームだけで十分かを、**その場（オンザフライ）**で決定できます。

訓練：「セグメント非結合 GRPO」

モデルをこれを行うように訓練するのは難しいことです。AI が答えを間違えた場合、それが間違った時間を見たせいなのか、それとも見た動画を誤解したせいなのかをどうやって判断できるでしょうか？

著者たちは、SD-GRPOと呼ばれる新しい訓練手法を開発しました。

比喩： 学生がテストを受けていると想像してください。
- 従来の方法： 学生が最終的な答えを間違えた場合、たとえ正しい教科書のページを選んでいたとしても、単に計算ミスをしただけであっても、テスト全体で悪い評価を受けます。
- DynFrame の方法： 先生は評価を分けます。「ページ番号は正しかった（よくやった！）」しかし「計算は間違っていた（もう一度やってみて）」
  これにより、AI は正しい動画セグメントを見つける方法と、それを推論する方法を、2 つのスキルを混同することなく、それぞれ個別に学ぶことができます。

結果

著者たちは、DynFrame を 6 つの異なる動画課題（動画内の特定の瞬間を見つけることや、長い映画に関する質問に答えることなど）でテストしました。

性能： 彼らのより小さなモデル（40 億パラメータ）は、はるかに大きく確立されたモデル（70 億〜80 億パラメータ）と同等のパフォーマンスを発揮しました。
効率性： DynFrame は、複数の不器用なステップの代わりに、1 つの賢い検索ステップしか必要としないため、高速であり、計算能力の要求も低いです。

まとめ

DynFrameは、何を見るか「推測」するだけの動画 AI ではありません。それは、「この特定の 5 秒間のクリップを見る必要があるが、スローモーションで見たい」と、すべてを一度に言うことを学びます。これにより、迷ったり時間を浪費したりすることなく、複雑な動画の謎を解決する能力が大幅に向上します。

提供された論文に基づき、DynFrame の詳細な技術的概要を以下に示します。

問題定義

最近のマルチモーダル大規模言語モデル（MLLM）は、ステップバイステップの推論とオンデマンドの視覚的証拠の検索を組み合わせることで、動画理解を進展させてきました。しかし、既存の「動画で思考する（thinking-with-video）」システムは、2 つの構造的な欠陥に悩まされています。

固定されたサンプリング密度: モデルは「どこを見るか（時間的ウィンドウ）」を決定できますが、そのウィンドウ内のフレームレート（サンプリング密度）は通常、固定されたシステムハイパーパラメータです。その結果、微細な証拠を回復するには、しばしば検索呼び出しを繰り返す必要があり、推論コンテキスト長の膨張と学習の複雑化を招きます。
クレジット割り当ての偏り: 現在の強化学習（RL）アプローチは、単一のアドバンテージ信号で生成軌道全体を最適化することが多いです。これにより、「どこを見るか」の決定（検索トークン）に対するクレジットと、「どのように答えるか」の決定（推論トークン）に対するクレジットが混同され、一方が正しく他方が誤っている場合に、学習が非最適化になります。

手法

著者らは、適応的なフレーム検索と動的に交差する視覚言語推論を統合する、エンドツーエンドで学習可能なフレームワーク DynFrame を提案します。中核的なコンポーネントは以下の通りです。

1. トークン化された検索インターフェース
DynFrame は、フレームレートの適応を、自己回帰的な生成軌道内での学習可能な決定として扱います。外部ツール呼び出しの代わりに、モデルは検索コマンドを指定するためにネイティブトークンを出力します。

<span>ts–te</span>: 時間的ウィンドウを定義します。
<fps>f</fps>: サンプリングフレームレートを定義します。
これにより、モデルは単一の検索ステップで、多段階の証拠（運動には密なフレーム、意味には疎なフレーム）を取得できます。

2. 動的フレーム注入
閉じタグ </fps> トークンを生成すると、システムはオンザフライの注入メカニズムをトリガーします。指定されたウィンドウから予測されたフレームレートで $N$ フレームを抽出し、凍結されたビジョエンコーダーでエンコードし、タイムスタンプ付きの視覚トークンを生成バッファに追加します。その後、デコーダーは KV 状態を再プリフィルして、注入後の推論が新たに検索されたフレームに双方向的に注意を払えるようにします。

3. セグメント非結合 GRPO（SD-GRPO）
クレジット割り当ての偏りに対処するため、著者らは検索境界（ $T_{fps}$ ）でロールアウトを分割する強化学習アルゴリズム SD-GRPO を導入します。

サンプリングセグメント（ $t \le T_{fps}$ ）: 予測された時間的範囲と正解との重なり、および予測された FPS の精度に基づいた特定の報酬（ $R_{samp}$ ）を受け取ります。
推論セグメント（ $t > T_{fps}$ ）: タスクの正しさ（例、完全一致または IoU）に基づいた回答固有の報酬（ $R_{ans}$ ）を受け取ります。
トークンレベルのアドバンテージはこれらのセグメントに対して個別に計算され、モデルが最終回答の品質とは独立して良い検索決定を行うこと、およびその逆に対して明示的に報酬が与えられることを保証します。

4. データキュレーション
このフレームワークは、2 つのキュレーションされたデータセットで学習されます。

DM-CoT-74k: 交差した検索コマンドと根拠のある推論を含む教師あり微調整（SFT）データセット。
DM-RL-45k: 正解の時間的範囲と FPS ターゲットを持つ強化学習データセットで、非結合報酬の計算に使用されます。

主な貢献

ネイティブトークン化された適応: DynFrame は、時間的範囲とサンプリング密度をネイティブトークンとして出力することで、適応的な時間的証拠の取得を、外部からスケジュールされたツール操作から、モデルネイティブの推論能力へと変換します。
セグメント非結合最適化: SD-GRPO の導入により、サンプリング決定の最適化と回答推論の最適化を分離したターゲット型のクレジット割り当てが可能となり、検索と推論の共適応を安定させます。
キュレーションされたデータセット: 堅牢なネイティブトークン化適応検索の学習を支援するための DM-CoT-74k と DM-RL-45k の作成。

実験結果

DynFrame は、時間的グラウンディング、グラウンディングされた VideoQA、長編動画理解（NExT-GQA、Charades-STA、ActivityNet-MR、Video-MME、MLVU、LVBench）にまたがる 6 つのベンチマークで評価されました。

性能: DynFrame-8B は、ほとんどの指標で最先端の結果を達成し、強力な 7B–8B ベースライン（Video-o3、VITAL、VideoChat-R1.5 など）を上回りました。DynFrame-4B は、パラメータ数が半分であるにもかかわらず、これらのより大きなベースラインと競合する性能を示しました。
効率性: コンテキスト長を大幅に拡大するマルチターン検索方法とは異なり、DynFrame は単一の検索ラウンドで高い精度を達成し、管理しやすい推論コンテキストを維持します。
アブレーション研究:
- セグメント非結合を除去し（バニラ GRPO を使用）、性能が低下したことは、個別のクレジット割り当ての必要性を確認しました。
- 動的 FPS 予測を固定レートに置き換えると性能が低下し、適応的密度の必要性を検証しました。
- モデルは疎な初期サンプリング（ $f_1$ ）に対して堅牢であり、動的検索を通じて欠落した証拠を正常に回復しました。

意義

本論文は、DynFrame が、システム定義された硬直的な視覚パスから、柔軟でモデル駆動型の証拠取得へと移行するものであると主張しています。「どこを見るか」と「どの程度の密度でサンプリングするか」の両方を決定することを学習することで、モデルはタスク適応的で多段階の証拠を効率的に取得できます。提案された SD-GRPO フレームワークは、生成プロセスの異なる段階に対する学習信号を混同することなく、これらの複雑な検索・推論行動を学習するためのメカニズムを提供します。このアプローチにより、小型モデル（4B）が大型ベースラインと競争でき、長編動画理解における新たな性能基準を確立します。