💬 NLP

VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

VideoARM は、手動の事前処理に依存せず、適応的なエージェント推論と階層的マルチモーダルメモリを統合することで、長編動画の理解において最先端の性能を達成しつつトークン消費を大幅に削減する新しいパラダイムを提案する。

原著者： Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

原著者： Yufei Yin, Qianke Meng, Minghao Chen, Jiajun Ding, Zhenwei Shao, Zhou Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

VideoARM：長い動画を「賢く」見るための新しい仕組み

こんにちは！今日は、長い動画（映画やドキュメンタリー、会議の録画など）を理解するのを助ける新しい AI の仕組み「VideoARM」について、難しい専門用語を使わずに、わかりやすく説明します。

🎬 従来の方法の悩み：「全部見て、全部メモ」の疲れ

まず、これまでの AI が長い動画を理解しようとするとき、どんな問題があったか想像してみてください。

DVD（以前のすごい方法）：
動画を見せると、AI は「10 秒ごとに区切って、動画のすべてを一度に読み込んで、全部のシーンに説明文をつけて、巨大な辞書を作ってしまう」んです。
- アナロジー： これは、**「1 時間分の映画を見るために、まず映画館の壁紙を全部剥がして、1 枚 1 枚の壁紙に『ここは誰が立っている』と書いて、辞書に貼り付けてから、質問に答える」**ようなものです。
- 問題点： 質問が「主人公が最後に何を食べたか？」だけなのに、冒頭の風景や、関係ない会話まで全部読み込んでしまうので、ものすごく時間がかかり、お金（計算コスト）もバカになりません。

🚀 VideoARM の新発想：「探偵」のように動く

VideoARM は、この「全部やる」スタイルを捨てました。代わりに、**「探偵」**のような動き方をします。

1. 賢い「探偵」と「メモ帳」のチーム

VideoARM は、2 つの重要な役割を持ったチームで動きます。

🕵️‍♂️ 探偵（コントローラー）：
質問を聞いて、「どこを見るべきか」を自分で考えます。「あ、この質問なら、冒頭より中盤のシーンが重要そうだ」と判断し、必要な部分だけを見に行きます。
📓 賢いメモ帳（階層的な記憶）：
探偵が見つけた情報や、自分の考えを、整理されたメモ帳に書き留めます。
- 感覚メモ（Sensory Memory）： 「今、見ている瞬間の映像」を一時保存。
- 結果メモ（Result Memory）： 「さっき調べたこと」を記録。
- 思考メモ（Working Memory）： 「探偵が今、どう考えているか」を記録。

2. 「見る→考える→動く→覚える」のループ

VideoARM は、以下のようなサイクルを繰り返しながら、動画を理解していきます。

見る（Observe）： 探偵がメモ帳を見て、「今の状況はこれだ」と把握します。
考える（Think）： 「質問に答えるには、まだ情報が足りない。あのシーンを見る必要があるな」と計画を立てます。
動く（Act）： 必要なツールを使います。
- 時間制限ツール： 「この 10 分間だけ見て」と範囲を絞る。
- 詳細分析ツール： 「この 10 秒の映像を詳しく見て、何が起こったか説明して」と頼む。
- 音声ツール： 「この部分の会話を文字起こしして」と頼む。
覚える（Memorize）： 見つかった情報をメモ帳に整理して書き込みます。

このように、**「必要な時だけ、必要な場所だけ」**を見て、情報を積み重ねていくので、無駄な作業が全くありません。

🌟 なぜこれがすごいのか？

🍕 ピザの例え：
- 昔の方法： 1 枚の巨大なピザ（動画）を、全部一口サイズに切って、一つずつ味見してから「一番美味しいのはどこ？」と答える。
- VideoARM： 「チーズが乗っている部分（重要なシーン）」だけを探して、そこだけ切り取って味見する。
- 結果： 圧倒的に早く、安く、正確に答えが出せます。
📉 コストの削減：
実験の結果、VideoARM は従来の最高峰の方法（DVD）よりも性能が良く、しかも必要な計算リソース（トークン消費）は1/34 以下に減りました。つまり、**「より安く、より速く、より賢く」**動画を理解できるのです。

💡 まとめ

VideoARM は、長い動画を理解する AI に**「全部を記憶する力」ではなく、「必要な時に必要な情報を探し出す力」**を与えました。

まるで、**「動画という巨大な図書館で、司書が質問に合わせて必要な本だけを素早く見つけてきてくれる」**ようなイメージです。これにより、長い動画の理解が、もっと手軽で、現実的なものになりました。

この新しい仕組みは、動画の要約、会議の議事録作成、教育コンテンツの理解など、私たちの日常に役立つ多くの場面で活躍するはずです！

VideoARM: 階層型メモリに基づく長編動画理解のためのエージェント推論

本論文「VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding」は、長編動画（映画、ドキュメンタリー、講義など）の理解における課題を解決するための新しいフレームワーク「VideoARM」を提案しています。以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細な技術的サマリーを記述します。

1. 問題定義

長編動画の理解は、時間的な構造が長く、多様なモーダル（視覚、音声、テキスト）の手がかりが密に配置されているため、従来のマルチモーダル大規模言語モデル（MLLM）にとって大きな課題です。既存のアプローチには以下の限界がありました：

手動設計の推論パイプライン: VideoTree などの手法は、手動で設計されたクラスタリングやツリー構築に依存しており、モデルの自律的な推論能力を十分に活かせていません。
トークン消費の膨大さ: DVD（Deep Video Discovery）のようなエージェントベースの手法は、動画の全クリップを事前に 10 秒単位で分割し、すべてを MLLM で分析してデータベースを構築します。これは莫大なトークン消費を招き、クエリと無関係な情報の処理による冗長性が生じます。また、このデータベースは静的であり、推論中の動的な発見や振り返りを反映できません。

2. 手法：VideoARM

VideoARM は、「階層型マルチモーダルメモリ（HM3）」上で動作する「適応的なエージェント推論」パラダイムを導入します。静的な前処理に代わり、**「観察（Observe）→ 思考（Think）→ 行動（Act）→ 記憶（Memorize）」**というループを動的に実行します。

2.1. 階層型マルチモーダルメモリ (HM3)

エージェントの推論を支える動的な知識基盤として、3 つの階層からなるメモリを設計しています。

感覚メモリ (Sensory Memory):
- 長期知覚プール ( $P_l$ ): 現在処理中のタイムセグメントのフレームスナップショットを保持し、エージェントの広範な焦点を維持します。
- 短期知覚プール ( $P_s$ ): 局所的な探索や分析でサンプリングされた微細なクリップを一時的に保持し、仮説検証のための作業領域として機能します。
結果メモリ (Result Memory): エージェントの操作で生成された中間結果（分析されたフレーム間隔、ツール出力、時間的順序）を記録し、過去の推論ステップを振り返り、冗長な行動を避けるために使用されます。
作業メモリ (Working Memory): ツール呼び出し前のコントローラーの推論痕跡（思考プロセス）や意図を記録します。これにより、コンテキストの過剰な膨張を防ぎつつ、推論の透明性とエラー分析を可能にします。

2.2. コア-to-ファイン（粗から細へ）の動画推論エージェント

コントローラーは、HM3 に蓄積された証拠に基づき、以下の 2 つのツールセットを適応的に呼び出します。

時間的範囲指定ツール (Temporal Scoping Tools):
- Interval Localizer: クエリに関連する時間領域を特定し、サンプリングするフレーム数を適応的に決定します。これにより、無関係な領域への注意を絞り、トークン消費を大幅に削減します。
- Clip Explorer: 焦点となっているセグメント内の微細な領域を仮説検証のために探査します。
マルチモーダル理解ツール (Multimodal Understanding Tools):
- Scene Snapper: 長時間のセグメントを要約し、高レベルの文脈（シーン説明）を生成します。
- Audio Transcriber: 視覚情報が曖昧な場合、Whisper-1 を用いて音声テキスト化を行い、意味的な証拠を補完します。
- Clip Analyzer: 局所的なフレームを詳細に分析し、サブクエリに対する回答と信頼度スコアを生成します。

コントローラーは、これらのツールを HM3 の状態に基づいて自律的にスケジュールし、動画理解の全過程で動的かつ文脈を考慮した意思決定を行います。

3. 主要な貢献

適応的なエージェント推論パラダイム: 静的なデータベース構築や手動パイプラインに依存せず、クエリに応じた「観察・思考・行動・記憶」のループを通じて、動画理解を効率化しました。
階層型メモリ (HM3) の設計: 知覚情報、中間結果、推論痕跡を階層的に管理し、エージェントが長期的な依存関係を維持しつつ、局所的な詳細を精密に追跡できる仕組みを提供しました。
トークン効率の劇的な改善: 全クリップを事前に処理するのではなく、必要な部分のみを適応的にサンプリング・分析するため、既存の SOTA 手法（DVD）と比較して、長編動画処理におけるトークン消費を大幅に削減しました。

4. 実験結果

Video-MME、LongVideoBench、EgoSchema などの主要な長編動画理解ベンチマークで評価を行いました。

性能: VideoARM は、DVD や他のトレーニングフリー手法、商用 VLM（Gemini-1.5-Pro, GPT-4o など）を上回る性能を達成しました。特に Video-MME では、OpenAI o3 + GPT-4.1 構成で 86.4%（Short）、78.4%（Medium）、75.3%（Long）の精度を記録し、SOTA を更新しました。
トークン効率: 理論的推定および実験結果によると、30 分の動画 1 本を処理する場合、DVD は約 398 万トークンが必要であるのに対し、VideoARM は約 8 万トークン（DVD の約 1/50）で済みます。10 本の動画（平均 41.3 分）を 30 件のクエリで処理した場合でも、DVD の約 1/34 のトークン量で同等以上の性能を発揮しました。
アブレーション研究:
- 全てのツール（Scene Snapper, Audio Transcriber, Clip Analyzer）を組み合わせることで、視覚、音声、要約の相乗効果が得られ、精度が向上しました。
- HM3 の各コンポーネント（特に長期・短期知覚プールと結果メモリ）を除去すると性能が低下し、階層型メモリの重要性が確認されました。
- ステップ予算（ $N$ ）を 10 に設定することで、性能と効率の最適なバランスが得られました。

5. 意義と結論

VideoARM は、長編動画理解において「計算コストの削減」と「推論精度の向上」を両立させる実用的なソリューションを提供します。

効率性: 事前の exhaustive な処理を排除し、エージェントがクエリに基づいて必要な情報だけを動的に収集・分析するため、リソース消費が最小化されます。
汎用性: 追加のモデル微調整（Fine-tuning）を必要とせず、既存の強力な MLLM をエージェントとして活用するトレーニングフリーなアプローチです。
将来性: 動的なメモリ管理と適応的なツール呼び出しの組み合わせは、単なる動画理解を超え、複雑な時間的推論が必要なタスク全般に応用可能なアーキテクチャを示唆しています。

本論文は、LLM/MLLM ベースの動画理解が、手動設計や大量の事前処理に依存する段階から、自律的で効率的なエージェント推論へと進化することを示す重要な一歩です。