💬 NLP

CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

この論文は、動画の冗長性を効率的に利用するためにコーデックのプリミティブ（運動ベクトルと残差）を活用し、従来のキーフレームサンプリングや完全画像処理の課題を克服することで、推論速度とトークン使用量を大幅に削減しつつ、多様な動画理解タスクで高い性能を維持する新しい VideoLM「CoPE-VideoLM」を提案しています。

原著者： Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、「動画 AI（VideoLM）」を劇的に速く、軽く、そして賢くする新しい方法を紹介しています。

タイトルは**「CoPE-VideoLM」**。少し難しい名前ですが、その仕組みを「動画の圧縮技術」を逆手に取ったアイデアだと考えると、とてもわかりやすくなります。

以下に、専門用語を排して、日常の例え話を使って解説します。

🎬 従来の方法：「フル HD 動画を 1 枚ずつ見る」

今までの動画 AI は、動画を理解するために、「すべてのフレーム（1 秒間に 30 枚ある静止画）」をフルカラーで、高画質のまま AI に見せていました。

イメージ: 1 時間の映画を AI に見せる際、AI は「1 枚 1 枚の写真を拡大して、色や形をすべて記憶する」作業を 1 万回以上繰り返します。
問題点:
- 重すぎる: 処理に時間がかかりすぎます（「最初の答えが出るまで」が待ち時間になります）。
- メモリの壁: 長い動画を見せると、AI の記憶容量（コンテキストウィンドウ）がパンクしてしまいます。
- 無駄: 動画の多くは「前のフレームとほとんど変わらない」のに、AI は毎回「全部」を計算しています。

🚀 CoPE-VideoLM の方法：「動画の『差分』だけを見る」

この論文のアイデアは、「動画の圧縮技術（コーデック）」が元々持っている仕組みをそのまま使うというものです。

動画ファイル（MP4 など）は、容量を減らすために以下のように作られています。

I フレーム（キーフレーム）: 完全な写真（フルカラー）。
P フレーム（予測フレーム）: 「前の写真からどこが動いたか（動きベクトル）」と「色が変わった部分だけ（残差）」しか記録していない、超コンパクトなデータ。

CoPE-VideoLM は、AI に「フルカラーの全フレーム」を見せるのではなく、**「I フレームは写真として見せ、P フレームは『動き』と『変化』のメモだけを見せる」**という戦略をとります。

🍳 料理の例えで説明

従来の AI: 料理の工程を説明する際、「鍋、卵、フライパン、卵を割る、卵が落ちる、卵が割れる…」と、すべての瞬間の写真を 1 枚ずつ並べて説明します。
CoPE-VideoLM: 「鍋とフライパンはそのまま（I フレーム）。卵を割る瞬間は『卵が割れた』という変化のメモだけで十分（P フレーム）」と説明します。
- 結果: 説明に必要な紙の枚数（トークン数）が93% 減！でも、料理の工程（動画の意味）は完璧に伝わります。

✨ この技術の 3 つのすごい点

1. 🏎️ 爆速の反応速度（Time-to-First-Token）

AI が動画を始めて見てから、最初の答えを言い出すまでの時間が最大 86% 短縮されました。

例え: 従来の AI が「図書館の全図書を 1 冊ずつ読みながら質問に答える」のに対し、CoPE-VideoLM は「目次と重要なページだけを見て即答する」感じです。
メリット: ロボットがリアルタイムで動画を理解して行動したり、チャットボットがすぐに反応したりできるようになります。

2. 📦 圧倒的な軽さ（トークン削減）

必要なデータ量が最大 93% 減りました。

例え: 従来の方法だと「1 時間の動画を理解するのに 1 万枚のメモ」が必要だったのが、この方法だと**「700 枚のメモ」**で済みます。
メリット: これまで AI が扱えなかった「数時間にも及ぶ長い動画」も、同じメモリ容量で理解できるようになりました。

3. 🧠 賢さはそのまま（精度向上）

「メモだけ」だと情報が不足してバカになるのでは？と思いがちですが、実は精度は向上しました。

理由: 従来の「1 秒に 1 枚」などの適当な切り取り方だと、重要な瞬間（ボールがゴールする瞬間など）を見逃していましたが、この方法は「変化がある瞬間」をすべて捉えているため、細かい動きや時間の流れをより正確に理解できます。

🛠️ どうやって実現したの？（仕組みのイメージ）

2 つの専門家チーム:
- 写真屋（I フレーム担当）: 完全な写真を見て、詳細を記憶します。
- 動きの探偵（P フレーム担当）: 「どこが動いたか」「色がどう変わったか」という「差分メモ」だけを見て、それを AI が理解できる言葉に変換します。
事前学習（リハーサル）:
- まず、この「動きの探偵」を、写真屋と同じ言語で話せるようにトレーニングします。そうすることで、本番（動画理解）でスムーズに連携できます。

💡 まとめ：なぜこれが重要なのか？

これまでの動画 AI は、「重いフルカラーの動画」を無理やり処理しようとして、**「遅い」「長い動画は苦手」「メモリ不足」**という悩みを抱えていました。

CoPE-VideoLM は、**「動画ファイルが元々持っている『圧縮された知恵』」**を AI に教えることで、これらの悩みをすべて解決しました。

ユーザーにとって: 動画チャットが瞬時に反応し、長い映画もすぐに要約してくれる。
開発者にとって: 高価な GPU が少なくても、高性能な動画 AI が動かせる。

これは、AI が「動画を見る」ことから、「動画を『理解』して『リアルタイムで行動』する」時代への大きな一歩です。まるで、動画の「要約版」ではなく「本質」を直接読み取る超能力を手に入れたようなものです。

CoPE-VideoLM: コーデックプリミティブを活用した効率的なビデオ言語モデルの技術的サマリー

本論文「CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling」は、従来のビデオ言語モデル（VideoLM）が抱える計算コストとコンテキストウィンドウの制約を解決するため、動画コーデック（圧縮形式）の内部構造を直接活用する新しいアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

現在の VideoLM は、動画の時間的ダイナミクスを理解するために進化していますが、以下の重大な課題に直面しています。

コンテキストウィンドウの制約: 大規模モデルでも入力可能なトークン数には上限があります。これを満たすため、既存の手法は「キーフレームサンプリング（重要なフレームのみを選択）」を採用しています。しかし、これによりマクロなイベントやミクロな細部が欠落し、時間的なカバレッジが不十分になります。
計算コストと冗長性: 各フレームをフル解像度の画像として処理し、すべてのフレームをトークン化すると、計算オーバーヘッドが甚大になります。特に、連続するフレーム間には高い冗長性（同じような情報）が存在するため、すべてのフレームを画像としてエンコードするのは非効率的です。
遅延（TTFT）: 多くのフレームを処理する必要があるため、「最初のトークンまでの時間（Time-to-First-Token: TTFT）」が長くなり、リアルタイム応答性が求められるロボット工学やユーザー体験に悪影響を及ぼします。

2. 提案手法：CoPE-VideoLM

著者らは、動画コーデック（MPEG-4, H.264, HEVC など）が既に「時間的冗長性」を解決するために設計されている点に着目しました。具体的には、コーデックが使用する**「モーションベクトル（動きのベクトル）」と「残差（リダクション後の差分情報）」**というプリミティブを直接利用します。

2.1 コアコンセプト

I フレーム（キーフレーム）: 通常の RGB 画像として処理され、既存のビジョンエンコーダ（例：SigLIP）でトークン化されます。
P フレーム（予測フレーム）: 完全な画像復元を行わず、コーデックから抽出されたモーションベクトルと残差のみを軽量なエンコーダ（ $\Delta$ -Encoder）に入力します。これにより、非常に少ないトークン数（ $\Delta$ -tokens）でフレーム間の時間的変化を表現します。
トークンストリームの構成: I フレームのトークンと P フレームの $\Delta$ -トークンを時間順に交互に配置（インターリーブ）し、LLM に入力します。

2.2 技術的アーキテクチャ

$\Delta$ -Encoder（軽量エンコーダ）:
- モーションブランチ: モーションベクトルを MLP と Transformer を用いて特徴抽出・圧縮。
- 残差ブランチ: 残差（差分画像）を軽量な ResNet-18 と Transformer で特徴抽出・圧縮。
- これらの出力を結合し、画像エンコーダの埋め込み空間と整合性のあるトークン（ $\Delta$ -tokens）を生成します。
2 段階学習戦略:
- 段階 1（事前学習）: $\Delta$ -Encoder を、画像エンコーダの出力空間に合わせるように事前学習します。具体的には、モーションベクトルと残差から「次のフレームの画像特徴」を再構成するタスクを行い、RGB 空間との整合性を確保します。
- 段階 2（微調整）: 事前学習済みの $\Delta$ -Encoder を VideoLM パイプラインに統合し、エンドツーエンドで微調整を行います。この際、P フレームの処理には RGB 復元は行われません。

2.3 フレーム融合（Fusion）

P フレームをすべて個別に処理するのではなく、連続する数枚の P フレームをグループ化（融合）して 1 つの $\Delta$ -トークンセットとして表現することで、時間分解能とトークン数のトレードオフを柔軟に制御できます。

3. 主要な貢献

コーデックプリミティブの活用: 動画の冗長性を排除し、モーションベクトルと残差を時間順に保持する新しいトークン化フレームワークを提案。これにより、不要な RGB 処理を回避し、TTFT を最大 86%、トークン使用量を最大 93% 削減しました。
軽量な双枝アーキテクチャ: コーデックプリミティブを符号化する軽量な $\Delta$ -Encoder を設計。従来の画像ベースエンコーダに比べ、大幅な圧縮率と低トークン数を実現しました。
整合性のある事前学習フレームワーク: コーデックプリミティブの表現空間を画像エンコーダの空間に合わせる事前学習手法を提案し、VideoLM への統合時の収束を加速させました。

4. 実験結果

14 種類の多様なビデオ理解ベンチマーク（一般 QA、時間的推論、長編動画理解、空間的シーン理解など）で評価を行いました。

精度と効率のトレードオフ:
- 既存のオープンソースモデル（LLaVA-Video-7B など）と同等、あるいはそれ以上の精度を達成しました。
- 特にPerceptionTest（+2.4% 精度向上、トークン 80% 削減）やNextQAなどで顕著な成果を上げました。
- 1 GOP（Group of Pictures）あたり 1 つの I フレームと 7 つの P フレーム（ $\Delta$ -tokens）のみを使用する設定でも、64 フレームをサンプリングする既存手法と同等以上の性能を示しました。
推論速度:
- TTFT（最初のトークンまでの時間）: 最大 86% 削減（2.39 秒 $\rightarrow$ 0.33 秒）。
- エンドツーエンド遅延: 最大 56% 削減。
- これにより、1 FPS で 8 時間以上の動画を 100 万トークンのコンテキスト内で処理可能になりました。
タスク別性能:
- 時間的・運動推論: モーションベクトルを直接利用するため、時間的推論タスク（TempCompass, TOMATO など）で特に高い精度を示しました。
- 長編動画理解: トークン効率の高さにより、長編動画の文脈を維持しながら理解できます。
- 3D 空間理解: 3D 質問応答タスク（ScanQA, SQA3D）でも、フルトークンの 25% 程度で同等以上の性能を達成しました。

5. 意義と将来展望

実用性の向上: 既存の VideoLM は「画像の断片」を処理するのに対し、CoPE-VideoLM は「動画の構造（動きと変化）」を直接理解します。これにより、リアルタイム応答性が求められるロボット制御や、長編動画の分析において革命的な効率化を実現しました。
スケーラビリティ: トークン数の削減により、ハードウェアの制約なくより長い動画やより高頻度なフレームレートを扱えるようになり、大規模 VideoLM の発展に不可欠な基盤技術となります。
今後の課題: 現在の手法は I/P フレームに限定されており、B フレーム（双方向予測）や、コーデックのビットレート・品質への依存性については今後の研究課題です。また、生のコデックデータ（DCT 係数など）を直接扱うことで、さらなる効率化が可能かもしれません。

結論:
CoPE-VideoLM は、動画理解において「画像として見る」ことからの脱却を提案し、コーデックが持つ本質的な構造（モーションと残差）を AI モデルに活用させることで、**「高精度」かつ「超高速・低コスト」**なビデオ言語モデルの実現を可能にしました。これは、マルチモーダル AI が次の段階へ進むための重要な転換点となる技術です。