OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Intelligence

この論文は、動画の符号化（コーデック）の原理に基づき予測残差にのみ焦点を当てるスパースなアーキテクチャ「OneVision-Encoder」を提案し、少ない計算資源で画像・動画・文書理解の各種ベンチマークにおいて既存の強力なモデルを上回る性能を発揮することを示しています。

要約

この論文は、**「AI が動画を見る方法を、人間の目や映画の仕組みに似せて劇的に変えた」**という画期的な研究です。

タイトルは『OneVision-Encoder』。少し難しそうですが、要するに**「無駄な情報を捨てて、本当に重要な部分だけを見て理解する AI」**を作ったという話です。

以下に、専門用語を排して、日常の例え話を使って解説します。

---

1. 従来の AI の問題点：「無駄な努力」

これまでの動画を見る AI は、**「すべてのフレームを均等に、そして全部見ている」**という考え方をしていました。

• 例え話：
  あなたが映画館で映画を見ているとします。従来の AI は、**「スクリーンの隅々まで、静止画のように 1 秒 1 秒をすべて同じ重さで記憶しようとする」**ような状態です。
  • 背景の木々が揺れていない時でも、同じだけエネルギーを使います。
  • 登場人物が喋っていない間も、同じだけ計算しています。
  • 結果： 計算リソース（脳のエネルギー）の大部分が、「何の変化もない背景」や「静止画」に浪費されてしまい、本当に重要な「動き」や「出来事」に集中できていませんでした。

2. この論文の核心：「動画コーデック（圧縮技術）の真似」

この研究チームは、**「なぜ動画ファイル（MP4 など）は、写真よりもはるかに小さいサイズで保存できるのか？」**という疑問に注目しました。

• 動画の仕組み（コーデック）：
  動画ファイルは、**「最初の 1 枚の絵（I フレーム）」と、「その後の変化だけ（P フレーム）」**で構成されています。
  • 背景が変わらない時、ファイルは「前と同じですよ」という命令だけで済ませます（データ量ゼロ）。
  • 人が動いた時や、何か変化があった時だけ、「ここが変わりました」という情報（残差）だけを記録します。
  • つまり、動画の本質は「変化（動き）」にあるのです。

この論文の AI（OneVision-Encoder）は、この**「動画の圧縮技術（コーデック）」の仕組みを AI の学習方法そのものに採用**しました。

3. 具体的な仕組み：「注目すべき場所だけを見る」

この AI は、動画全体を均等に見るのではなく、「動きがある場所」や「変化が起きている場所」だけをピンポイントで切り取って処理します。

• 例え話：「ニュースキャスターの視点」
  • 従来の AI： 画面全体をスキャンして、「空は青、木は緑、道路は灰色…」とすべてを記録しようとする。
  • OneVision-Encoder： 「あ！人が走っている！」「あ！車が曲がった！」という**「動きがある場所」だけ**を拡大して詳しく見る。背景の空や木は「特に変化なし」としてスルーする。
  • 効果： 処理する情報の量が**「3%〜25%」に激減**します。つまり、90% 以上の計算コストを節約しながら、重要な情報は逃しません。

4. なぜこれがすごいのか？

通常、「情報を削れば精度が落ちる」のが常識ですが、この研究では**「情報を削る（スパースにする）ことで、むしろ精度が上がり、速度も速くなった」**と証明しました。

• 驚異的な結果：
  • 従来の強力な AI（Qwen3-ViT や SigLIP2 など）よりも、はるかに少ないデータ量で学習しながら、動画理解のテストで4% 以上も高い成績を収めました。
  • 特に「ダイビング」のような激しく動くシーンや、「料理」のような一瞬の動きを捉えるタスクで、他を圧倒しました。
  • 重要な発見： 「効率（速さ）」と「精度（正しさ）」はトレードオフ（どちらかを選ばなければならない）ではなく、**「正しい仕組み（コーデックの原理）に合わせれば、両方とも向上する」**ことがわかりました。

5. まとめ：AI の未来は「賢い省略」

この論文が示唆するのは、**「人工知能（AGI）の本質は、情報を圧縮することにある」**という考え方です。

• 従来の AI： すべてを記憶しようとする「メモ帳」。
• OneVision-Encoder： 何が必要で、何が不要かを瞬時に判断し、「本質だけ」を抽出する「賢い編集者」。

まるで、映画の編集者が「不要なカットを削り、物語の核心となるシーンだけを繋ぎ合わせて、より感動的な作品を作る」ように、この AI は**「動画の本質（動きと意味）」だけを捉えることで、より高度な理解を可能にしました。**

これは、これからの AI が、より少ないエネルギーで、より賢く、人間のように「変化」に敏感に反応するようになるための重要な一歩です。

技術概要

OneVision-Encoder: 多モーダル知能のための基礎原則としてのコーデック整合性スパース性の技術的サマリー

本論文は、人工知能（特にコンピュータビジョン）の核心は「圧縮問題」であるという仮説に基づき、動画コーデック（H.264/HEVC など）の構造原理を視覚表現学習に統合した新しいビジョントランスフォーマー**「OneVision-Encoder (OV-Encoder)」**を提案するものです。従来の密なピクセルグリッドを均一に処理するアプローチの限界を克服し、情報の本質である「予測残差（動きや変化）」に計算リソースを集中させることで、効率性と精度を両立させることを目指しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細を記述します。

---

1. 問題定義：従来のアプローチの限界と情報の本質

• 冗長性とスパース性: 自然な動画信号は、空間的・時間的に高度に冗長です。大部分の視覚コンテンツは周囲の文脈から予測可能であり、新しい識別情報（驚き）は「動き」や「残差」としてスパースに存在します。
• 非効率な計算: 従来のビデオトランスフォーマーやビジョンモデルは、密なピクセルグリッドに対して均一な計算リソースを割いています。これにより、静的な背景や予測可能な領域に莫大な計算能力が浪費され、意味のある変化（動きや意味を定義する予測残差）への焦点が薄れています。
• アーキテクチャとデータのミスマッチ: 現在のモデルは、データの情報理論的構造（特に動画コーデックが明示する構造）と整合性が取れておらず、スケーラビリティと効率性の面でボトルネックとなっています。

2. 手法：コーデック整合性スパース性

OV-Encoder は、動画コーデックの構造原理（I フレームと P フレームの分解、動きベクトル、残差信号）を視覚エンコーダの設計原則として採用しています。

2.1 コーデックパッチフィケーション (Codec Patchification)

入力データを均一にパッチ分割するのではなく、コーデックから得られる信号に基づいて「情報量の高いパッチ」を選択的にエンコードします。

• Dense Video-Codec Patchification: 動画を入力として、HEVC コーデックの構造（I フレームと P フレーム）を利用します。
  • I フレーム: 完全な空間文脈を保持するために、すべての空間パッチをエンコードします。
  • P フレーム: 動きベクトルと残差信号（予測誤差）に基づいて、動きや変化が大きい領域（パッチ）のみを選択的に抽出します。これにより、動画の 3.1%〜25% の領域のみを処理し、残りの 75%〜96.9% の計算を削減します。
• Chunk-wise Patchification: 動画を時間的なチャンクに分割し、各チャンク内でパッチを選択することで、均一なサンプリングとコーデックベースの選択を統合します。
• Single-Image Spatial Patchification: 静止画入力に対しても同様のパッチレベルの構造化を適用します。

2.2 3D-RoPE と不規則なトークン配置

• 選択されたパッチは、空間的・時間的に不規則な配置になります。これを処理するために、3D 回転位置エンコーディング (3D RoPE) を導入しました。
• 位置エンコーディングは、(時間差，X 座標差，Y 座標差) の相対オフセットとして定義され、I/P フレーム間の動き駆動構造や、非均一な時間サンプリングに対しても一貫したアテンションを可能にします。

2.3 大規模クラスター判別学習 (Cluster Discrimination)

• 従来の対照学習（インスタンスレベル）や再構成学習（ピクセルレベル）の代わりに、大規模な意味的クラスター（100 万クラス以上）に基づく自己教師あり学習を採用しています。
• 画像（オブジェクトレベル）と動画（動きレベル）の両方のセマンティクスを、共通のクラスター中心（Centroids）に対して判別させることで、オブジェクトの永続性と動きのダイナミクスを統合的に学習します。

3. 主要な貢献

1. OneVision-Encoder (OV-Encoder) の提案: 動画信号の予測的構造と整合した、HEVC スタイルのビジョントランスフォーマー。
2. Codec Patchification の導入: コーデック由来の時間信号（動きベクトル、残差）を活用し、高密度な動画から情報量の多いパッチ（3.1%〜25%）のみを選択的にエンコードする入力形式。
3. 統合的な学習目標: 大規模概念バンクを用いた自己教師ありクラスター判別目標により、オブジェクトレベルと動きレベルのセマンティクスを単一のエンコーダで構造化して学習。
4. スケーラブルな汎用性: 画像、動画、ドキュメント理解を単一のアーキテクチャで処理可能とし、LLM 統合時にも高い性能を発揮。

4. 実験結果

OV-Encoder は、大規模マルチモーダルモデル（LMM）への統合評価と、注意プロビング（Attentive Probing）評価の両方で、既存の強力なビジョンバックボーンを上回る結果を示しました。

• LMM 統合評価 (Qwen3-4B ベース):
  • 画像、動画、ドキュメント理解の 16 個のベンチマークにおいて、Qwen3-ViT や SigLIP2 を一貫して上回りました。
  • 特に動画理解タスクでは、Qwen3-ViT に対して平均4.1% の改善を達成。
  • データ効率の驚異: Qwen3-ViT が 2.1T トークンで事前学習されているのに対し、OV-Encoder は約 100B トークン（約 1/20）の事前学習データで同等以上の性能を達成しました。
• 注意プロビング評価 (Attentive Probing):
  • 7 つの動画理解ベンチマークで SOTA を更新。
  • Diving-48 において、同じパッチ予算（2048 パッチ）条件下で、SigLIP2 を 17.1%、DINOv3 を 8.1% 上回る Top-1 精度を達成しました。これは、動きのモデル化能力が極めて優れていることを示しています。
• 効率性:
  • 密な 64 フレーム入力に対し、トークン数を 87.5% 削減（2048 トークンに固定）しながら、性能を維持・向上させています。
  • 均一なフレームサンプリングと比較し、短い重要なイベント（例：調理動画での一瞬の注ぎ動作）を見逃さず、動きに依存するタスクで顕著な優位性を示しました。

5. 意義と結論

OneVision-Encoder は、単なる最適化のトリックではなく、「コーデック整合性のパッチレベルスパース性」が多モーダル汎用知能の基礎原則であることを実証しました。

• 計算効率と精度の両立: 計算リソースを「予測不可能な部分（動き・残差）」に集中させることで、計算コストを大幅に削減しつつ、より高品質な表現学習を実現しました。
• 理論的基盤の再構築: 人工知能は圧縮問題であるという仮説を裏付け、視覚モデルの設計において「データの構造（ここでは動画コーデックの構造）」にアーキテクチャを合わせる重要性を再確認させました。
• 将来への展望: このアプローチは、スケーラブルでコスト効果の高い次世代の視覚一般化モデル（Visual Generalists）の基盤となり、マルチモーダル AI の発展に寄与すると期待されます。

本論文は、コード、データ、モデルをオープンソース化しており、透明性と再現性を重視した研究コミュニティへの貢献も意図しています。