技術的サマリー：OmniEncoder

1. 問題提起

現在のオムニモーダル大規模言語モデル（OmniLLM）は、通常、視覚と音声にそれぞれ専用のエンコーダを用いる「モーダル固有のモジュール設計」を採用している。このアーキテクチャは、視覚フレームを低頻度（1–2 fps）でサンプリングし、一方、音声を高頻度（25 fps）で処理する「粗い動画、高密度な音声」というサンプリング戦略をもたらすことが多い。

著者らは、この設計が人間の知覚と根本的な不一致を生み出していると主張する。人間は世界を包括的に知覚し、視覚、聴覚、触覚による連続的な運動を同時に経験し、感覚処理の初期段階でモーダル間相互作用が発生する。 prevailing な「フレームごと、モーダルごと」のアプローチは、以下の問題を引き起こす：

• エンコーディング段階における貧弱なモーダル間相互作用。
• 手話認識、微細なスポーツ分析、リップリーディングなどのタスクに不可欠な微細な視覚的運動の捉えきれなさ。
• グローバルアテンション機構（シーケンス長に対して二次的にスケールする $O(T^2)$）を用いて視覚フレームレートを音声の密度に合わせる試みにおける計算的非効率性。

2. 手法：Omni-Encoder

これらの課題に対処するため、著者らは視覚信号と音声信号を共有潜在空間内で対称的な25 fpsで共埋め込みするよう設計された統合型トランスフォーマーバックボーン、Omni-Encoderを提案する。このアーキテクチャは、後段階で融合させるのではなく、生動画と音声を同時に処理する。

コアアーキテクチャコンポーネント

A. Omni-Encoder トークンテンプレート

入力動画は、各時間位置（$t$）において 3 つの明確なトークンストリームに分解される：

1. 音声トークン（$a_t$）: 軽量な 1 次元 CNN 経由でログメルスペクトログラムから抽出される。
2. 視覚連続（VC）トークン（$vc_t$）: フレーム間の運動ダイナミクス（例：運動軌跡、ジェスチャーの開始、微小運動）を捉えるために導入されたフレームごとの学習可能ベクトル。
3. 視覚ベース（VB）トークン（$vb_t$）: パッチ埋め込みを通じて生成され、静的な外観特徴（テクスチャ、形状、レイアウト）を捉える。

トークンスパース化: 運動忠実度を維持しつつ計算の可行性を確保するため、トークンスパースファイアが適用される。これは、すべての音声トークンと VC トークンをフルの 25 fps 解像度で保持する一方、VB トークンを 2 fps にダウンサンプリングする。これにより、VC トークンが捉える高周波数の運動情報を犠牲にすることなく、下流の LLM デコーダへ転送されるトークン総数が劇的に削減される。

B. Omni-RoPE（3 次元回転位置符号化）

標準的な 3 次元回転位置埋め込み（RoPE）は、座標 $(t, h, w)$ を割り当てる。しかし、これを異種モーダルに直接適用すると、音声トークンと VC トークンが独立した空間座標を持たないという矛盾が生じる。

• 解決策: 著者らは空間座標を再マッピングする。VB トークンは $(t, 1, 1)$ から開始するようにシフトさせ、音声トークンは $(t, 0, 0)$ を、VC トークンは $(t, 0, 1)$ を占有させる。
• 利点: これにより、3 つのモーダルすべてが同じ 3D RoPE 形式内で重複しない位置符号化を受け取り、モデルはモーダルを区別し、モーダル間関係をモデル化しつつ、解像度に依存しない外挿性を維持できる。

C. 時間ウィンドウシフト

25 fps の動画の計算コストに対処するため、著者らはグローバルな時空間アテンションを、Swin トランスフォーマーに着想を得た時間ウィンドウシフト機構に置き換える。

• 機構: トークンシーケンスは、非重複の時間グループ（$G=16$ フレーム）に分割される。これらのグループ内で結合時空間アテンションが計算される。
• シフト: 交互の層において、ウィンドウ境界が $G/2$ フレーム分シフトされ、隣接するグループ間での情報流動を可能にする。
• 複雑性: これにより、アテンションの複雑さが二次的 $O(T^2)$ から線形 $O(T \cdot G)$ に低減され、管理可能な計算オーバーヘッドで 25 fps における高密度なモーダル間相互作用が可能となる。

学習戦略

モデルは単一ステージ、エンドツーエンドの学習戦略を採用する：

• ベース: Qwen2.5-Omni-3B の LLM コンポーネントを固定デコーダとして使用する。
• 初期化: Omni-Encoder は、自己教師あり動画表現学習（V-JEPA）の重みで初期化される。新しいコンポーネント（音声埋め込み、VC 学習可能クエリ）はランダムに初期化される。
• 最適化: 最終的な言語モデリング（LM）ヘッドのみが学習可能であり、他のすべての LLM パラメータは凍結される。これにより、複雑な多ステージ事前学習パイプラインを回避する。

3. 主要な貢献

1. 統合型高周波エンコーディング: 視覚信号と音声信号を同時に 25 fps で処理する初の統合エンコーダ。人間のような連続的な知覚と現在の離散サンプリング手法の間のギャップを埋める。
2. 新規アーキテクチャ革新: トークンテンプレート（運動と外観の分離）、Omni-RoPE（統合された時空間モーダル座標）、時間ウィンドウシフト（効率的な高密度アテンション）の導入。
3. 高密度運動タスクにおける性能: 微細な時間モデリングを必要とするタスク、具体的には手話およびスポーツ動作認識において、統合エンコーダが専門モデルを上回ることを実証。

4. 実験結果

著者らは、Omni-Encoder を、モーダル固有のベースラインおよび既存の OmniLLM（例：Qwen2.5-Omni、Gemini-2.5-Pro）と比較し、いくつかのベンチマークで評価した：

• 視覚連続理解:

  • 手話: NationalCSL6707において、Omni-Encoder は**90.32%を達成し、以前の最良のドメイン固有モデル（69.61%）を 20 パーセントポイント以上上回った。SLR500では97.8%**に達し、専門家の SignBERT を凌駕した。
  • 動作認識: Diving48では90.8%（SOTA の 90.3% 対比）、SthSv2では**68.7%**を達成し、InternVideo2-S2-1B などの強力なベースラインと競合した。
  • 観察: 既存の OmniLLM（SFT ありでも）は、これらのタスクにおいてほぼランダムレベルか、あるいは低性能であった（例：Qwen2.5-Omni SFT は Diving48 で 25.7%）。これは、疎な視覚エンコーディングの限界を浮き彫りにしている。

• 音声視覚推論:

  • 話者位置特定/識別: Omni-Encoder は**98.8%の位置特定と82.31%**の識別を達成し、HumanOmni-Speaker などの専用モデルと同等かそれ以上の性能を示した。
  • AVQA: **82.6%**を達成し、Qwen2.5-Omni-3B の SFT 変種と同等であった。

• 音声視覚認識（LRS2）:

  • 口唇切り出し前処理なしで、モデルは単語誤り率（WER）で45.3%（視覚のみ）、10.2%（音声のみ）、7.2%（音声視覚）を達成し、効果的なモーダル間融合を実証した。

5. 意義と主張

本論文は、統合型オムニボラスエンコーディングが、人間の知覚の統合的な性質をより反映するオムニモーダルモデルを構築するための有望な方向性であると提唱する。

• パラダイムシフト: 結果は、モーダル固有でミスマッチしたサンプリングレートから、統合された高周波エンコーディング空間へと移行することで、モデルが従来の汎用 OmniLLM にはアクセス不可能だった微細な運動ダイナミクスを捉えられるようになることを示唆している。
• 効率性対忠実度: このアーキテクチャは、モーダル分離（音声、静的視覚、運動信号の区別）と計算効率（動画長に対する線形スケーリング）という二重の課題を成功裏に調和させている。
• 汎化: モデルは、タスク固有のアーキテクチャのカスタマイズなしに、高密度運動タスクにおいて専門家のレベルの性能を達成し、高密度時間モデリングが効果的な汎用表現戦略であることを検証した。

著者らは、モデルが現在、特定の認識タスクにおいて限られた学習データ規模に起因するとして、プロプライエタリな最先端モデルにわずかに劣るものの、この統合アプローチは世界を包括的に知覚する将来のオムニモーダルシステムのための堅牢な基盤を提供すると結論づけている。