技術概要：FrameMogging による VLMaxxing

問題定義

ビデオ・ビジョン・ランゲージモデル（VLM）は、変化していない視覚状態を再エンコードすることで、不必要な計算コストを頻繁に発生させています。工場監視、セキュリティ映像、単一のビデオに対するマルチターン対話などのシナリオでは、視覚的背景は静的であることが多いにもかかわらず、モデルはすべてのクエリに対して高密度な RGB フレームを再処理します。この「再計算」の無駄は、主に 2 つの領域で発生します。

1. ファーストパス取り込み（First-Pass Ingestion）： クリップ自体に視覚的な冗長性が存在する、新しいビデオフレームの処理。
2. 取り込み後のフォローアップ（After-Ingest Follow-up）： 視覚プレフィックスがすでに計算されている同じビデオに関する後続の質問への回答。

本論文は、現在のパイプラインが、ストリーム内で利用可能、またはピクセル差から導出される安価な時間的シグナル（静止、運動、残差）を無視し、すべてのフレームを新たな証拠として扱っていると主張しています。核心的な課題は、回答の忠実性を損なうことなくどこでキャッシュ状態を安全に再利用できるか、そしてどこで新たな視覚的証拠を購入しなければならないかを特定することです。

手法

著者らは、凍結された VLM スタック（Qwen2.5-VL-7B-Instruct-4bit および Gemma 4-E4B-4bit）で評価された、トレーニング不要の再計算防止フレームワークを提案します。このアプローチは、それぞれ特定のメカニズムと検証ゲートを持つ 3 つの明確な領域に分割されます。

1. C-PERSIST：取り込み後のフォローアップ再利用

この領域は、同じビデオに対する後続の質問におけるレイテンシ削減を目的としています。

• メカニズム： 最初のクエリからのキー・バリュー（KV）キャッシュを再利用します。
• 失敗モード： 修復されていない再利用は、「キャッシュ盆地（cache basin）」と呼ばれる状態を引き起こし、そこではモデルが病理的な出力を生成するか、古くなった視覚コンテキストに起因して回答選択がドリフトします。
• 修復戦略： 選択的再プリフィル（Selective Re-Prefill）。 フォローアップクエリ前に、システムはキャッシュプレフィックスの残りを保持しつつ、小さな「視覚テール（最新の $K$ フレーム）」を更新します。
  • 固定 $K=1$： 最新のフレームのみを更新します。
  • 適応的継承： 最初のフォローアップでテールを更新し、その後、後続のフォローアップがさらなる視覚的再プリフィルなしに修復済みのキャッシュ状態を継承できるようにします。
• 検証： 単なる集計精度ではなく、ペアドリフト指標（選択ドリフト、正解ドリフト、病理的出力検出）を使用して、同一の特定の回答が保持されていることを確認します。

2. C-VISION：ファーストパス視覚プルーニング

この領域は、新しいビデオの初期取り込み時の高速化を目的としています。

• メカニズム： 完全な高密度エンコーディングが完了する前に、ビジョントワー内の視覚トークンをプルーニングします。
• シグナル： モデル整合ブロックにおける最大絶対 RGB 差などのピクセルドメインの差を用いて、静的領域を識別します。
• 制約： 高速化は**ステージシェア天井（C-CEILING）**によって制限されます。ビジョントワーが全体のウォールクロック時間の割合（$f_{fixed}$）しか占めていない場合、エンドツーエンドの高速化は $1 / (f_{fixed} + (1-f_{fixed})/s)$ を超えることはできません（ここで $s$ はコンポーネントの高速化率です）。
• 検証： ペアドリフトやパース失敗がないことを確認しつつ、高密度なベースラインに対するエンドツーエンドのレイテンシ削減を測定します。

3. C-CEILING：算術的ガードレール

本論文は、独立した高速化主張の乗算を防ぐための厳密な会計手法を導入します。これは、コンポーネントレベルの利益（例えば、視覚トークンのプルーニングなど）が、そのコンポーネントが実際に消費する時間に比例したエンドツーエンドの利益にのみ変換されることを主張します。これが、フォローアップの利益に比べてファーストパスの利益がしばしば modest（控えめ）である理由を説明します。

4. 候補 C-STREAM：ネイティブレートストリーミング

別の評価レーンでは、ライブ/ネイティブレートパイプラインにおける状態の再利用を探求します。トポロジーを認識したキャッシュスナップショットをテストし、低 FPS の高密度サンプリングやスクリーンショットポーリングなどの強力なベースラインと比較します。

主要な結果

取り込み後の再利用（C-PERSIST）

• 性能： Qwen2.5-VL-7B において、適応的修復済みキャッシュ継承は、コールドなフォローアップと比較して、フォローアップクエリで14.90–35.92 倍の高速化を達成しました。
• 忠実度： 93 クエリの広さの設定（31 セッション × 3 クエリ）において、ペア選択または正解ドリフトは 0/93 でした。
• ストレステスト： 50 ターン繰り返しの質問によるストレステストにおいて、適応的修復は 0/343 のドリフトを維持しましたが、固定 $K=1$ は希少なドリフト（3/343 の選択ドリフト）を示しました。
• 経済性： 高速化はセッション長に強く依存します。単一クエリセッションでは利益は最小限です（最初のクエリが全額を負担するため）が、50 クエリセッションでは32.17 倍の有効な高速化が見られます。

ファーストパスプルーニング（C-VISION）

• Gemma 4-E4B： 32 フレームの短い VideoMME スライスにおいて、ペアドリフト 0、パース失敗 0 で、クリーンな1.316 倍のファーストクエリ高速化を達成しました。これはビジョントワー時間の 42.2% の削減を表します。
• Qwen2.5-VL： 設定への感度を示しました。攻撃的なプルーニング（キープ率 0.50）は忠実度を損ないました。保守的なキープ率（0.85）は集計精度を回復しましたが、ビジョン時間の削減が低かった（13.6%）ため、1.032 倍の高速化しか得られませんでした。
• 天井検証： 観測された高速化は、測定されたステージシェアに基づいた C-CEILING の予測と一貫して一致し、利益がビジョントワーの総計算量に対するシェアによって制限されていることを確認しました。

構成と境界

• 非構成性： ファーストパスプルーニングとフォローアップ再利用を組み合わせても、乗法的な高速化は生じません。構成監査（$n=60$）では1.042 倍の利益となり、ステージシェア天井が予測した場所に正確に収まりました。これは利益が線形に積み重ならないことを証明しています。
• ストリーミングベースライン： ネイティブレートストリーミングテストにおいて、低 FPS の高密度ベースライン（4 フレーム）は、複雑なイベントウィンドウプロキシよりもよく機能することが多く、単純な直近ベースラインが真剣な競争相手であることを浮き彫りにしました。26B モデルにおけるデフォルトのターン間キャッシュ再利用は安全ではなく、発散するテキストを生成することが判明しました。

意義と主張

本論文は、普遍的な高速化乗数としてではなく、凍結された VLM の品質・計算フロンティアのための測定器具として位置づけられています。

1. 再利用の再定義： 主な貢献は、「意味的置換」（キャッシュされた特徴で回答が生存するかをテストする）と「時間的スキップ作業（timed skipped work）」（実際のウォールクロック削減）の区別です。本論文は、時間的作業が明らかにスキップされた場合のみ、高速化を主張します。
2. 「盆地」失敗モード： 修復されていない状態が病理的出力につながる永続的キャッシングにおける特定の失敗モードを特定し、この盆地から脱出するために必要な修復メカニズムとして選択的再プリフィルを提案します。
3. 会計の規律： 本論文はC-CEILINGの原則を強制します。コンポーネントの高速化は、ウォールクロックの重要なシェアを所有するステージを加速する場合にのみ、エンドツーエンドの勝利となります。これが、ファーストパスの利益が控えめである理由と、異なる表からの見出し数を乗算できない理由を説明します。
4. 将来のメディア要件： 著者らは、現在の VLM が高密度 RGB から世界を再発見することを余儀なくされていると主張します。本論文は、状態更新（運動、不確実性、オブジェクト ID、センサー時間など）を直接露出するVLM ネイティブメディアストリームへの移行を動機付けており、モデルが検証に必要な場合のみ新しい証拠を購入できるようにします。

限界： 主張は厳密にテストされた領域（凍結モデル、VideoMME や MVBench などの特定のベンチマーク）に制限されています。本論文は、結果が普遍的な法則ではないことを明示的に述べています。例えば、Gemma のスライディングウィンドウキャッシュセマンティクスは特定の永続的再利用戦略をブロックし、Qwen のルーティングはピクセル差が意味的なオラクルではないことを示しました。ストリーミングの結果は、完成した生産システムというよりも、境界証拠および候補要件として提示されています。