Thinking in Streaming Video

本論文は、リアルタイムの動画ストリーム理解を実現するために、逐次的な推論と「視聴・思考・発話」のパラダイム、そして中間推論を圧縮メモリとして活用する新しいフレームワーク「ThinkStream」を提案し、既存のオンライン動画モデルを上回る性能と低遅延を達成することを示しています。

要約

この論文は、**「動画を見ながら、リアルタイムで考え、答えを出す」**という新しい AI の仕組みを紹介しています。

これまでの AI は、動画の「すべて」が終わるまで待ってから、ゆっくり考えてから答えを出していました。まるで、映画の全編を鑑賞してから「あらすじを教えてください」と言われてから答えるようなものです。これでは、ライブ配信やロボットの目など、「今、何が起こっているか」を即座に理解する必要がある場面には使い物になりません。

そこで、この論文が提案する**「ThinkStream（シンクストリーム）」**という仕組みを、わかりやすい例え話で解説します。

---

🎬 1. 新しい考え方：「見る・考える・話す」のリズム

これまでの AI は「全部見てから考える（バッチ処理）」でしたが、ThinkStream は**「見る・考える・話す」を交互に繰り返す**新しいスタイルです。

• 👀 見る（Watch）: 動画の新しいシーンが流れてくる。
• 💭 考える（Think）: 「あ、今、包丁を置いたな」「次は洗う準備かな？」と、その瞬間ごとに短い思考をします。
• 🗣️ 話す（Speak）: 「もう十分な情報が集まった！」と思ったら即座に答えを言い、**情報が足りないときは「黙って（Silent）観察を続ける」**と判断します。

🌰 例え話：
料理をしている人を見ていると想像してください。

• 古い AI: 料理が終わって片付けまで終わるまでじっと待って、「結局何をしたの？」と聞かれてから「包丁を洗いました」と答える。
• ThinkStream: 包丁を置いた瞬間に「あ、包丁を置いたな」と考え、洗剤を出した瞬間に「次は洗うんだな」と考え、**「包丁を置いたのはここね」**と即座に答える。

---

🧠 2. 脳の工夫：「古い映像」を捨てて「要約メモ」を残す

動画は無限に続くと、AI の記憶（メモリ）がパンクしてしまいます。すべての映像を保存し続けるのは不可能だからです。

そこで ThinkStream は、**「Reasoning-Compressed Streaming Memory（RCSM）」**というすごい工夫をしています。

• 🗑️ 古い映像を捨てる: 1 時間前の映像の「ピクセル（画素）」はもう不要なので、記憶から消します。
• 📝 思考メモに置き換える: 代わりに、「1 時間前に包丁を置いた」という**「思考の要約（メモ）」**だけを記憶に残します。

🌰 例え話：
長い旅行の日記を想像してください。

• 古い方法: 1 日 24 時間のすべての動画を保存し続ける。→ メモリがすぐに満杯になる。
• ThinkStream: 1 日の終わりに「今日は海で遊んで、夕飯は寿司を食べた」という短いメモだけを残し、細かい動画は捨てる。
  • これなら、何年経っても「旅行の全体像」は思い出せますが、メモ帳のサイズは一定のままです。

---

🎓 3. 練習方法：「正解のタイミング」を学ぶ

ただ考えさせるだけでは、AI は「まだ見えていないのに答えちゃったり」「答えられるのに黙っていたり」します。

そこで、**「検証可能な報酬（RLVR）」**という練習方法を使いました。

• 正解のタイミング: 「答えが出るべき瞬間」に答えられればご褒美。
• 正解の内容: 答えが合っていればご褒美。
• 形式: 「考える（Thinking）」と「答える（Speaking）」の区切りを正しく守れていればご褒美。

🌰 例え話：
これは、**「クイズ番組の司会者」**を訓練しているようなものです。

• 「答えを知っているのに、まだ問題を読み終わっていないのに手を挙げる」→ ×
• 「答えを知っているのに、司会者が『答えましょう』と言うまで待たない」→ ×
• 「適切なタイミングで、正解を言う」→ ⭕️
  このように、**「いつ黙って、いつ話すか」**を徹底的に訓練しました。

---

🚀 4. 結果：遅延なし、低コスト、高精度

この仕組みを使えば、どんなに長い動画を見ても、AI の反応速度は一定に保たれます。

• 遅延なし: 動画が長くなっても、答えを出すまでの時間は 0.5 秒以下で安定しています（従来の AI は動画が長くなるほど遅くなる）。
• 低コスト: 記憶するデータ量が一定なので、スマホや小型のデバイスでも動かせます。
• 高精度: 既存の「リアルタイム対応 AI」よりも、はるかに正確に状況を理解して答えることができます。

まとめ

ThinkStream は、**「動画を見ながら、その都度メモを取り、必要な時にだけ喋る」**という、人間に近い自然な知能の形を実現しました。

これにより、**「今、目の前で何が起こっているか」**を即座に理解して助けてくれる、本当の意味での「リアルタイムな AI アシスタント」や「ロボットの目」が現実のものになる可能性があります。

技術概要

ブロック）を実行。 3. **Speak:** 現在の推論状態に基づき、十分な証拠が揃ったかどうかを判断。 * 証拠が十分なら：回答を出力（）。 * 不十分なら：沈黙し（`）、次のチャンクを待機。

このプロセスにより、モデルは動画が進行するにつれて理解を更新し、必要なタイミングで自律的に応答します。

2.2 推論圧縮ストリーミングメモリ (RCSM: Reasoning-Compressed Streaming Memory)

長時間のストリーミングにおいて、KV キャッシュの爆発的増加を防ぐための核心技術です。

• 概念: 過去の高密度な視覚トークン（詳細な画像情報）を保持する代わりに、モデルが生成した**「推論トレース（Reasoning Traces）」を圧縮された意味的メモリ**として利用します。
• 動作: 時間経過とともに古い視覚トークンを KV キャッシュから破棄（Evict）し、代わりにそれに対応する推論トークン（イベント、因果関係、時制の要約など）を保持します。
• 効果: 視覚トークンの数はウィンドウサイズで制限され、推論トークンはコンパクトなため、推論コストを一定に保ちながら、長期的な文脈理解を維持します。

2.3 検証可能な報酬を用いたストリーミング強化学習 (Streaming RLVR)

モデルをこの新しいパラダイムに適応させるため、独自の強化学習フレームワークを導入しました。

• 報酬設計: 自動検証可能なルールベースの報酬を 3 つ組み合わせます。
  1. 精度報酬 ($R_{acc}$): 正解かどうか。
  2. フォーマット報酬 ($R_{format}$): 構造化された出力（<think>, <silent>, <response>）に従っているか。
  3. 時間報酬 ($R_{time}$): 回答のタイミングが適切か（早すぎず、遅すぎない）。
• 最適化: GRPO (Group Relative Policy Optimization) を使用し、推論の質と応答のタイミングを同時に最適化します。

2.4 高効率ストリーミング推論エンジン

• CUDA Graphs を活用したカスタムバックエンドを開発。
• 「Eager Prefill」で新しいトークンを処理し、「Decode-and-Prune」フェーズで KV キャッシュの破棄を CUDA Graph として再生可能にすることで、スループットを最大化し、レイテンシを最小化しています。

3. 主要な貢献 (Key Contributions)

1. Watch–Think–Speak パラダイムの提案: 動画理解を「推論と対話の逐次プロセス」として定式化し、モデルが文脈を更新しながら「いつ応答するか」を自律的に決定する仕組みを確立。
2. ThinkStream フレームワークと RCSM: 推論トレースを圧縮メモリとして活用し、視覚トークンの破棄と意味的コンテキストの保持を両立させる新しいアーキテクチャ。
3. Streaming RLVR: 推論の質、フォーマット、タイミングを同時に学習させるための強化学習手法。
4. 大規模データセットとインフラ: 時間的根拠を持つ推論トレースを含む大規模データセット（11 万件の冷起動データ、9 千件の RLVR データ）と、効率的な推論バックエンドの公開。

4. 実験結果 (Results)

複数のストリーミングおよびオフラインベンチマークで評価を行いました。

• ストリーミング性能:
  • OVO-Bench: ThinkStream-3B は平均 59.66 点を記録。ベースモデル（Qwen2.5-VL-3B: 51.00）や他のオープンソースオンラインモデル（Streamo-3B: 51.64）を大幅に上回りました。
  • StreamingBench Real-Time: 平均 75.00 点を達成。プロプライエタリモデル（GPT-4o: 73.28）と同等以上の性能を示し、他のオープンソースモデル（Dispider-7B: 67.63）を凌駕しました。
• オフライン性能:
  • 視覚トークンを積極的に破棄する設計にもかかわらず、VideoMME や Long VideoBench などのオフラインベンチマークでも高い性能（VideoMME: 61.9）を維持し、オフラインタスクへの汎用性を証明しました。
• 効率性:
  • レイテンシ: 動画長が増加しても、エンドツーエンドの推論レイテンシは 0.5 秒（2 FPS 入力に対応）以下に抑えられ、リアルタイム性を維持しました。
  • スループット: カスタム CUDA Graph エンジンは、ベースラインモデルと比較して最大 5 倍以上のトークンデコード速度（1 バッチで 154 トークン/秒 vs 30 トークン/秒）を実現しました。

5. 意義と展望 (Significance)

ThinkStream は、マルチモーダル AI が動的な実世界で動作するための重要な一歩です。

• リアルタイム性の確保: 従来の「全部見てから考える」アプローチから、「見ながら考え、必要な時に答える」アプローチへの転換により、インタラクティブなエージェントの実用性を飛躍的に高めました。
• リソース効率: 推論をメモリとして活用する RCSM により、長時間の動画処理においてもメモリ使用量と計算コストを一定に保つことが可能になりました。
• 自律的な意思決定: 外部のトリガーに依存せず、モデル自身が「いつ話すか」を判断する能力は、自律エージェントやロボティクスへの応用において極めて重要です。

本論文は、ストリーミング動画推論における新しい標準（Watch–Think–Speak）を提示し、低遅延・高効率なマルチモーダルシステムの開発に向けた基盤を提供しています。