💻 computer science

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaVは、時間的類似性ルーターによって導かれる、フルイメージ生成をコンパクトな視覚的更新パラダイムに置き換える手法と、StructCoTと呼ばれる新しい大規模なインターリーブ型推論データセットによって、推論の効率と性能を向上させる統合された大規模マルチモーダルモデルです。

原著者： Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑な「サイモンズ・セイズ（命令を聞くゲーム）」をロボットの友人とプレイしている場面を想像してください。ただし、ただ指示を聞くだけではなく、何が起きているかを友人に示すために、ゲームのすべてのステップをホワイトボードに描かなければなりません。

旧来の方法：描きすぎるアーティスト
現在、画像を使って問題を解決しようとする（迷路を解いたり、数学のパズルを解いたりする）ほとんどの高度なAIモデルは、非常に丁寧ですが、少し非効率なアーティストのように動作しています。例えば、ゲームがテーブルの上にカップが置かれた写真から始まるとしましょう。

ステップ1： AIは、カップのあるテーブル全体を描きます。
ステップ2： ゲームのルールが「カップを左に動かせ」と言います。しかし、AIはホワイトボード全体を一度消去し、カップがわずか1インチ動いただけなのに、テーブル全体（カップ、テーブルの脚、背景、影を含む）を再び描き直します。
ステップ3： 「カップを回転させろ」という指示が出ます。AIはすべてを消去し、テーブル全体を再び描き直します。

この手法は「フルイメージ生成（full-image generation）」と呼ばれます。著者らは、これが膨大なエネルギーとスペースの無駄であると主張しています。これは、文章の中でたった一つの単語を変えたいだけなのに、毎回辞書全体を書き直しているようなものです。AIは、変化していない部分を描き直すためにほとんどの時間を費やしており、それが動作を遅くし、時には詳細（例えば、以前の見た目を忘れてしまったために、誤ってカップの色を変えてしまうなど）を台無しにする原因にもなります。

新しい方法：DeltaV、「ステッカー」アーティスト
この論文では、DeltaVと呼ばれる新しいモデルを紹介しています。DeltaVは、シーン全体を描き直すのではなく、賢いステッカー・アーティストのように振る舞います。

ステップ1： テーブルとカップを描きます（「ベース状態」）。
ステップ2： カップを動かす必要があるとき、DeltaVはテーブルを描き直しません。代わりに、古い場所の上に、カップが左に移動した様子を示す小さな「ステッカー」を描いて貼り付けます。テーブルの脚や背景は変化していないため、それらは無視されます。
ステップ3： カップが回転するとき、DeltaVは単に小さな「回転ステッカー」を追加します。

このアプローチは**視覚的更新（visual updates）と呼ばれます。論文は、変化した部分（「デルタ」）のみを描くことで、AIが膨大な作業量を節約できることを示唆しています。彼らのテストでは、この手法によって、画像の品質を損なうことなく、新しい「描画トークン」（画像を生成するためのデジタル・インク）の数を平均で55.6%**削減できました。

スマートな「停止」ボタン：TSIMルーター
「もし変化が巨大だったら？もしシーン全体が爆発したら？」と疑問に思うかもしれません。
DeltaVには、TSIMルーターと呼ばれる組み込みのスマート・マネージャーがあります。これは、新しいシーンが以前のシーンとどれくらい異なっているかを見極める監督者のようなものです。

変化が微細な場合（カップを動かすなど）、監督者は「少数のステッカーだけを使いなさい」と指示します。
変化が劇的な場合（部屋全体が変わるなど）、監督者は「よし、正確に行うために、もっと多くのステッカーを使いなさい」と指示します。

論文では、これを画像の再構成能力をチェックすることで測定しました。その結果、ある一定のポイントを超えてトークンを追加し続けても、画像はそれ以上良くならないことが分かりました。そこで、TSIMルーターは「追加の努力」が見返りをもたらさなくなった時点で、トークンの追加を停止します。これにより、AIは単純なステップで時間を無駄にせず、かつ複雑なステップでは手を抜かないように制御されています。

訓練の場：StructCoT
DeltaVにこの方法を教えるために、研究者たちは単なる古いパズル本を使うことはできませんでした。彼らは、StructCo𝖳と呼ばれる大規模な新しいトレーニング・セットを構築しました。

それは105万個のサンプルを含んでいます。
逻辑パズルや数学の問題から、ロボットの計画、科学の問題に至るまで、44種類の異なるタスクをカバーしています。
論文は、従来のデータセットは小さすぎるか、あるいは迷路のような特定のことに特化しすぎていると主張しており、StructCoTは、視覚的な状態が時間の経過とともにどのように変化するかについて、AIにより幅広い教育を与えます。

結果：うまくいったのか？
論文によると、DeltaVをテストした結果は以下の通りです。

マルチモーダル推論の問題において、従来の「すべてを描き直す」方法よりも**3.3%**優れた成績を収めました。
DeltaVはより小さなモデル（2Bパラメータ）であるにもかかわらず、これらの推論タスクにおいて、より大きなオープンソースモデルを平均で**8.4%**上回りました。
また、同等のモデルであるQwen3-VL-2Bと比較して、外部ベンチマークで**5.9%**上回りました。

論文が否定していること
著者らは、何が機能しないのかについても明確に述べています。彼らは、推論の各ステップでフル解像度の画像を生成する必要があるという考えに対して、明確に反対しています。彼らは、そのような試みは「視覚的トークンの冗長性（デジタル・インクの無駄）」を生み出し、重要ではないものを描き直すことに気を取られることで、AIの推論能力を実際に低下させると示唆しています。また、この手法は推論には優れているものの、極めて微細な詳細（塵の小さな一粒を見つけるなど）を特定する必要があるタスクにおいては、フルイメージの方が適している可能性があることも指摘しています。

結論
この論文は、AIの推論の未来は、世界全体を何度も何度も描き直すことではないと示唆しています。むしろ、「何が変わったのか？」という観点で考えることです。変化だけに焦点を当てることで、DeltaVはより速く、より効率的になり、その重厚な「フルイメージ描き直し」の従兄弟たちよりも驚くほど優れた問題解決能力を発揮します。

DeltaV: 統一された大規模マルチモーダルモデルにおける視覚的状態更新を用いた思考

問題提起

インターリーブ型のマルチモーダル推論を試みる現在の統一大規模マルチモーダルモデル（ULMM）は、中間的な視覚状態をフルイメージとして生成する傾向があります。このパラダイムは、以下の2つの決定的な非効率性を引き起こします。

視覚的トークンの冗長性: 連続する推論ステップでは、実質的に同じ視覚的内容が共有されることが多々あります。すべてのステップでフルイメージを生成することは、変化のない領域を繰り返しモデル化することになり、テキストの推論ステップと比較して、視覚的トークンの膨大なオーバーヘッドを招きます。
希薄化された教師信号: すべてのステップで全状態を再構成することで、学習信号が永続的なコンテンツと、推論を駆動する疎で重要な変化の両方に分散されてしまいます。これにより、最適化が推論に不可欠な状態遷移ではなく、低レベルの再構成へと偏ってしまいます。

既存のアプローチは、視覚情報を潜在トークンに圧縮するか（解釈可能性を犠牲にする）、あるいはツール拡張型のパイプラインに依存する（エンドツーエンドの結合に欠ける）かのいずれかです。統一モデル内であっても、ピクセルレベルの生成に伴う計算コストが意味的な推論を支配することが多く、スケーラビリティを制限しています。

手法: DeltaV

著者らは、インターリーブ型の推論を独立したフルイメージ生成ではなく、視覚的状態遷移のプロセスとして再定義するフレームワークであるDeltaVを提案しています。DeltaVは、ステップ $t$ において $Z_t$ （全状態）を予測する代わりに、過去の状態を条件として $\Delta Z_t$ （視覚的更新）を予測します。

1. 視覚的更新を用いた統一オートレグレッシブ・モデリング
DeltaVは、推論の軌跡 $Y$ を、初期の視覚状態 $Z_0$ と、可変長の視覚更新トークンのシーケンス $\Delta Z_t$ に分解します。
$Y = \{Z_0, X_1, \Delta Z_1, X_2, \Delta Z_2, \dots\}$
ここで、 $X_t$ はテキストトークンを表します。この定式化は、学習対象を状態の再構成から遷移モデリングへとシフトさせ、モデルが推論の軌跡を進めるために必要な視覚的証拠のみに集中するように強制します。

2. TSIM-Tok: 変動を考慮したトークナイゼーション
これを実装するために、DeltaVは2つの主要コンポーネントからなる視覚的トークナイザーであるTSIM-Tokを導入しています。

TSIMルーター (Temporal Similarity Router): このモジュールは、視覚的変化の大きさに基づいて、各更新のトークン予算を動的に割り当てます。現在の視覚的特徴を、過去の状態の加重履歴と比較することで、時間的類似度 (TSIM) スコアを算出します。この重み付けは、時間的な近接性（最近の状態の方が重要である）と情報容量（より多くのトークンを持つ状態はより豊かな参照を提供する）を考慮しています。
- ルーターは、TSIMスコアをトークン予算にマッピングするためのオフライン校正手順を使用します。これは、トークン数と再構成の忠実度（SSIM）の関係を示す曲線を適合させ、限界利得が閾値を下回るポイントで予算を選択します。これにより、複雑な変化にはより多くのトークンを割り当て、軽微な更新にはより少ないトークンを割り当てることを保証します。
視覚的更新表現モジュール: このモジュールは、学習可能なクエリを使用して、視覚状態をベースとなるトークン ( $Z_0$ ) と可変長の更新トークン ( $\Delta Z_t$ ) にエンコードします。 $\Delta Z_t$ の生成を $Z_0$ およびすべての先行する更新 ( $\Delta Z_{<t}$ ) に条件付けることで、安定したコンテンツを再生成することなく、時間的な一貫性を確保します。

3. StructCoT データセット
既存のインターリーブ型推論データセットは、規模とドメインの多様性に限定されていることを認識し、著者らはStructCoTを構築しました。

規模: 105万サンプル。
網羅性: 7つの推論カテゴリ（戦略的プランニング、空間的/身体的プランニング、論理的/抽象的推論、数学的/アルゴリズム的推論、科学的/ドメイン推論、視覚探索、および画像復元/ジグソーパズル）に整理された、44のタスクドメイン。
目的: 一般化可能な視覚的更新パターンと推論構造の学習のための広範な教師信号を提供すること。

主な貢献

DeltaV フレームワーク: インターリーブ型の推論を、更新中心の視覚的状態モデリングとして明示的に定式化した、初の統一マルチモーダル推論フレームワーク。フルイメージ生成を、コンパクトで変動を考慮した視覚的更新に置き換えています。
TSIMルーター: トークンの割り当てを実際の視覚的変化の大きさに一致させる新しいメカニズム。再構成の限界的な利得が減少した時点でトークン割り当てを停止することで、冗長性を削減します。
StructCoT データセット: 一般化可能な更新中心のマルチモーダル推論をサポートするように設計された、大規模で多様なデータセットであり、既存のベンチマークの範囲を大幅に拡大します。

実験結果

実験は、Zebra-CoTデータセット（アブレーションおよびドメイン内評価用）および外部ベンチマーク（汎用性評価用）を用いて行われました。

効率性: 視覚的更新のパラダイムは、再構成の忠実度を損なうことなく、フルイメージ生成と比較して新たに生成される視覚的トークンを平均で**55.6%**削減しました。
推論性能:
- DeltaVは、フルイメージ生成のベースラインに対してマルチモーダル推論を**3.3%**向上させました。
- ドメイン内評価（Zebra-CoTおよびStructCoT）において、DeltaV-2Bモデルは、より大規模なオープンソースモデルを平均で**8.4%**上回りました。
- 外部のマルチモーダル推論および理解ベンチマークにおいて、DeltaV-2Bは同規模のQwen3-VL-2Bを**5.9%**上回りました。
アブレーション研究:
- トークン割り当て: TSIMルーター（傾斜ベース）は、ランダムな予算割り当てや値ベースの閾値処理の両方を上回り、限界効用が予算策定における優れた基準であることを確認しました。
- 再構成の一貫性: 定性的分析により、フルイメージモデルは「意味的ドリフト」（例：ステップ間での同一性や形状の変化）に苦しむ一方、DeltaVは歴史的情報に根ざすことで一貫した視覚状態を維持することが示されました。
- 汎用性: 視覚的更新の学習は、テキストのみのベースラインと比較して、一般的な理解ベンチマーク（MMBench、MathVistaなど）における性能を向上させており、モデルが転移可能なマルチモーダル表現を学習していることを示唆しています。

意義と主張

本論文は、現在のインターリーブ型推論におけるボトルネックは、ピクセルレベルの生成そのものではなく、あらゆる推論ステップをフルイメージ生成タスクとして扱うパラダイムにあると主張しています。視覚的状態遷移の観点へとシフトすることで、DeltaVは以下を実現します。

高い効率性: 変化のみをモデル化することで、トークンのオーバーヘッドを劇的に削減します。
より優れた推論信号: 冗長なコンテンツではなく、推論を駆動する疎で重要な変化に教師信号を集中させます。
改善された一貫性: 多段階の推論チェーンにおけるエラーの蓄積と意味的ドリフトを軽減します。

著者らは、DeltaVがより効率的で汎用性の高い統一マルチモーダル・インテリジェンスへの道を提供すると結論付けており、将来のシステムは、タスクの要件に基づいて適応的な中間表現（コンパクトな更新 vs フルイメージ vs 外部ツール）を選択すべきであることを示唆しています。