💻 computer science

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

本論文は、最終的な推論アーキテクチャを損なうことなく共有された視覚表現を洗練させるために、次埋め込み予測（Next Embedding Prediction）を補助的な教師あり学習として用いるデカップルされた生成ブランチを用いることで、マルチモーダル大規模言語モデルにおけるゼロ推論オーバーヘッドの視覚的理解を強化するトレーニングフレームワークであるGASを導入するものである。

原著者： Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、優秀な学生に複雑な絵画の理解を教えていると想像してください。伝統的な方法では、絵を見せて、それについての記述を書かせます。彼らは絵について語ることは学べますが、実際に「描く」必要はありません。これが、現代のほとんどの「マルチモーダル大規模言語モデル（MLLM）」の仕組みです。これらは画像の描写、質問への回答、画像に基づいたパズルの解決などは非常に得意です。しかし、画像について「話す」ことだけを学習しているため、特定の物体が正確にどこにあるのか、あるいは群衆の中にいくつアイテムが隠れているのかといった、極めて微細で精密な詳細を見落としてしまうことがあります。彼らは「概要」は掴めますが、「細かい字（細部）」でつまずいてしまうのです。

ここで、別のアプローチを想像してみてください。もし、彼らの理解を深めるために、同時にその絵を「再現」させることも求めたらどうなるでしょうか？それは追加の重労働のように思えますし、描こうとすることが、描写を学ぶための邪魔になるのではないかと心配になるかもしれません。しかし、もし「描く」という行為を、純粋に「秘密のトレーニング演習」として利用できるとしたらどうでしょう？あなたは、描き方を完璧にするために、あらゆるピクセルや空間的関係に注意を払うよう彼らに強制することができます。しかし、トレーニングが終わったら、その描画ツールをすべて捨て去ってしまうのです。学生には、描画の練習を通じて学習した結果として、より強力な画像理解能力が残りますが、二度と描画する必要はありません。これが、GAS（Generation as Auxiliary Supervision：補助的な監督としての生成）と呼ばれる新しい手法の核心となるアイデアです。

問題点：話すこと vs 見ること

現在のAIモデルは、一度も筆を持ったことがない美術評論人のようなものです。彼らは画像に関する文章の「次の単語」を予測するように訓練されています。これにより、彼らは会話においては優れていますが、その視覚には溝が残ります。彼らには、正確な形状、境界、あるいは空間的関係といった視覚的な詳細に対する直接的な「筋肉の記憶」がありません。論文では、彼らに「話すこと」だけを訓練すると、膨大な視覚的学習の蓄積を逃してしまうことになると主張しています。これまでの、話すことも描くこともできるモデル（統合モデル）を作る試みは、多くの場合失敗しました。なぜなら、「描く」部分が重すぎてモデルを遅くしてしまったり、あるいは彼らの描き方（異なる種類のデジタル「ピクセル」の使用）が彼らの思考法と一致せず、改善ではなく混乱を引き起こしたりしたからです。

解決策：「ゴースト」描画クラス

GASの開発者たちは、巧妙なトリックを編み出しました。彼らは、AIが通常の仕事（理解すること）と並行して、「描く」（より正確には、画像のデジタル表現の次の断片を予測する）ことを学習する特別なトレーニングフレームワークを構築しました。

以下は、**「二階建ての家」**の比喩を用いたその仕組みです：

共有された土台（トランク/幹）: 「理解」を行うAIと「描画」を行うAIは、同じ下の階層を共有しています。ここは、生の視覚情報が処理される場所です。
分岐（MoTアーキテクチャ）: 情報が階段を上がっていくにつれて、家は二つに分かれます。一つの経路は「理解」の部屋（AIが質問に答える場所）へ、もう一つの並行する経路は「描画」の部屋へと続きます。
秘密兵器（NEP）: 描画の部屋では、AIはギャラリーのための美しい絵を作ろうとしているのではありません。代わりに、**次埋め込み予測（Next Embedding Prediction: NEP）**と呼ばれる手法を使用します。これは、AIが受け取った指示に基づいて、画像を構成する次の「デジタル・レゴブロック」を推測することだと考えてください。AIは芸術家になろうとしているのではなく、視覚データの精密な建築家になろうとしているのです。
魔法の転移: これらの精密な視覚ブロックを予測しようとする行為が、共有された土台（下の階層）を驚くほど詳細かつ鮮明にさせます。これにより、以前よりもはるかに優れた情報を保持できるようになります。
オーバーヘッド・ゼロの仕掛け: これが最も素晴らしい部分です。トレーニングが終了したら、「描画」の部屋全体を解体します。AIは、学習した超鮮明な土台を保持しますが、描画するための追加の部屋や道具は持ちません。後で質問を受けたとき、AIは以前と同じ速さで回答しますが、その視覚は格段に向上しています。論文は、これがゼロの推論オーバーヘッドであることを確認しています。つまり、AIを遅くしたり重くしたりすることはありません。

彼らが発見したこと

チームは20億および40億パラメータのモデルを用いてテストを行いました。彼らは単に推測したのではなく、この「描画の練習」が「理解」のスキルに実際に役立つかどうかを確認するために、広範な実験を行いました。

細部に強くなる: GASで訓練されたモデルは、物体のカウントや、空間的関係（例：「ランプはテレビよりも近いか？」）、複雑な図解の理解など、精密な視覚を必要とするタスクにおいて著しく向上しました。例えば、カウントのテストにおいて、2Bモデルは87.7から90.1へ、4Bモデルは90.8に達しました。
あらゆる段階で機能する: 彼らは、新品のモデル、事前学習済みのモデル、そして既にファインチューニングされたモデルに対してこのテストを行いました。あらゆるケースにおいて、「描画の練習」は効果を発揮しました。特に新品のモデルにおいて最も効果的でしたが、すでに賢い既存のモデルでも向上が見られました。
すべての描画が等価ではない: 彼らは、描画タスクの「種類」が重要であることを発見しました。単にAIに「猫を描け」と命じるだけでは、あまり効果はありませんでした。しかし、「この画像の特定の部分をセグメンテーションせよ」や「論理的な理由に基づいてこの物体を編集せよ」といった複雑な指示に基づいて描くように求めると、AIは深く思考することを余儀なくされました。これらの「認知的」な描画タスクこそが、理解力を真に強化するものだったのです。
「ゴースト」ブランチの重要性: もし彼らが、独自の「Mixture-of-Transformers」設計を用いて、描画パスと理解パスを分離していなければ、AIの理解力は実際に低下していたことを彼らは証明しました。描画タスクがAIを混乱させてしまうのです。視覚的学習が思考プロセスを乱すことなく「浸透」させるためには、この分離が不可欠でした。

なぜ重要なのか

この論文は、より優れた視覚を得るために、話すことも描くこともできる巨大で低速なAIシステムを構築する必要はないことを示唆しています。代わりに、生成の「プロセス」を秘密のトレーニングツールとして利用できるのです。トレーニング中に、特定の構造化された方法で視覚的な詳細を予測させることで、AIはより鋭い目を持つようになりながら、使用時には以前と同じ速さで動作するモデルが得られます。

研究者たちは、このアプローチが異なるモデルサイズやトレーニング段階で機能することを発見しました。これは、生成による学習が視覚的知能を高めるための信頼できる方法であることを示唆しています。また、彼らはAIがテキストによる推論能力を失わなかったことも示し、実際にはわずかに向上さえしました。論文は、生成ガイド付きのトレーニングが、より強力なマルチモーダル理解への実用的かつ効率的なルートであり、「AIを遅くすることなく」より良く「見せる」方法の解決策であると結論付けています。

技術要約: GAS (Generation as Auxiliary Supervision)

問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚入力をテキストトークンにエンコードして自己回帰的な推論を行うことで、視覚理解タスク（キャプション生成、VQAなど）において大きな成功を収めてきました。しかし、このパラダイムはテキストのみの教師あり学習（次トークン予測）に完全に依存しており、以下の2つの決定的な限界を導入しています：

表現力のボトルネック: 自然言語は、正確な空間関係、ピクセルレベルの境界、あるいは物理的なダイナミクスといった微細な視覚的詳細を精密にエンコードすることができません。その結果、LLMの深い層における視覚表現は減衰し、幾何学的および構造的な情報が失われることがよくあります。
未利用のデータ: 既存のアーキテクチャは、視覚的に集中的なデータ（セグメンテーションマスク、画像編集など）を訓練に効果的に消費することができず、微細な教師信号という膨大なリザーバーを放棄しています。

統一マルチモーダルモデル（UMM）は、理解と生成を共同で訓練しようと試みていますが、解決されていない緊張関係に直面しています：

推論オーバーヘッド: ほとんどのUMMは、推論時に生成パラメータを保持するため、レイテンシとメモリコストが発生します。
目的の衝突: UMMにおける生成目的は、理解よりも合成の品質に最適化されることが多く、その結果、最適化の圧力の衝突により、理解タスクにおける性能の停滞や低下を招きます。
メカニズムの欠如: 既存の研究は、生成がどのように理解に寄与するのか、あるいはどの中間表現がそのような教師信号に最も適しているのかを明らかにすることなく、集計された利得のみを報告することがよくあります。

手法: GASフレームワーク

著者らは、視覚的生成をデプロイメントの目標としてではなく、理解のための視覚表現を豊かにするための補助的な教師信号（Auxiliary Supervision）として再解釈する訓練フレームワークであるGAS (Generation as Auxiliary-Supervision) を提案しています。このフレームワークは、3つのコアコンポーネントで構成されています。

1. 次埋め込み予測 (Next Embedding Prediction: NEP)

離散的な視覚トークン化や拡散目的（これらは不連続な表現空間を作成します）を使用する代わりに、GASは生成を、LLMバックボーンが消費するのと全く同じ表現空間内での連続的な視覚埋め込みの自己回帰的予測として定式化します。

ターゲット: モデルは、凍結されたVision Transformer (ViT) と視覚言語プロジェクターから派生したターゲット画像埋め込み ( $z_{tgt}$ ) を予測します。
損失: 生成損失は、連続空間における予測値とグラウンドトゥルースの埋め込み間のコサイン距離として計算され、フォトリアリスティックなピクセル合成よりも、構造的な表現の強化を優先します。
安定化: プロジェクターの重みの指数移動平均 (EMA) を使用して安定したターゲット埋め込みを生成し、共同訓練中の教師信号のドリフトを防ぎます。

2. Mixture-of-Transformers (MoT) アーキテクチャ

理解と生成の目的の間の衝突を解決するために、GASはデカップル（分離）されたアーキテクチャを採用しています：

共有トランク (Shared Trunk): モデルの下位層（分割レイヤー $l_{split}$ まで）は、理解ブランチと生成ブランチの間で共有されます。
並列ブランチ:
- 理解ブランチ (Understanding Branch): 上位層へと続き、テキストのクロスエントロピー損失のみによって最適化されます。
- 生成ブランチ (Generation Branch): バックボーンから初期化された独立したトランスフォーマー層で構成され、NEP損失のみによって最適化されます。
メカニズム: 生成損失からの勾配は共有トランクを通じて逆伝播し、微細な視覚的詳細を用いて中間隠れ状態 ( $H_{l_{split}}$ ) を洗練させます。これらの豊かな状態は、生成の勾配によって直接乱されることなく、上位の理解層へと供給されます。
ゼロ推論オーバーヘッド: 極めて重要な点として、生成ブランチ（パラメータおよびビジョンヘッド）全体は訓練後に破棄されます。デプロイされるモデルは、標準的な理解専用のMLLMと同一のアーキテクチャおよびコストとなります。

3. 体系的なデータ構築

著者らは、自動化されたアノテーションフリーのパイプラインを通じて生成された、5つのカテゴリと15のサブタスクにわたる約1,000万件の生成サンプルのデータセットを構築しました：

カテゴリ: グラウンディング、セグメンテーション、画像編集、Visual Chain-of-Thought (Visual-CoT)、およびText-to-Image (T2I)。
設計原則: タスクは、理解能力との潜在的な認知依存関係に基づいて選択されています。例えば、Visual-CoTは、推論をサポートするための中間的な視覚的証拠の生成を必要とし、これにより、テキストのみの訓練では欠落しがちな精密な空間的および論理的な能力をモデルに強制します。
パイプライン: オープンボキャブラリのタグ付け (RAM++)、検出 (Grounding DINO)、およびLLMベースのインストラクション合成を使用して、手動のアノテーションなしで高品質かつ難易度制御されたデータを作成します。

主な貢献

ゼロオーバーヘッド転移: 連続的なNEPによる教師あり学習と、取り外し可能なMoT生成ブランチの組み合わせにより、生成学習を厳密にゼロの推論オーバーヘッドでデプロイモデルへと転移させることができます。
タスク相関仮説: 本論文は、理解との潜在的な相関が強い生成タスク（グラウンディングやセグメンテーションなど）ほど、最大の利得をもたらすことを示しています。多様なタスクを組み合わせることで、特に知覚とカウントのベンチマークにおいて、相補的な改善が得られます。
体系的な分析: 広範なアブレーション研究と表現レベルの診断を通じて、生成が「いつ」「なぜ」役立つのかを明らかにしています：
- それはすべての訓練段階（スクラッチ、事前学習、SFT）において有益です。
- それには特定のアーキテクチャ的隔離（MoT）と目的のデザイン（NEP）が必要です。単に生成データを追加したり、共有バックボーンを使用したりするだけでは、性能が低下します。
- それは、深い層における視覚情報の保持を強化し、タスクに関連する領域へのアテンション・メカニズムを鋭敏にします。

結果

2Bおよび4Bパラメータのバックボーン（Qeria3-VLベース）で評価されたGASは、理解専用のベースラインに対して一貫した改善を示しています：

空間およびカウント: CountBenchQA（2Bスケールで+2.4ポイントなど）やCV-Benchにおいて顕著な向上を示し、これはグラウンディングやセグメンテーションのタスクに直接起因しています。
推論: MathVista、DynaMath、VisuLogicにおいて改善が見られ、これらはVisual-CoTおよび編集タスクに関連しています。
汎用性: GASは、複数のベンチマークにおいて、より大きな統一モデル（例：BAGEL 7B+7B、Emu3 8B）と同等またはそれを上回る性能を発揮しながら、より少ないパラメータ数とゼロの推論コストを維持しています。
テキスト推論: フレームワークは純粋なテキスト推論能力（ZebraLogic、MMLU-Redux）を維持し、わずかに向上させており、生成の教師あり学習が言語推論を損なわないことを示しています。

意義と主張

本論文は、生成誘導型の訓練が、強力なマルチモーダル理解への実用的なルートであると主張しています（デプロイメントのペナルティを伴うことなく）。その主な意義は以下の通りです：

訓練と推論のデカップリング: 生成が、デプロイメントに必須の能力ではなく、視覚表現を洗練させるための訓練時の正則化器として機能し得ることを証明しました。
メカニズム的洞察: 恩恵が、単なるデータ量の増加ではなく、豊かな空間表現と深い層における情報保持の向上から生じているという証拠を提供しました。
スケーラビリティ: 自動化されたアノテーションフリーのデータ合成が、理解を向上させるために生成タスクを効果的にスケールアップできることを示し、推論効率を損なうことなく膨大な視覚データのポテンシャルを活用する、将来のMLLM開発のブループリントを提示しました。

著者らは、生成と理解の目的は衝突し得るものの、注意深く設計された補助的教師信号フレームワーク（GAS）を用いることで、前者を活用して後者を大幅に強化し、標準的なテキスト生成モデルの効率性で最先端の視覚理解を達成できると結論付けています。