🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

本論文は、マルチモーダル大規模言語モデルの上位デコーダ層を視覚トークン専用の単一かつ軽量なトランスフォーマーブロックに置き換えることで、全パラメータのわずかな割合のみを更新しながらベンチマークにおいて競争力のある性能を達成する、パラメータ効率の高い学習フレームワークであるDecoupled Visual Processing (DVP) を提案する。

原著者： Mingkuan Feng, Zhengqi Wen, Jianhua Tao

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mingkuan Feng, Zhengqi Wen, Jianhua Tao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータが、写真の猫を見て面白い物語を語ってくれるような、超スマートな友人のように、画像を見ることと文字を読むことを同時に行える世界を想像してみてください。これがマルチモーダル大規模言語モデル（MLLM）の世界です。これらのモデルを機能させるために、科学者たちは通常、2つの強力なツールを「接着」します。それは、「ビジョンエンコーダー」（画像を理解するために訓練された脳）と、「大規模言語モデル」（言葉を理解するために訓練された脳）です。難しいのは、これらをどのように対話させるかという点です。通常、コンピュータに画像を見せて質問をすると、コンピュータは画像の部分と言葉の部分の両方を、同じ巨大な工場のラインのような処理工程の中に押し込みます。そのラインのあらゆるステップが、答えを完璧にするために調整され、微調整されます。しかし、ここでの問題は、その工場のラインが膨大であり、すべての機械を調整するには、莫大な時間、お金、そして電気が必要になるということです。それはまるで、たった一台の配送トラックを速く移動させるためだけに、都市全体の交通システムを修理しようとするようなものです。

科学者たちが抱いてきた大きな疑問は、「画像の部分と言葉の部分は、本当に全く同じ深く複雑な工場のラインを通る必要があるのだろうか？」ということです。もしかすると、画像の部分には手早く専門的なショートカットが必要で、言葉の方は深く複雑な処理が必要なのかもしれません。もし、システム全体を壊すことなく、画像にショートカットを与える方法を見つけることができれば、これらのスマートなコンピュータをより安価に、より速く訓練できるはずです。これこそが、清華大学の研究チームが解決しようと決めたパズルです。

論文：画像にVIPショートカットを

研究者の馮明寛（Mingkuan Feng）、温政奇（Zhengqi Wen）、陶建華（Jianhua Tao）は、**デカップルド・ビジュアル・プロセッシング（DVP：分離型視覚処理）**と呼ばれる新しい学習方法を提案しています。標準的なモデルを、遊び場にある長く曲がりくねった滑り台だと考えてみてください。画像を持っている人も言葉を持っている人も、全員が32ステップある滑り台を一緒に滑り降りなければなりません。研究者たちはこう問いかけました。「もし、画像を持っている人が滑り台の途中で飛び降りて、小さくて超高速のトンネルを通り、一番下で言葉を持っている人と合流できるとしたらどうだろうか？」

彼らの「デカップルド・ビジュアル・プロセッシング」がどのように機能するかを、ステップごとに説明します：

共有されたスタート： まず、画像のかけら（視覚トークン）と言葉のかけら（テキストトークン）は、最初の半分の滑り台（レイヤー0から16）を一緒に滑り降ります。これは、画像と言葉がお互いを知り、文脈を理解するために重要です。
分岐： 半分の地点で、群衆は分かれます。言葉のかけらは、元の長く凍結された滑り台（レイヤー17から31）を進み続けます。この滑り台は「凍結」されており、すでに文章を作るのに完璧であるため、手を加えることはありません。
VIPトンネル： しかし、画像のかけらは長い滑り台には進みません。代わりに、新しく作られた小さな単一ステップのトンネル（単一のトランスフォーマー・ブロック）へとルートが変更されます。このトンネルが、システム全体の中で唯一、訓練され微調整される部分です。
再会： 最下部で、画像のかけら（小さなトンネルによって処理されたもの）と、言葉のかけら（長い滑り台によって処理されたもの）が再び結合され、最終的な答えを生成します。

彼らが発見したこと

チームは、70億パラメータのバックボーン（Vicuna-7B）を持つ、人気の高いモデルであるLLaVA-1.5を使用してこのアイデアをテストしました。彼らは、自分たちの「VIPトンネル」方式を、他の2つのアプローチと比較しました。一つは、モデルの「全体」を訓練する標準的な方法であり、もう一つは、彼らの分割アーキテクチャを使用しながらも、依然として「すべて」を訓練する「通常の訓練」方法です。

結果は驚くほど効果的でした：

大幅な節約： DVPを使用することで、彼らは全パラメータのわずか**3.1%**のみを訓練する必要がありました。これは、ある街角の信号機だけを調整することで、街全体の交通を改善するようなものです。
鮮明な視覚： 物体のカウントや標識の読み取りができるかをチェックするMMEというテストにおいて、彼らの手法は1440を記録しました。これは、フル訓練されたモデルのスコアである1496に非常に近く、さらに、分割メソッドを用いた「通常の訓練」によるスコア（1225）よりも大幅に高い数値でした。これは、メインモデルを凍結することが、コンピュータを混乱させるのを防ぎ、むしろ「見る」能力を高めることを示唆しています。
幻覚の減少： 画像の中に存在しないもの（例えば、猫の写真の中に犬がいると言うなど）を作り出していないかをチェックするPOPEにおいて、DVPは0.8619を記録しました。これは最高スコアであり、フル訓練されたモデルの0.8577をも上回りました。これは、画像に専用の経路を与えることが、モデルが「夢想」して作り話をするのを防いでいる可能性を示唆しています。
トレードオフ： この手法はすべてにおいて完璧だったわけではありません。グラフやチャートを読み取るテストであるChartQAにおいて、DVPは0.2356を記録しました。これはフル訓練されたモデルの0.1776よりは良かったものの、「通常の訓練」分割メソッドの0.432よりは低い数値でした。著者らは、これはチャートの読み取りには、画像の詳細とテキストのラベルとの間の非常に細かい、行き来するような確認作業が必要であり、二つの経路が早い段階で分離されていることが難易度を高めているためだと示唆しています。

なぜこれが重要なのか

この論文は、これらのAIモデルの深く複雑なレイヤーは、実は言葉のために多くの重労働を行っているものの、画像にとっては過剰である可能性があることを示唆しています。研究者たちは、画像とテキストが途中で出会っていれば、単一の小さなトランスフォーマー・ブロックがあれば画像処理を行うのに十分であることを発見しました。

このアプローチは、「すべてのデータは深いネットワーク全体を通らなければならない」という古い考え方に挑戦するものです。これは、画像と言葉は異なるものであり、それぞれ異なる助けが必要かもしれないということを認識することで、よりスマートで効率的なAIを構築できることを示唆しています。この手法は、一般的な視覚や偽物の物体を見つけることには非常に有効ですが、複雑なチャートの読み取りのような、超詳細な推論を必要とするタスクにはもう少し改良が必要かもしれないと著者らは述べています。しかし全体として、この「デカップルド（分離型）」の経路は、毎回「脳」を再構築することなく、コンピュータに「見ること」を教えるための、強力でエネルギー節約型の方法であることを示しています。

技術要約：Decoupled Visual Processing (DVP)

問題提起

LLaVAに代表されるマルチモーダル大規模言語モデル（MLLM）は、視覚的理解とテキスト理解を単一のトランスフォーマー・アーキテクチャ内で統合することにより、大きな成功を収めてきました。主流のパラダイムでは、視覚的特徴をLLMの埋め込み空間に投影し、すべてのトークン（視覚およびテキストの両方）をデコーダー層の全スタックを通じて処理します。この手法は効果的ではあるものの、数十億のパラメータのフルファインチューニングを行うか、あるいはすべての層に対してパラメータ効率の高い手法（例：LoRA）を適用する必要があり、どちらも計算コストが高くなります。

本研究が取り組む極めて重要かつ未探索の問いは、「視覚トークンとテキストトークンは、本当に同じ深い表現経路を必要とするのか？」という点です。先行研究は、トランスフォーマーの下位層が一般的でモダリティに依存しない特徴を捉える一方で、上位層はますます専門化していくことを示唆しています。MLLMにおいて、視覚トークンは元のLLMのテキスト指向の処理とは異なる、上位層における専門化された処理経路の恩恵を受ける可能性があるという仮説が立てられます。したがって、視覚トークンの全深度にわたる処理は不要であり、非効率であると考えられます。

手法：Decoupled Visual Processing (DVP)

著者らは、事前学習済みLLMのデコーダー・スタックを修正し、初期の共有フェーズの後に視覚処理とテキスト処理を分離する効率的な学習フレームワークである**Decoupled Visual Processing (DVP)**を提案しています。

アーキテクチャ

$L$ 個のデコーダー層を持つ事前学習済みLLMに対し、DVPは**split-process-concatenate（分割・処理・結合）**パラダイムを実装します。

**共有処理 (レイヤー $0 $から$ K-1 $):** すべてのトークン（視覚およびテキスト）は、最初の$ K$ 個のデコーダー層を通じて共同で処理されます。このフェーズはクロスモーダルなアテンションを促進し、モデルがモダリティ間のアライメントとコンテキストの接地（grounding）を確立することを可能にします。
モダリティの分割: レイヤー $K$ の後、隠れ状態はモダリティごとに視覚トークン ( $X_v$ ) とテキストトークン ( $X_t$ ) に分割されます。
デカップルされた処理:
- 視覚パスウェイ: 視覚トークンは、新しく初期化された単一のトランスフォーマー・ブロックを経由してルーティングされます。このブロックは、ファインチューニング・フェーズにおいて唯一の学習可能なコンポーネントです。
- テキスト・パスウェイ: テキストトークンは、残りの $L-K$ 個のデコーダー層を通過し続けます。これらの層は凍結されたままであり（事前学習された言語モデリング能力を保持するため）、
結合と予測: 処理された視覚表現とテキスト表現は結合され、次トークン予測のための言語モデリング・ヘッドへと渡されます。

設計の根拠

分割点 ( $K$ ): Vicuna-7B（32レイヤー）を用いた実験では、分割はレイヤー16（ $K=17$ ）の後に行われます。この選択は、トランスフォーマーの層の前半部分が低レベルかつクロスモーダルな特徴を捉え、後半部分がタスク固有の推論に特化するという観察に基づいています。
極端な圧縮: 視覚パスウェイは15個のデコーダー層を単一のトランスフォーマー・ブロックに置き換えます。これにより、モデルは共有レイヤーの視覚表現を直接出力空間へとマッピングするコンパクトな変換写像を学習することを強制されます。
パラメータ効率: インストラクション・チューニング中に更新されるのは、単一のトランスフォーマー・ブロックのみです。Vicuna-7Bの設定では、これは全パラメータの約**3.1%**を構成しており、残りの96.9%（共有下位レイヤーおよび上位テキストレイヤーを含む）は凍結されたままとなります。

主な貢献

アーキテクチャの革新: DVPは、視覚トークンがデコーダー・スタックの全深度を通過しなければならないという仮定に異を唱え、視覚処理をデコーラー・スタックから切り離す構造的変更を導入しました。
パラメータ効率: DVPは、フルファインチューニングと比較して、わずかな割合のパラメータ（約3.1%）のみを学習しながら、競争力のある性能を達成しています。
仮説の検証: 本研究は、(1) LLMの下位層はクロスモーダルなアライメントに十分であること、および (2) 上位層における視覚トークンは、テキストトークンとは異なる、よりコンパクトな変換を必要とする、という2つの仮説を検証しました。

実験結果

著者らは、Vicuna-7Bをバックボーンとし、LLaVA-1.5のフレームワークを用いて、MME（知覚および認知）、POPE（物体幻覚）、ChartQAの3つのベンチマークでDVPを評価しました。

知覚 (MME): DVPは1440の知覚スコアを達成し、これはフルファインチューニングされたLLaVA-1.5-7Bのベースライン（1496）の**96.3%**に相当します。注目すべきは、DVPが「Normal Training」ベースライン（分割アーキテクチャを使用したが全パラメータを学習したもの）の知覚スコア（1440 対 1225）を上回ったことです。これは、パラメータを凍結することが視覚的知覚能力の保持に役立つことを示唆しています。
幻覚 (POPE): DVPは0.8619のスコアを達成し、LLaVA-1.5-7Bのベースライン（0.8577）およびNormal Trainingベースライン（0.8381）を上回りました。これは、デカップルされたアーキテクチャが、視覚処理がテキストに偏った上位層の影響を受けるのを防ぐことで、物体の幻覚を減少させる可能性があることを示しています。
認知およびチャート理解: DVPは、MMEの認知タスクにおいてベースラインと同等の性能を示しました（327 対 324）。しかし、ChartQAにおいては、Normal Trainingベースライン（0.432）と比較して低いスコア（0.2356）となりました。著者らは、これを、分割アーキテクチャでは制限される、上位層における視覚的詳細とテキストラベル間の微細かつ反復的な相互参照の必要性に起因すると考えています。
効率性: DVPは、全パラメータを学習する場合と比較して学習パラメータ数を約32分の1に削減しながら、競争力のある性能を維持しています。

意義と主張

本論文は、MLLMにおける視覚的表現は、デカップルされたパラメータ効率の高いパスウェイを通じて効果的に学習できると主張しています。主な含意は以下の通りです。

視覚処理における冗長性: 15個のデコーダー層を単一のトランスフォーマー・ブロックが置き換えることに成功したことは、現在のMLLMが上位層で視覚情報を処理する方法に、大幅な冗長性が存在することを示唆しています。
モダリティ固有の帰納バイアス: このアーキテクチャは、「理解」（視覚トークンが保持するもの）と「生成」（情報がどのようにテキストとして使用されるか）の間の明示的な分離を導入しており、より解釈可能で制御可能なシステムにつながる可能性があります。
デプロイメントと適応: 極端なパラメータ効率により、DVPはリソース制約のあるデプロイメント、新しい視覚ドメインへの適応（視覚ブロックのみを更新すればよい）、および継続学習のシナリオにおいて魅力的です。
知識蒸留の観点: 単一のブロックが15層の「知識」を効果的に圧縮していることは、視覚トークンに適用される変換の有効ランクが、それらの層の全パラメトリック容量よりもはるかに低いことを示唆しています。

著者らは、限定されたベンチマークによる評価、固定された分割点のヒューリスティック、および分割後のクロスモーダル・アテンションの欠如（これが反復的な視覚・テキスト間の推論を必要とするタスクを妨げる可能性がある）といった限界についても認めています。今後の研究として、適応的な分割点の探索、複数の軽量な視覚ブロック、およびより大きなモデルスケールへの拡張などが挙げられています。