🤖 AI

Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

本論文は、LoRA アダプターを介して概念を独立に学習し、推論時にゲーティング機構を用いてそれらをマージすることで、共起トレーニングなしに分離され干渉のない性能を確保する、視覚言語モデルにおける構成的パーソナライゼーションのためのゼロショットフレームワーク「Gate-and-Merge」を導入する。

原著者： Guodong Ding, Angela Yao

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guodong Ding, Angela Yao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが世界についてすべてを知っている超スマートなロボットアシスタント（視覚言語モデル）を持っていると想像してください。それは猫、犬、車、木についてすべてを知っています。しかし、あなたの特定の猫、あなたのお気に入りの玩具、あるいはあなたの独自の芸術スタイルについては知りません。

通常、このロボットにあなたの個人的なアイテムについて教えるためには、あなたの猫と犬と玩具の何百枚もの写真を、1 つの大きなトレーニングセッションで混ぜ合わせて見せる必要があります。これは、すべての材料がすでにカウンターの上に置かれている状態でのみ練習を許されて、特定の料理を調理することをシェフに教えるようなものです。それは散漫であり、後で新しい材料を追加したい場合は、最初からやり直す必要があります。

この論文は、この問題を解決する「ゲート・アンド・マージ（Gate-and-Merge）」と呼ばれる新しい手法を紹介しています。以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「専門ツール」アプローチ（個別学習）

すべてを混ぜ合わせるのではなく、研究者たちはあなたの各アイテムについて、ロボットを1 つずつ、孤立して教えます。

トークン（Token）: 彼らは各アイテムに特別な名前札（ユニークなニックネーム、例：<MyCat>）を与えます。
LoRA アダプター: これは、ロボットがポケットに入れておく小さな軽量な「取扱説明書」あるいは専門のレンチのようなものです。彼らがロボットに <MyCat> について教えるとき、彼らは <MyCat> 用の新しいマニュアルだけを記述します。ロボットの本脳や他の猫に関する知識には触れません。
結果: ロボットは現在、あなたの猫用、犬用、玩具用といった、それぞれが分離して整理された取扱説明書でポケットをいっぱいにしています。それらは別々に保存されているため、互いに混乱することはありません。

2. 「ゲート（Gate）」（何を使うか決定する）

さて、あなたの猫が犬の隣に座っている写真を見せ、「この写真の中に誰がいる？」と尋ねると想像してください。

ロボットは、ポケットからどの取扱説明書を取り出すべきかを判断する必要があります。
ゲートは、賢いセキュリティガードのように機能します。それは 2 つの手がかりを見て判断します。
1. あなたが言ったこと: もしあなたが <MyCat> に言及した場合、ガードは猫用マニュアルの扉を開けます。
2. あなたが示したもの: もしロボットがあなたの猫に似た写真を見ている場合、ガードは猫用マニュアルの扉を開けます。
ガードは関連するマニュアルだけを通過させ、属さないもの（例えば、動物しか見せていない場合に車用マニュアルなど）をブロックします。これにより、ロボットが混乱したり「幻覚（ハルシネーション）」を起こしたりするのを防ぎます。

3. 「マージ（Merge）」（ツールの組み合わせ）

ガードが正しいマニュアル（例えば、猫用と犬用）を選択すると、ロボットはあなたの質問に答えるためにそれらを一緒に使う必要があります。

問題: 単に 2 つの取扱説明書を重ね合わせただけでは、ページが混ざり合ったり、指示が矛盾したりする可能性があります（例えば、一方が「左を見ろ」と言い、他方が「右を見ろ」と言うなど）。これによりロボットは失敗します。
解決策: 「マージ」機構は、慎重な編集者のようなものです。それは両方のマニュアルからの指示を見て、互いに合致する部分だけを結合します。一方が「少し赤を加えろ」と言い、他方が「少し青を加えろ」と言う場合、編集者はそれらを慎重にブレンドします。一方のマニュアルが他方が保持したいものを消去しようとする場合、編集者はそれを阻止します。
これにより、以前に一緒に見たことがないにもかかわらず、あなたの猫と犬の両方を同時に理解する、一時的な超強力版のロボットが生まれます。

なぜこれが重要なのか？

「グループトレーニング」不要: あなたの猫と犬の写真を一緒に見せて教える必要はありません。別々に教えることができ、後でロボットはそれらを一緒に理解できます。
プライバシー: ロボットはあなたの個人的なアイテムの何千枚もの生写真を保存する必要はありません。それは単に、はるかに小さく安全な「取扱説明書（LoRA アダプター）」を保存するだけです。
精度向上: この論文は、「ゲート・アンド・マージ」システムを使用することで、ロボットが一度にすべてを学習しようとする他の方法やデータベース検索に依存する方法と比較して、複数の個人的なアイテムを含むシーンの認識と記述において、はるかに優れていることを示しています。

要約すると、「ゲート・アンド・マージ」は、ロボットにモジュール式でプラグ・アンド・プレイのツールセットを与えるようなものです。それは各ツールを個別に学習し、その場での仕事に必要なツールを確認し、それらを慎重に組み合わせて完璧に仕事を完了させます。それは、以前に一緒に使ったことのない新しいツールの組み合わせであっても可能です。

技術的サマリー：VLM のゼロショット構成的パーソナライゼーションのためのゲート・アンド・マージ

問題定義

ビジョン・ランゲージモデル（VLM）は、オープンワールドタスクに対する強力な汎化能力を有しているが、事前学習データに存在しないパーソナライズされたユーザー定義概念（特定の顔、ペット、または芸術様式など）を理解する能力は欠いている。既存のパーソナライゼーション手法は単一概念の学習は可能であるが、構成的パーソナライゼーション、すなわち事前の共起訓練なしに複数のユーザー定義概念を同時に含むシーンを認識または記述する能力については困難を抱えている。

現在のアプローチは以下の重大な限界に直面している：

パラメータベースの手法（学習可能なプロンプトや概念埋め込みなど）は、訓練中に概念が絡み合いやすく、新しい構成においてそれらを分離・再結合することが困難である。
検索ベースの手法はパラメータ更新を回避するが、外部データベースに依存するためプライバシー上の懸念が生じ、推論タスクのために概念を内部化できない。
既存の解決策は、一般的に、干渉による性能低下を招くことなく推論時に複数の独立して学習された概念を構成するメカニズムを欠いている。

手法：ゲート・アンド・マージ

本論文は、共起訓練や外部データベースを必要とせずに構成的パーソナライゼーションを可能にするゼロショットフレームワークであるゲート・アンド・マージを提案する。このフレームワークは、2 つの明確なフェーズで動作する：

1. 単一概念学習（訓練フェーズ）

各ユーザー定義概念 $c$ は、2 つのコンポーネントからなるモジュール化された軽量表現として独立して学習される：

概念トークン（ $\langle c \rangle$ ）： トークナイザー語彙に追加される新しいトークンであり、学習可能な埋め込みベクトル $e_c$ と対応する出力ヘッド行 $w_c$ を有する。これは概念のテキスト識別子として機能する。
LoRA アダプター（ $\delta_c$ ）： 言語モデルの重みに適用される低ランク適応モジュール（ $\delta_c = A_c B_c$ ）である。これにより、凍結されたビジョンエンコーダを変更することなく、概念の視覚的外観に適応することが可能になる。

ビジョンエンコーダは、異なる概念間で視覚的特徴が互換性を保つよう、安定した共有特徴空間を維持するために訓練全体を通じて凍結されたままとなる。モデルは、標準的なマスク言語モデル化目的関数を用いて、画像とテキストの小さなサポートセットで訓練される。

2. 多概念構成（推論フェーズ）

推論時、モデルは訓練中に一緒に見たことがない複数の概念を含む入力（概念 $A$ と概念 $B$ を含む画像など）を処理しなければならない。フレームワークはゲート・アンド・マージメカニズムを採用する：

ゲート（選択）： ゲート機構は、2 つの手がかりを評価することで、現在の入力（画像 $x$ とクエリ $q$ ）に関連する概念モジュールを決定する：
- テキスト関連性： クエリに概念トークン $\langle c \rangle$ が明示的に言及されているかを確認する。
- 視覚関連性： 画像パッチ特徴と概念のプロトタイプ特徴との間のコサイン類似度を計算する。
- 概念は、テキストで言及されているか、閾値 $\tau$ 以上で視覚的に支持されている場合に活性化される。
マージ（融合）： 関連する概念の集合 $S$ が特定されると、対応する LoRA 更新が重み空間で直接マージされる。更新を単純に合計することによる破壊的な干渉を防ぐために：
- スパース化： 各 LoRA 更新は確率的にドロップ（ベルヌーイマスク）され、支配的な信号のみを保持するように再スケーリングされ、概念間の競合を低減する。
- 符号認識平均： 符号の一貫性が強制される。各重み座標について、矛盾する符号を持つ更新は破棄され、符号が一致する更新のみが平均化される。これにより、融合されたアダプターは各概念のアイデンティティを保持しつつ、それらを組み合わせることが保証される。

最終的な構成モデルは $M_{comp} = M \oplus \delta_{merge}$ であり、ここで $\delta_{merge}$ は融合アダプターである。このプロセスは推論時に訓練を必要としない。

主要な貢献

ゲート・アンド・マージフレームワーク： 概念を独立して学習し、共起監督なしに推論時にそれらを構成する、ゼロショット構成的パーソナライゼーションのためのモジュール型フレームワーク。
モジュール化表現： 各概念を軽量な LoRA モジュールと固有の概念トークンで表現する設計により、スケーラブルでプライバシーを保護するパーソナライゼーションを可能にする。
訓練不要の構成： 入力依存のテキストおよび視覚的手がかりに基づいて LoRA モジュールを選択的に活性化し、マージするメカニズム。干渉を軽減するためにスパース化と符号認識マージを利用する。
実証的検証： 単一概念および多概念の両方の設定において、既存のパラメータベースのパーソナライゼーション手法を上回る性能を、広範な実験を通じて実証。

実験結果

著者らは、118 の異なる概念（現実世界の個人、物体、架空のキャラクター）を網羅する多概念データセットから構築されたベンチマークで手法を評価した。

視覚認識： 画像内の 1 つまたは複数の概念の識別を必要とするタスクにおいて、ゲート・アンド・マージは MyVLM や Yo'LLaVA などのベースラインと比較して優れた性能を達成した。特に、複数のクエリ概念を同時に識別する困難な「Multiple-Multiple」設定において、提案手法は69.9% の精度を達成し、Yo'LLaVA（29.3%）を大幅に上回り、高いバランス型リコールを維持した。
テキストおよび視覚 QA： 本手法は、テキストのみの推論とマルチモーダル視覚質問応答（VQA）の両方で堅牢性を示し、単一概念および多概念の設定全体で最もバランスの取れた性能を達成した。
キャプション生成： 検索ベースの手法（RAP-MLLM）は単一概念設定で高いリコールを示したが、保存されたテキストの「コピー＆ペースト」に大きく依存していた。ゲート・アンド・マージはより堅牢な概念グラウンディングを提供し、視覚的証拠をよりよく統合したキャプションを生成したが、単一概念タスクに比べ、多概念キャプション生成シナリオでは性能が自然に低下した。
アブレーション研究：
- スパース率（ $p$ ）： 性能はスパース率 0.7–0.8 でピークに達し、適度なスパース性が干渉を効果的に抑制しつつ適応信号を保持することを確認した。
- ゲート閾値（ $\tau$ ）： 閾値 0.3 が最適結果をもたらした。これは、無関係な活性化の抑制と有効な概念の保持のバランスを取っている。

意義と主張

本論文は、ゲート・アンド・マージが、共同訓練や外部データ保存を必要とせずに構成的推論を可能にすることで、VLM パーソナライゼーションにおける重要なギャップを埋めると主張している。訓練中に概念を分離し、推論時にそれらをインテリジェントに融合させることで、この手法はモデルがユーザー定義概念の新しい組み合わせを処理することを可能にする。

著者らは、この研究を、概念を動的に追加、削除、または結合できるスケーラブルでモジュール型のパーソナライゼーションへの一歩として位置づけている。彼らは限界を認め、高度に絡み合った概念はより表現力のあるメカニズムを必要とする可能性があり、スパース化は微細な詳細を失うリスクを伴うと指摘している。しかし、結果は、このアプローチが複雑な多概念シナリオにおける VLM へのパーソナライズされた知識の統合に対して、安定かつ効果的な解決策を提供することを示唆している。