🤖 AI

Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval

本論文は、低ランク方向マージを介して結合された別々の低ランクアダプターブランチにエンドポイント学習と遷移学習を分離することにより、意味的遷移のボトルネックを解決し、推論の複雑さを増やすことなく複雑な意味的修正に対する性能を向上させる、ゼロショット合成画像検索のための新しい投影ベースのフレームワークであるDeCIRを提案する。

原著者： Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「新しい写真を見つけよう」というゲームをしていると想像してください。

まず、コンピューターに参照写真（例えば、枝に止まっている緑色の鳥の写真）を見せます。次に、テキスト指示（例：「鳥を二羽にしてください」）を与えます。コンピューターの役割は、膨大なライブラリからあなたの説明に合うターゲット写真を見つけることです。それは二羽の鳥を示している必要がありますが、元の写真と同じように、鳥は緑色で、枝の上にいる必要があります。

これは合成画像検索（Composed Image Retrieval）と呼ばれます。難しい点は、「Before（元）」、「Instruction（指示）」、「After（変更後）」の写真の数千枚の例を教師がコンピューターに見せることなく、これを行うことです。これはゼロショット学習と呼ばれます。

問題：「近道」の罠

この論文は、現在の軽量なコンピューターモデルが怠惰な近道を取っていると主張しています。

「鳥を二羽にしてください」と言うと、標準的なモデルは元の写真の「緑色の鳥」という部分を無視しがちです。単に「二羽の鳥」という部分だけを聞き取り、赤い鳥でも青い鳥でも、空を飛んでいる鳥でも、二羽の鳥が写っているどんな写真でも掴んでしまいます。これは、あなたの指示を最終結果に対する単純なラベルとして扱い、元の画像を変更するための一連のルールとして扱っていないからです。

著者たちはこれを**「エンドポイント・ショートカット」**と呼んでいます。モデルは目的地（二羽の鳥）を見ていますが、旅路（緑色の鳥から出発すること）を忘れているのです。

衝突：二つのことを同時に学ぼうとする試み

これを修正するために、研究者たちはモデルに二つのことを同時に教えようとしました。

目的地：「二羽の鳥が写っている写真を見つけなさい」。
旅路：「緑色の鳥を二羽の緑色の鳥に変える方法を理解しなさい」。

彼らは、両方の教訓をコンピューターの脳（「テキストアダプター」と呼ばれる部分）の同じ小さな部分に詰め込もうとしました。しかし、これにより交通渋滞が発生しました。「目的地を見つける」ための指示と「旅路を学ぶ」ための指示が、脳を相反する方向に押しやり、モデルを混乱させ、両方のタスクの性能を低下させたのです。

解決策：DeCIR（分離型 CIR）

著者たちは、DeCIR（Decoupled CIR）と呼ばれる新しい手法を提案しています。これは、同じ生徒に対して二人の専門家庭教師を雇うようなものですが、それぞれの科目を別々に教えてから、ノートを組み合わせるという点で異なります。

「目的地」の家庭教師：この教師は、最終的な説明（例：「二羽の鳥」）との一致に純粋に焦点を当てます。
「旅路」の家庭教師：この教師は、純粋に変化に焦点を当てます。これを教えるために、コンピューターはスマートな AI（大規模言語モデル：LLM）を使って、自分自身で練習問題を作成します。通常の画像とキャプションを取り、それを「前方」指示（どのように変更するか）と「後方」指示（その変更をどう元に戻すか）に変換して作り出します。これにより、モデルは単に結果だけでなく、変化の方向性を学ぶことになります。

魔法の結合（LRDM）
二人の家庭教師が個別のトレーニングを終えた後、研究者たちは低ランク方向性結合（Low-Rank Directional Merge: LRDM）と呼ばれる特別な技術を使用します。

「目的地」の家庭教師には、しっかりしたバックパック（主要な構造）があると想像してください。
「旅路」の家庭教師には、具体的な方向性を示す付箋のセットがあります。
生徒に二つの重いバックパックを持たせる代わりに、「旅路」の付箋を「目的地」のバックパックの中に貼り付けます。

これで、生徒は実際のゲーム中に二人の重い家庭教師を必要とせず、どこへ行くべきかそしてそこにどう到達するかを知っている、一つの軽量なバックパックを持つことになります。

なぜこれが重要なのか

最終段階での重い LLM 不要：他の手法がすべてのリクエストに対して巨大で遅い AI に考えさせる必要があるのに対し、DeCIR はすべての重労働をトレーニング段階で行います。実際に使用する際は、高速で軽量です。
より良い結果：ファッション、自然、遺伝子画像に関するテストにおいて、DeCIR は従来の手法よりもはるかに高い頻度で正しい「変更された」写真を見つけました。二羽目の鳥を追加しながらも、「緑色の鳥」における「緑色」を正常に保持することに成功しました。

要約すると：DeCIR はコンピューターが怠惰な近道を取るのを防ぎます。二つの別々のスキルを訓練し、それらを一つの効率的なツールにきれいに結合させることで、モデルに画像の結果だけでなく、画像を変更するプロセスを理解させるように教えるのです。

技術的概要：ゼロショット合成画像検索のためのエンドポイントと意味遷移学習の分離（DeCIR）

1. 問題定義

ゼロショット合成画像検索（ZS-CIR）は、人間が注釈した参照画像・指示・ターゲット画像のトリプレットに依存することなく、参照画像とテキストによる修正指示からターゲット画像を検索することを目的とする。CLIP などのモデルを用いて画像をテキスト埋め込みへ投影する投影ベースの手法は、大規模言語モデル（LLM）なしで軽量な推論を提供するが、意味遷移のボトルネックに悩まされている。

これらの手法では、テキストエンコーダがソース（参照）からターゲットへの遷移を暗黙的に推論する。しかし、この遷移に対する明示的な監督がない場合、モデルはしばしば**「エンドポイントのショートカット」**に陥る。モデルは、「緑色の鳥を 2 羽の緑色の鳥に変更する」のようなソース条件付きの意味遷移を学習するのではなく、修正テキストを単にターゲット側の属性の手がかり（例：「2 羽の鳥」）として扱い、参照画像の具体的な制約を無視したまま、ターゲット属性に一致する任意の画像を検索してしまう。

さらに、著者らは、エンドポイント整合に使用される同じ低ランクテキストアダプタに意味遷移の監督を単純に追加することが、最適化の競合を生み出すことを特定した。クエリをターゲットエンドポイントに整合させる目的と、指示を意味変位（遷移）に整合させる目的が、同じパラメータ空間を争うため、勾配干渉が発生し、性能が低下する。

2. 手法：DeCIR

提案されるフレームワークDeCIRは、競合を考慮したエンドポイント・遷移の分離と、新しいマージ戦略を通じてこれらの課題に対処する。

2.1 LLM による監督構築（オフラインのみ）

注釈付きトリプレットの欠如を克服するため、DeCIR はオフラインで LLM（具体的には glm-4-flash）を用いて、標準的な画像・キャプション対（CC3M から取得）を構造化された前方/後方編集タプルに変換する。

前方編集: ソースからの特定の視覚的変化を記述する指示と、ターゲットキャプションを生成する。
後方編集: 前方の変更を元に戻す指示を生成する。
このプロセスにより、推論時に人間による注釈や LLM の使用を必要とせず、双方向の監督信号 $(I_{ref}, c_{src}, t_{fwd}, c_{tgt}, t_{rev})$ が作成される。

2.2 分離されたトレーニングアーキテクチャ

DeCIR は、CLIP テキストエンコーダ上に、同じ重みから初期化されるが個別に最適化される 2 つの専門的な低ランクテキストアダプタ分岐を採用する。

エンドポイント整合分岐（ $E^{end}_T$ ）: 合成クエリ埋め込みを生成されたターゲットキャプション埋め込みと整合させるために、コントラスト損失（ $L_{end}$ ）で最適化される。この分岐は展開可能な検索経路を定義する。
意味遷移分岐（ $E^{trans}_T$ ）: 前方指示を意味変位ベクトル（ $\delta = f^{trans}_{tgt} - f_{src}$ ）と、後方指示を $-\delta$ と整合させるために、遷移損失（ $L_{trans}$ ）で最適化される。この分岐は最終的なエンドポイントではなく、変化の方向性をエンコードすることを学習する。

視覚エンコーダの LoRA パラメータと反転ネットワーク（ $f_\phi$ ）はエンドポイント分岐のみによって更新され、検索経路が安定したまま、遷移分岐が指示の意味に特化することを保証する。

2.3 低ランク方向性マージ（LRDM）

軽量な推論パイプラインを維持するため、2 つの分岐はトレーニング後に単一の展開可能アダプタにマージされる。

共有基底: 両方の分岐は、低ランク出力基底行列 $B_\ell$ を共有する。
係数マージ: 分岐固有の係数行列（ $A^{end}_\ell$ および $A^{trans}_\ell$ ）は線形的にマージされる： $A^{merge}_\ell = (1-\alpha)A^{end}_\ell + \alpha A^{trans}_\ell$ 。
非対称性: エンドポイント分岐はバックボーン構造を維持し、遷移分岐はその共有基底内で意味遷移係数を寄与する。マージ後、遷移分岐は破棄され、推論用の単一のテキストアダプタが得られる。

3. 主要な貢献

意味遷移ボトルネックの特定: 投影ベースの ZS-CIR が複雑な編集において失敗するのは、テキストエンコーダが修正をターゲット側の手がかりに圧縮し、ソース条件付きの証拠を放棄してしまうためであることを論文は実証する。
最適化競合の診断: レイヤーごとの勾配プロービングを通じて、著者らは共有アダプタ内でエンドポイント整合と意味遷移整合を同時に最適化することが、特に深いトランスフォーマー層において顕著な勾配干渉を引き起こすことを示す。
分離学習フレームワーク: DeCIR は、干渉を回避するためにエンドポイント学習と遷移学習を専門的分岐に分離するトレーニング戦略を導入する。
低ランク方向性マージ（LRDM）: 推論の複雑さを増大させず、実行時に LLM を必要とせずに、意味遷移の感度を投影ベースのパイプラインに折りたたむマージ手法。

4. 実験結果

DeCIR は 4 つのベンチマークで評価された：CIRR（自然画像の曖昧さ解消）、CIRCO（マルチターゲットランキング）、FashionIQ（ファッション編集）、GeneCIS（条件付き検索）。

性能: DeCIR は、Pic2Word、DistillCIR、Slerp などの最先端の投影ベース手法を一貫して上回り、CIReVL などの LLM ベース手法に匹敵するか、それ以上の検索精度を達成する。
- CIRCO（ViT-L/14）において、DeCIR は21.3% の mAP@5を達成し、以前の最高記録（DistillCIR）を 2.6% 上回った。
- CIRRにおいて、DeCIR は33.4% の R@1（ViT-L/14）に達し、DistillCIR（32.3%）を凌駕した。
- FashionIQでは、ドレス、シャツ、トップの各カテゴリで平均性能が最高となった。
アブレーション研究:
- 分離: 共有アダプタにおける両目的の共同トレーニングは、検索のみのトレーニングよりも性能が劣り、勾配競合を確認した。分離トレーニング followed by LRDM が最良の結果をもたらした。
- マージ: LRDM は、Task Arithmetic、TIES、DARE などの一般的なモデルマージ戦略を上回り、非対称係数マージ設計の有効性を検証した。
- 推論効率: DeCIR は、他の投影ベース手法と同様の軽量な推論プロファイル（約 467M パラメータ）を維持し、重厚な LLM ベースのアプローチとは異なり、推論時に LLM や推論ループを必要としない。

5. 意義と主張

本論文は、DeCIR が投影ベース手法の効率性と LLM ベース手法の推論能力の間のトレードオフを成功裡に解決すると主張する。ソースからターゲットへの意味遷移を分離学習とマージを通じて明示的にモデル化することで、DeCIR は軽量モデルがエンドポイントのショートカットに陥ることなく、複雑で微細な編集を実行することを可能にする。

著者らは、このアプローチが ZS-CIR における精度と効率のトレードオフを改善することを強調する。彼らは LLM ベースの推論を完全に置き換えることを主張するものではなく、適切な監督構築とアーキテクチャの分離により、投影ベースモデルが競争力のある性能を達成しつつ、軽量かつ推論時に LLM を必要としないという展開上の利点を維持できることを実証する。この研究は投影ベースの設定に限定され、トレーニングデータ生成にはオフライン LLM 監督に依存している。