💻 computer science

U-shaped Multi-granularity Learning for Vision-Language Models

視覚と言語のプロンプト学習における粒度のジレンマに対処するため、本論文は、最小限の計算オーバーヘッドで17のベンチマークにおいて最先端の性能を達成するために、粗から密へのコンテキスト伝播と密から粗への階層的教師あり学習を統合したU字型のマルチグラニュラリティ・フレームワークであるUPromptを提案する。

原著者： Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、写真を見せたり物語を読み聞かせたりすることで、ロボットに世界を理解させようとしていると考えてみてください。これは視覚言語モデル（VLM）というエキサイティングな分野です。これらのモデルを、あらゆる本を読み、あらゆる写真を見たことがあるものの、正しいものに注目させるための「ちょっとした後押し」を必要としている超スマートな学生だと考えてください。この後押しはプロンプト学習と呼ばれます。ロボットの脳全体を書き換える（これには膨大な時間がかかります）代わりに、写真のどこを見るべきか、あるいは文章をどう読むべきかを伝えるための、いくつかの特別な「指示語（プロンプト）」を微調整するのです。

しかし、これらの指示には厄介な問題があります。もしロボットに「画像全体を見ろ」という広範で一般的な指示を与えると、全体像は把握できますが、細かな重要な詳細（鳥のくちばしの色など）を見逃してしまいます。逆に、「くちばしを見ろ」という非常に具体的な指示を与えると、その鳥が木の枝に止まっているという事実を見逃してしまうかもしれません。これが「粒度のジレンマ（granularity dilemma）」、つまり、広すぎても狭すぎてもいけないという問題です。あなたがこれから読む論文は、まさにこの問題に取り組み、ロボットがいかにして「森」と「木」の両方を同時に見る方法を教えようとしているのかを解説しています。

U字型の解決策：ロボットに階層的に見せる方法

UPromptをご紹介しましょう。これは、研究者のBiao Chen氏とそのチームによって考案された新しい手法です。彼らは、医療用画像で使用されるU-Netという有名なツールに着目しました。U-Netは、野菜を細かく刻むこともできれば、味のバランスを保つためにすぐにそれらを大きなスープの中に混ぜ合わせることもできる、熟練のシェフのようなものです。研究者たちはこう問いかけました。「なぜ、この『U字型』のアイデアを使って、私たちの視覚言語ロボットを助けることができないのだろうか？」

過去において、ほとんどのロボットは、単一のタイプの指示、つまり「グローバルな（全体的な）」指示か「ローカルな（局所的な）」指示のどちらか一方で学習しようとしてきました。研究者たちは、この単一のアプローチがロボットの足を引っ張っていることを見出しました。それは、映画を説明する際に、「それはアクション映画だ」と言うだけ（漠太すぎる）か、あるいはヒーローがジャンプする正確なフレームだけを説明する（具体的すぎる）ようなものです。物語を理解するには、その両方が必要です。

大きなアイデア：双方向の道
UPrommentは、特別な「U字型」の学習経路を構築します。滑り台が下へと降りていき、その後また上へと戻っていく様子を想像してみてください。

下降（粗から密へ / Coarse-to-Fine）： ロボットはまず、画像全体と一般的なストーリーを見ることからはじまります。次に、滑り台を降りるように、より近く、より細かく見ていきます。その大きな視点での理解を利用して、微細な詳細を研ぎ澄ませていくのです。これは、まず犯罪現場全体を見てから、その文脈を利用して特定の指紋へとズームしていく探偵のようなものです。
上昇（密から粗へ / Fine-to-Coarse）： しかし、それだけでは終わりません！ロボットは滑り台を上がってメッセージを戻します。非常に鋭く細かい詳細を取り出し、それを使って、大きな全体像が混乱したり、真実から「漂流」したりしないように制御するのです。これは、教師が学生のエッセイを添削するようなものです。学生が素晴らしい段落（詳細）を書いたとき、教師はその内容を利用して、章全体（全体像）が依然として筋が通っているかを確認します。

この双方向の交通量により、ロボットは木を見ている間に森を見失うことも、森を称賛している間に木を見逃すこともありません。

どのように実現したか
チームは単に推測したのではなく、このシステムを構築し、17種類のベンチマーク（これは、17種類の異なるテストセットがあることを意味する、少し凝った言い方です）でテストしました。

ビジュアル： 彼らは画像を、非常にぼやけた大きな視点の1x1ドットから、非常に鮮明な14x14グリッドに至るまで、異なるサイズに分解しました。
テキスト： 彼らは、同じ文章を異なる詳細レベルで書き換えるスマートな言語モデル（高度なチャットボットのようなもの）を使用しました。あるバージョンは「男が窓を掃除している」となり、より詳細なバージョンは「青いシャツを着た男が、高いビルの窓を掃除するために梯子の上に立っている」となります。
接続： 彼らは、これらの異なるレベルを特別な「アテンション（注意）」メカニズムで接続しました。これは、各詳細レベルにおいて、テキストに基づいて画像の正しい部分に焦点を合わせるためのスポットライトのようなものです。

何が分かったのか
結果は目覚ましいものでした。UPromptは単に「まあまあ」の結果を出したのではなく、いくつかの領域で現在の最高の手法を打ち負かしました。

検索（文章に対して正しい画像を見つけること）： MSCOCOデータセットにおいて、UPromptは従来の最高手法であるMAMETよりも4.1ポイント高く、もう一つのトップ手法であるVPKEよりも「rSum」というスコアで7.3ポイント高いスコアを記録しました。
汎化性能（新しいことを学ぶ能力）： 未知のカテゴリ（ベースからノベルへの汎化）でテストした際、UPromptはCoCoA-Mixと比較してパフォーマンスを**5.09%**向上させました。
効率性： 最もクールな部分の一つは、ロボットが望めば「怠ける」ことができる点です。システムが異なる詳細レベルを理解しているため、答えが明白であれば早い段階で終了してエネルギーを節約することができます。研究者たちは、彼らのモデルの「ミディアム」バージョンが、他のトップモデルと同等の性能を持ちながら、3分の1の計算コストしか使用していないことを発見しました。

なぜ重要なのか
この論文は、「全体像」か「細部」かのどちらかを選ぶという古い考え方は、行き止まりであることを示唆しています。情報を両方向に流れるようにするシステムを作ることで、UPromptは、ロボットがよりスマートで柔軟になれることを証明しました。それは単に「より多くを見る」ことではなく、「小さなパーツがいかにして大きな物語の中に組み込まれているか」を理解することなのです。

研究者たちは、これは大きな前進ではあるものの、システムにはまだ限界があることも慎重に記しています。彼らはまだ、無限のレベルの詳細をモデル化することはできず、また「U字型」の深さも現在は限られています。しかし、現時点において、UPromptは、私たちのデジタルな友人たちが両目を大きく開いて世界を見るための、明確で原理に基づいた方法を提示しています。

技術要約：Vision-Language ModelのためのU字型マルチグラニュラリティ学習（UPrompt）

1. 問題提起

プロンプト学習を通じて適応されるVision-Language Models (VLMs) は、根本的な**粒度のジレンマ（granularity dilemma）**に直面している。既存の手法は通常、単一の固定された粒度で最適化を行うため、以下のような固有のトレードオフが生じる：

グローバル・プロンプト（Global Prompts）: CoOpのような戦略は広範なコンテキストを捉えるが、詳細な推論に必要な局所的な特徴をエンコードする微細な意味的認識に欠け、（FGVCAircraftデータセットにおいて性能が低下するなど）詳細な推論において課題がある。
ローカル・プロンプト（Local Prompts）: 精緻に構造化されたプロンプトは局所的な詳細を保持するが、十分なグローバル・コンテキストを統合したり、領域間の構成的関係をモデル化したりすることに苦慮する。

この制限は、クロスモーダル検索、フューショット分類、およびベース・トゥ・ノベル（base-to-novel）の汎化といった多様なタスクにおける適応性能と汎化性能を制約している。U-Netのような階層的アーキテクチャは、密な予測タスク（空間的なピクセルグリッド上で動作するもの）においてマルチレベルの表現を統合することに成功しているが、これらの原理をプロンプト学習へと転用することは容易ではない。プロンプト学習は抽象的な埋め込み空間で動作するため、テキストプロンプトには固有の幾何学的構造が存在せず、意味のあるマルチグラニュラリティ表現と双方向の情報フローを構築することは大きな挑戦となる。

2. 手法：UPrompt

著者らは、U-Netに着想を得たU字型マルチグラニュラリティ・プロンプト学習フレームワークであるUPromptを提案する。これは、双方向の情報フローメカニズムによって接続された、視覚およびテキストの両モダリティにおける並行的なマルチグラニュラリティ表現を構築するものである。

2.1 U字型マルチグラニュラリティ構築

本フレームワークは、最も粗いレベルから最も細かいレベルまでの範囲（ $k \in [1, K]$ ）にわたる、CLIPエンコーダをマルチグラニュラリティ版へと拡張する。

視覚モダリティ: 埋め込み空間における漸進的な空間プーリングを通じて、入れ子状のパッチ階層を構築する。最も細かいパッチトークン（ $E^{(K)}_{patch}$ ）から始まり、粗い表現は再帰的に導出される（ $E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$ ）。学習可能なプロンプトは、ビジョンエンコーダに供給される前に、これらのプーリングされた埋め込みと結合される。
テキストモダリティ: 漸進的なエンリッチメントを通じて、意味的階層を構築する。核となる意味が抽出され（ $T^{(1)}_{embed}$ ）、後続のレベルは、粒度固有の詳細化を反復的に追加することで生成される（ $T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$ ）。これらは、抽象的な概念から詳細な記述へと至る階層的なテキスト記述を生成するために、大規模言語モデル（LLM）を用いてインスタンス化される。

2.2 双方向接続メカニズム

レベル間の整合性と相補的な学習を確保するために、UPromptはU-Netのスキップ接続に類似した2つの主要なメカニズムを導入している。

粗から細へのカスケード強化（Coarse-to-Fine Cascaded Enhancement: CE）:
- 目的: 細かい埋め込みにグローバルなガイダンスが欠如しているというコンテキスト不足に対処する。
- メカニズム: クロスグラニュラリティ・アテンションを用いて、粗い粒度のコンテキスト情報を細かい埋め込みに注入する。強化された埋め込み $\hat{X}^{(k)}$ は、より粗いレベルの強化された表現 $\hat{X}^{(k-1)}$ にアテンションを向けることで計算される。
- 効果: 細かい特徴がグローバルな表現からコンテキストに関連する情報を抽出することを可能にし、局所的なモデリングを向上させる。
細から粗への階層的監督（Fine-to-Coarse Hierarchical Supervision: HS）:
- 目的: 粗い粒度における最適化の不一致と意味的ドリフトに対処する。
- メカニズム: 最も細かいレベルの（最適なクロスモーダル対応を持つ）特徴を「教師信号」として用い、知識蒸留を通じて粗いレベルを監督する。粗いレベルの類似度分布と、デタッチされた細かいレベルの分布との間のKLダイバージェンスを最小化する。
- 効果: スケール間の意味的一貫性を確保し、粗い表現がドリフトすることを防ぎつつ、その相補的な性質を維持する。

2.3 全体的な目的関数

学習目的関数は、全 $K$ レベルのグラニュラリティにわたるコントラスティブ・アライメント損失と、階層的監督損失（ $L_{guide}$ ）を組み合わせたものである。推論時、システムは性能と効率のバランスを取るためにグラニュラリティレベルを柔軟に選択でき、最適な精度を得るためには最も細かいレベルをデフォルトとする。

3. 主な貢献

UPromptフレームワーク: U-Netに着想を得たフレームワークであり、並行するマルチグラニュラリティ・パスウェイを通じて、視覚と言語の適応に構造化された階層を導入し、単一スケールの限界を克服する。
双方向情報フロー: 粗から細へのカスケード強化（グローバルなコンテキストを局所的な詳細に注入）と、細から粗への階層的監督（細かいレベルのアライメントによって粗い粒度を正則化）を導入し、意味的一貫性と相補的な学習を確保する。
包括的な検証: クロスモーダル検索、フューショット分類、ベース・トゥ・ノベルの汎化、およびアウトオブディストリビューション（OOD）シナリオを含む17のベンチマークにおいて、優れた性能を実証した。

4. 実験結果

広範な実験により、UPromptの有効性が検証されている：

クロスモーダル検索:
- MSCOCOにおいて、UPromptはMAMETおよびVPKEをそれぞれ4.1および7.3 rSum上回る。
- Flickr30Kにおいて、rSum 571.1を達成し、DoPL、MAMET、VPKEといった最近のファインチューニング手法を凌駕する。
ベース・トゥ・ノベルの汎化:
- 11のデータセットにおいて**82.12%の調和平均（HM）を達成し、CoCoA-Mixを5.09%**上回り、TAPやSurPL-Gをも上回る。
- FGVCAircraft（+0.79% HM）のような困難なデータセットにおいて顕著な利得が見られる。
フューショット分類:
- 11のデータセットの16-shotにおいて**85.13%**の平均精度を達成し、GalLoP、ProVP-Ref、MMAを上回る。
効率性と適応性:
- 適応的推論: カスケード型の早期終了（early-exit）戦略を用いることで、UPromptは細かい粒度の精度を維持しながら計算コストを**48%**に削減し、2.1倍の高速化を実現する。
- コスト・パフォーマンス: 中程度の粒度の構成（UPrompt-M）は、PSRCの精度の1/3のFLOPsのみで同等の精度を実現する。
堅牢性:
- 強力なアウトオブディストリビューション（OOD）汎化能を示す（ImageNetのバリアントで平均61.22%）。これはGalLoPやHiCroPLを上回る。
- テキスト階層生成に使用される異なるLLM（Qwen3, Llama3）間でも性能が安定している。

5. 意義と主張

本論文は、U-Netの階層的表現学習の原理をプロンプトベースのVLMへと橋渡しすることにより、UPromptが視覚と言語の適応に対する原理的な解決策を提供すると主張している。

トレードオフの解消: 双方向の情報フローを通じて、グローバルな理解と局所的な精度を両立する統一されたフレームワークを確立することで、単一グラニュラリティ・アプローチの限界を克服することに成功した。
意味的一貫性: 階層的な表現スケール間で意味的一貫性が維持されることを保証し、孤立したマルチグラニュラリティ・モジュールでしばしば見られる劣化を防いでいる。
柔軟性: 階層的設計により、性能と効率の柔軟なトレードオフが可能となり、精度を大幅に損なうことなくリソース制約に適応できる。

著者らは、効果的ではあるものの、現在の階層の深さには限界があり、より豊かな意味構造をモデル化するために、より深いマルチグラニュラリティ・アーキテクチャを探索することが今後の課題であると認めている。