🤖 AI

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

本論文は、クエリ固有のクラス混同と分布シフトを効果的に解決するために、クエリ固有のネガティブルーティング、LLM によって生成された対照的プロンプト、および適応的融合重みを用いて性能を向上させるパラメータフリーのビジョン・ランゲージ・フューショット適応フレームワークである SCAN を紹介する。

原著者： Sriram Mandalika

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sriram Mandalika

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少し硬直したロボットに、さまざまな種類の鳥を認識させる方法を教えることを想像してください。ロボットに示せるのは、各鳥のほんの少しの写真だけです（これを「ファウショット学習」と呼びます）。ロボットはインターネット全体を読んだため、世界についてすでに多くのことを知っていますが、尾が赤いハヤブサと肩が赤いハヤブサのように、2 羽の鳥が非常に似ている場合、まだ混乱してしまいます。

この論文は、この混乱を解決するための新しい手法、SCAN（Selective Confusion-Aware Negatives：選択的混乱認識ネガティブ）を紹介しています。その仕組みは、以下の 3 つのシンプルなアイデアに分解されます。

1. 「賢い警備員」（クエリ適応型ルーティング）

従来の方法： 美術館の警備員を想像してください。訪問者が入ってくるたびに、その警備員は美術館にある「すべての」物体に対して、「あなたは絵画ではない、あなたは像ではない、あなたは壺ではない……」と叫びます。これは訪問者が実際に見ているものが何かを判断するのを助けない、騒がしく散漫なノイズです。ロボットもこれと同じことをします：その画像がそれらのものになる可能性がなくても、すべての画像にそれが「何ではないか」を伝えようとします。

SCAN の方法： SCAN は、まず訪問者を見る賢い警備員のように機能します。訪問者がハヤブサのように見える場合、警備員は「あなたは間違いなく肩が赤いハヤブサではない」とだけ囁きます。なぜなら、それだけが混同される可能性があるものだからです。警備員はペンギンやフラミンゴのような他のすべての鳥を無視します。なぜなら、あなたは明らかにそれらではないからです。

なぜ役立つのか： 画像が混同されそうな特定のもののみに焦点を当てることで、ロボットは関連しないノイズに気を取られることなく、はるかに鋭い判断を下すことができます。これには追加のメモリやトレーニングは不要です。

2. 「専門家芸術評論家」（LLM ブートストラップ型プロンプト）

従来の方法： 鳥をロボットに説明する際、従来の方法は単に「これは尾が赤いハヤブサの写真です」と言うかもしれません。ロボットが似たような鳥を見ると、「まあ、それも鳥の写真だから、もしかしたら同じものかもしれない」と考えるかもしれません。これはあまりに曖昧です。

SCAN の方法： SCAN は、より良い説明を書くためにAI 芸術評論家（大規模言語モデル）を雇います。単に鳥の名前を挙げるのではなく、評論家はこう言います。「これは尾が赤いハヤブサです。尾が錆色で腹部が白いのに対し、もう一方は縞模様の尾を持っているため、肩が赤いハヤブサと区別できます。」

なぜ役立つのか： これは、類似したアイテムを区別するための具体的な「手がかり」をロボットに与えます。「あれを食べるな」と言うのと、「あれを食べるな。食用のものに似ているが、赤い斑点がある」と言うのとの違いです。

3. 「直感的な天秤」（適応的融合）

従来の方法： ロボットには、画像を見る（視覚）と説明を読む（テキスト）という 2 つの思考方法があります。通常、人間は画像とテキストのどちらをどの程度信頼するかを手動で決定する必要があります。これは、各側の重さを推測して天秤をバランスさせようとするようなものです。推測を間違えると、ロボットは混乱します。

SCAN の方法： SCAN は、バランスを自動的に計算する魔法の天秤を持っています。画像が非常に明確で区別しやすい場合、天秤は画像をより信頼するように傾きます。画像がぼやけていても名前が非常に異なる場合は、テキストをより信頼するように傾きます。これは、与えられた数少ない例を見て、人間の推測なしにその場で最適な組み合わせを決定することで行われます。

結果：どの程度うまく機能しましたか？

著者らは、この「賢い警備員」システムを、花の認識から車や質感の検出まで、11 種類の異なる課題でテストしました。

スコア： 平均して、SCAN は 16 個の例を与えられた場合、従来の最良の方法よりも4.6% 高い精度を達成しました。
大きな勝利： 最も困難なタスク（非常に似た鳥や車を区別するなど）で最も輝き、精度が最大**7.7%**向上しました。
困難な状況： データが乱雑な場合（例えば、教師がテストの答えを誤ってマークしたように、ラベルの 50% が間違っている場合）でも、SCAN は競合他社よりも優れたパフォーマンスを発揮しました。また、少し異なる照明やスタイル（写真ではなく猫のスケッチなど）で見たことのないものを認識するのにも非常に優れていました。

まとめ

要約すると、SCAN はロボットに、すべてのものに対して「いいえ！」と叫ぶのをやめ、重要なものに対してのみ「いいえ！」と囁くことを教えます。それは、なぜ物事が異なるのかを説明する賢い評論家を使用し、目と脳のどちらを信頼すべきかを自動的に知ります。これにより、わずか数個の例から新しいことを学ぶ能力が大幅に向上します。

技術的サマリー：SCAN – Few-Shot 視覚言語モデルのための選択的混乱認識ネガティブ

問題定義

CLIP などの視覚言語モデル（VLM）の Few-Shot 適応は、推論中にネガティブクラスの信号がどのように処理されるかによって本質的に制約されています。既存の手法は、クエリ固有の混乱パターンに関係なく、すべてのクエリに対してすべてのクラスに均一なネガティブ抑制を適用する傾向があります。このアプローチは、最も有害な混乱がクエリ固有であり、サポートセットの幾何学構造に応じて変化するという現実を無視しています。その結果、ネガティブ信号は、特定の画像が最も混同されやすいクラスに集中するのではなく、無関係なクラスに希釈されることがよくあります。さらに、現在の手法は汎用的なネガティブテキストテンプレートに依存し、視覚モダリティとテキストモダリティの間のトレードオフを手動で調整する必要があり、微細なタスクや分布シフトへの適応性を制限しています。

手法：SCAN フレームワーク

著者は、3 つの標的メカニズムを通じて Few-Shot VLM 適応を洗練させるパラメータフリーのフレームワークである**SCAN（選択的混乱認識ネガティブ）**を提案します。

1. クエリ適応型ネガティブルーティング

すべてのクラスに固定されたネガティブペナルティを適用する代わりに、SCAN は推論時にネガティブ抑制を動的にルーティングします。

メカニズム: 各クエリ画像に対して、システムは正のスコアに基づいて、最も混同されやすい上位 K 個のクラスを特定します。
ルーティング: ネガティブ抑制は、この混乱セット $N(q)$ にのみ制限されます。混同可能なクラスの正のスコアに対する softmax を用いて、クエリごとの混乱重み $\beta_c(q)$ が計算されます。
利点: これにより、最も重要な箇所にペナルティが集中し、追加のパラメータやトレーニングのオーバーヘッドを導入することなく、クエリごとの決定境界を鋭くします。

2. LLM 起動型ペアワイズ対照的プロンプト

SCAN は、「{CLASS} ではない」といった汎用的なネガティブテンプレートを、識別的なテキスト監視に置き換えます。

生成: 各クラスに対して、システムは CLIP 埋め込み空間内で視覚的に混同されやすい上位 k 個の近隣を特定します。LLM をオフラインでプロンプトし、これらの特定の近隣に対するターゲットクラスを特徴づける記述を生成させます（例：「 $c$ の写真。視覚的特徴 [視覚的属性] によって $c'$ と区別可能」）。
統合: これらのペアワイズ対照的記述はネガティブテキスト重み（ $w^-_c$ ）として機能し、単なるクラス名の否定を超えた、根拠のある識別的言語を提供します。

3. パラメータフリー適応型モダリティ融合

このフレームワークは、視覚ブランチとテキストブランチのバランスに関する手動ハイパーパラメータ調整の必要性を排除します。

推定: 融合重み $\lambda$ は、サポートセットの幾何学構造から直接推定されます。
ロジック: 視覚的フィッシャー識別性（ $\sigma_v$ 、クラス間分散とクラス内分散の比）と、テキスト重みのペアワイズコサイン類似度から導出されるテキスト識別性（ $\sigma_t$ ）を計算します。
適応: 重みは $\lambda = \text{clip}(\frac{\sigma_v}{\sigma_v + \sigma_t})$ として計算されます。これにより、特徴が識別可能である場合は視覚ブランチを、クラス名が意味的に近い場合はテキストブランチを自然に優先します。

主要な貢献

本論文は、3 つの主要な貢献を概説しています。

クエリ条件付きネガティブルーティング: 均一なペナルティを適用するのではなく、各テスト画像が最も混同されやすいクラスにネガティブ抑制を集中させるメカニズム。
LLM 起動型対照的プロンプト: 汎用的なネガティブテンプレートを置き換える、クラスとその最も近い意味的近隣に対する特徴を記述する、オフラインで生成されたペアワイズ対照的記述の導入。
適応型モダリティ融合: 手動調整を不要にし、サポートセットの幾何学構造のみから最適な視覚 - テキスト重みを推論するパラメータフリーな手法。

実験結果

SCAN は、11 の標準ベンチマーク（ImageNet、Caltech101、Flowers102、Stanford Cars や FGVC Aircraft などの微細データセットを含む）と、ImageNet の4 つの分布外（OOD）バリエーションで評価されました。

Few-Shot パフォーマンス: SCAN は、従来のプロンプトベース（CoOp、CoCoOp）およびアダプターベース（CLIP-Adapter、Tip-Adapter-F、TaskRes）の手法を一貫して上回りました。
- 16 ショットにおいて、SCAN は最強のベースライン（SimNL）に対して平均**4.61%**の改善を達成しました。
- クラス間混乱が深刻な微細データセットで改善が最も顕著でした：DTD と FGVC Aircraft で7.70%、Stanford Cars で**5.90%**の改善です。
分布シフト耐性: SCAN は ImageNet-V2、ImageNet-Sketch、ImageNet-A、ImageNet-R において優れた汎化性能を示し、SimNL に対して平均**2.95%**の改善を示しました。最大の改善（+3.20%）は ImageNet-Sketch で観察されました。
ラベルノイズ耐性: 顕著なラベル汚染（16 ショット ImageNet で最大 50% のノイズ）下でも、SCAN は堅牢なパフォーマンスを維持しました。特に、50% のノイズ下での精度（67.68%）は、最強の競合手法（SimNL の 66.52%）のクリーンなベースライン性能を上回りました。

意義と主張

本論文は、SCAN がすべてのネガティブ信号を等しく扱うという根本的な制限に対処していると主張しています。クエリ固有のネガティブルーティングへのパラダイムシフトにより、この手法は推論時のパラメータを増やすことなく、高混乱シナリオにおいて決定境界を効果的に鋭くします。

著者は、ネガティブブランチとテキスト監視に対する標的的な改善が、多様なドメインにわたって実質的かつ一貫した利益をもたらすと主張しています。分布シフト下での汎化能力と、深刻なラベルノイズ下での堅牢性を維持するフレームワークの能力は、クエリ適応型ルーティングが本質的にノイズ耐性を持つことを示唆しています。この研究は、SCAN を既存のアダプターベースの Few-Shot パイプラインと互換性のあるプラグアンドプレイの強化として位置づけ、データが希少でノイズの多い現実世界の環境において、より信頼性の高い Few-Shot 視覚言語モデルへの道筋を提供しています。