Neutral-Reference Prompting for Vision-Language Models

技術的サマリー：ビジョン - ランゲージモデルのための中立参照プロンプティング（NeRP）

1. 問題定義

ビジョン - ランゲージモデル（VLM）は強力なゼロショット能力を示しているが、プロンプトチューニングや軽量適応を通じた効率的な転移学習は、しばしば**ベース - ニュートレードオフ（BNT）**に悩まされる。未見（ニュー）クラスの性能向上は、既知（ベース）クラスの精度を低下させる傾向がある。

既存の文献は BNT を主にファインチューニング中のベースクラスへの過剰適合に起因するとみなしているが、本論文はより微妙な根本的な課題を特定している：非対称な混同である。対称的な混同（類似クラスが同程度の割合で誤分類される場合）とは異なり、VLM は体系的な一方向のバイアスを示す。具体的には、クラス A のサンプルが頻繁にクラス B として誤予測されるが、その逆（B→A）は稀にしか起こらない。このバイアスは事前学習データの偏りから継承されたものであり、標準的なファインチューニング（クロスエントロピー損失を使用）が既知クラスのバイアスを効果的に抑制する一方で、未見クラスに対する事前学習に起因する事前確率を修正できないため、未見クラスにおいても存続する。

2. 手法：NeRP

著者らは、モデルパラメータを変更したり再学習を行ったりすることなく推論時に予測を修正するプラグアンドプレイ戦略である**NeRP（Neutral-Reference Prompting）**を提案する。この手法は、ファインチューニングが主にベースクラスのプロトタイプが張る低次元部分空間を変形させ、未見クラスのゼロショット幾何学は比較的安定したまま残るという観察に基づいている。

中核的コンポーネント：

• 中立参照プロンプト： この手法は、クラスに依存しない「中立」プロンプトを定義する。
  • テキスト側： クラス固有の手がかりなしに任意のサンプルを記述する汎用的なプロンプト（例："a photo of an object"）。
  • 画像側： 全ての学習画像のピクセルごとの平均を取って構築された「中立」画像であり、ドメインのスタイルは保持しつつ特定のセマンティックな内容は除去する。
• 事前確率ギャップの測定： これらの中立参照をクラスプロトタイプに対して投影することで、中立事前確率（$\pi_{txt}$ および $\pi_{img}$）を計算する。クラスペア $(i, j)$ に対するこれらの事前確率の差は、モデルの固有のバイアスの方向と強度（「事前確率ギャップ」）を明らかにする。
• ベイズ風代理スコア： この手法は、観測されたサンプルのログオッズマージン（$m_{ij}$）と中立事前確率ギャップ（$\Sigma_{i,j}$）を組み合わせることで、代理スコアを構築する。
  $$s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$$
• 決定則（ローカルフリップ）： 与えられたサンプルにおいて、事前確率が特定のクラスを強く支持している（$\Sigma_{i,j}$ が大きい）が、観測証拠（ログオッズマージン）が弱い場合、その予測は「事前確率支配的」であり誤りである可能性が高いとみなされる。そのような場合、NeRP は容易に混同されうるクラスペア間でローカルフリップを実行し、バイアスを修正する。事前確率と証拠の両方が弱い場合は、予測は変更されない。

理論的正当性：
本論文は、ファインチューニングの低ランク変形モデルの下では、中立事前確率ギャップが未見クラスに対する期待されるログオッズマージンと高い確率で整合することを示す理論的証明（命題 3.5 および系 3.6）を提供している。これにより、中立事前確率はバイアスの検出と修正のための信頼できるアンカーとして機能する。

3. 主要な貢献

• 非対称な混同の特定： 本論文は、BNT が過剰適合のみによって引き起こされるのではなく、未見クラスに対する持続的で非対称な事前学習バイアスによって大きく駆動されていることを浮き彫りにする。
• 中立参照メカニズム： 事前学習されたクラス間幾何学に沿ったクラスごとの事前確率の好みを測定するための中立テキストおよび画像プロンプトの導入。
• パラメータフリーな修正： NeRP は、追加の学習、パラメータ更新、既存の VLM に対するアーキテクチャ変更を必要としない、事後のプラグアンドプレイ戦略である。
• 理論的分析： 中立事前確率とゼロショット幾何学の安定性の間の形式的な関連性を確立し、これらの事前確率が新規クラスにおけるバイアスの方向を信頼性高く検出できることを証明する。

4. 実験結果

著者らは、11 の少数ショット認識データセット（ImageNet、Caltech101、OxfordPets など）と 4 つのクロスドメイン/ドメイン一般化データセット（ImageNet-V2、ImageNet-Sketch など）を含む15 のベンチマークで NeRP を評価した。

• ベースライン： この手法は、CoCoOp、PromptSRC、MMA、MMRL という 4 つの異なる最先端のプロンプトチューニングおよび適応手法と統合された。
• 性能：
  • ベースからニューへの一般化： NeRP は、全てのベースラインおよびデータセットにおいて、未見（新規）クラスの精度を一貫して向上させた。例えば、EuroSAT では 5% 以上の向上が見られ、ImageNet および Flowers102 では 0.5〜2% の改善が観測された。
  • ベース性能の維持： 重要なのは、NeRP がベースクラスの精度を低下させることなく新規クラスの性能を向上させ、BNT を効果的に緩和した点である。
  • クロスドメインおよびドメイン一般化： NeRP は、クロスデータセットおよびドメイン一般化タスクにおいて即座の向上をもたらした。10 のデータセット全体で平均約 1% の改善が見られた。
• アブレーション研究： 実験により、この手法がハイパーパラメータの検索粒度に対して頑健であり、較正に使用されるサンプル数が非常に少ない場合でも有効であることが確認された。

5. 意義と主張

本論文は、VLM における効率的な転移学習のための「無料の午餐」として NeRP を位置づけている。その主な意義は、過剰適合という症状だけでなく、非対称バイアスという根本原因に対処することで、（ベースクラスにおける）識別と（新規クラスにおける）一般化の間のトレードオフを分離することにある。

著者らは、NeRP が識別と一般化のバランスを取る普遍的でモデルに依存しない修正戦略であると主張する。中立参照を活用して事前学習に起因するバイアスを露呈し修正することで、NeRP は既存の VLM 適応手法が、再学習の計算コストや既知クラス精度を損なうリスクなしに、未見クラスにおいてより良い性能を達成することを可能にする。この研究は、「非対称な混同」を理解し修正することが、VLM の堅牢性を向上させるための重要かつ以前は十分に探求されていなかった道であることを示唆している。