🤖 AI

Calibrating Uncertainty for Zero-Shot Adversarial CLIP

本論文は、敵対的摂動が通常、不確実性を抑制し過剰な自信を引き起こすという重大な問題に対処するため、出力をディリクレ集中パラメータとして再パラメータ化することで、較正された不確実性の回復と堅牢なゼロショット精度の維持を同時に実現する、CLIPのための新しい敵対的ファインチューニング手法を提案する。

原著者： Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：自信満々な嘘つき

想像してみてください。あなたの目の前には、非常に賢く、博識な司書がいます（これがAIモデルであるCLIPです）。この司書は何百万冊もの本を読み、特定の画像を事前に教えられていなくても、写真を見てそれが何かを推測することができます。これは「ゼロショット学習」と呼ばれます。

しかし、この司書には弱点があります。それは**敵対的攻撃（Adversary Attacks）**です。
敵対的攻撃とは、写真に付いた、人間にはほとんど見えないほど小さな「汚れ」のようなものだと考えてください。人間にとって、その写真は全く同じに見えます。しかし、司書にとっては、その小さな汚れが意味を完全に変えてしまうのです。

この論文では、恐ろしいパターンが見つかりました：

間違い： 司書は汚れた写真を見ると、しばしば間違った答えを出してしまいます。
危険性： さらに悪いことに、彼らは100%の自信を持って間違った答えを提示します。「うーん、よく分かりません」とは言いません。「これは絶対にパンダです！」と断言してしまうのです。実際には犬であるにもかかわらず。

現実世界において、これは、カメラのレンズを鳥が横切っただけで、「崖に向かって運転してください」と自信満々に指示を出すGPSのようなものです。モデルは単に間違っているだけでなく、「較正（キャリブレーション）」ができていないのです。自分自身が思っている以上に、自分は分かっていると思い込んでいます。

旧来の解決策：「シングルアンカー」のアプローチ

以前の研究者たちは、司書に対して、汚れた写真を見たときに「これは犬です」と言うように教えることで、この問題を修正しようとしました。彼らは、司書の注意を「犬」というラベルに向けて強く引き寄せる手法をとりました。

この論文は、この手法を「問題と解答の関係性を理解せずに、解答集を丸暗記するように生徒に教えているようなものだ」と批判しています。

欠陥： これは、モデルに特定の答えを正しく出すよう強制しますが、その「文脈」を無視しています。モデルに対し、「待てよ、この汚れた写真はオオカミにも見えるし、キツネにも見える。だから、確信が持てないと言わなければならない」と気づかせることはできません。
結果： モデルは汚れに対しては強くなりますが、疑念を表明する能力を失います。混乱しているときでも、依然として過剰に自信を持ってしまいます。

新しい解決策：UCAT（「証拠のスケール」アプローチ）

著者らは、UCAT（Uncertainty-Calibrated Adversarial fine-Tuning）と呼ばれる新しい手法を提案しています。その仕組みを、比喩を使って説明します。

1. ディリクレ分布（「自信のスケール」）
新しい手法では、単に一つの答えを選ぶのではなく、司書に対して、あらゆる可能な答えに対して同時に「自信のスコア」を割り当てるよう求めます。

司書には「砂のバケツ（証拠）」があると想像してください。
きれいな犬の写真の場合、司書は砂の90%を「犬」のバケツに入れ、残りのわずかな砂を「オオカミ」や「猫」のバケツに入れます。
汚れていて混乱させるような写真の場合、賢い司書であれば、砂をもっと均等に広げるか、「十分な砂がないので確信が持てない」と認めるべきです。

2. 修正策：砂のバケツの整合性を取る
この論文の秘訣は、数学的なトリックです。彼らはモデルの出力を単なる「推測」としてではなく、ディリクレ分布（砂のバケツの中の砂がどのように分布しているかを表す高度な方法）として扱います。

モデルが汚れた写真（敵対的例）を見たとき、古い手法では単に砂を「犬」のバケツに押し込もうとします。
UCATが行うことは異なります： モデルの出力（砂の分布）と、きれいな写真の出力（砂の分布）を比較し、それらを一致させようとします。

もし、きれいな写真の「犬」のバケツがはっきりしているなら、汚れた写真も同様に「犬」のバケツを持つべきですが、写真が汚れているため、砂の量（自信）は少なくなります。
これにより、モデルにこう言わせるのです。「これは犬だと思いますが、写真が変なので、99%ではなく60%の確信しかありません。」

なぜこれが重要なのか

著者らは、単に一つの答えを強制するのではなく、これらの「砂のバケツ」（分布）を一致させるように教えることで、以下のことが実現できることを示しました：

賢さを維持する： それでも、ほとんどの場合で正しく推測できます。
謙虚さを保つ： 攻撃を受けたり混乱したりしたとき、モデルは不確実性を認めます。「自信満々な嘘つき」であることをやめます。
曖昧さを扱う： 写真が二つのもの（マルチラベル画像など）である場合、モデルは一つの硬直した選択を強制することなく、そのニュアンスを理解します。

結論

著者らは、現在のAIモデルが、テストが難しいときにデタラメに推測する「自信過剰な学生」のようであることを発見しました。彼らの新しい手法であるUCATは、モデルに自身の「証拠」を測定することを教えます。もし証拠が不安定（攻撃によるもの）であれば、モデルは自信のスコアを下げます。これにより、AIは単に正解を出すだけでなく、「自分が何を知らないか」を知ることで、より安全で信頼できるものになります。

彼らはこれを16種類の異なる画像データセットでテストし、彼らの手法が、高い精度を維持しながら、これらのトリッキーな「汚れた」写真を扱う能力を大幅に向上させたことを明らかにしました。

技術要約：ゼロショット・アドバーサリアルCLIPのための不確実性の較正

1. 問題提起

対照的な言語・画像事前学習（CLIP）は、共有された埋め込み空間を活用して、タスク固有の学習なしに画像特徴量とテキストプロンプトを一致させることで、ゼロショット認識の基礎的なモデルとしての地位を確立した。しかし、CLIPは、知覚不可能なピクセルレベルの摂動によって自信満々な誤分類を引き起こす、アドバーサリアル攻撃（敵対的攻撃）に対して非常に脆弱である。

ゼロショット・アドバーサリアル・ロバストネス（ZSAR）に関する先行研究は、主に、アドバーサリアルな画像特徴量を正解のテキストプロトタイプ（シングルアンカー・アライメント）に整合させることで精度を向上させることに焦点を当ててきた。著者らは、見落とされている重要な信頼性のギャップを特定している。すなわち、CLIPにおけるアドバーサリアルな摂動は、精度を低下させるだけでなく、予測の不確実性を系統的に抑制してしまうという点である。

入力が訓練分布から外れたり、難易度が上がったりした場合に不確実性が増大するという期待に反して、標準的なCLIPモデルは、アドバーサリアルな例に対して「過剰な自信（over-confidence）」を示す。これは、モデルが誤った予測に対して不当に高い自信を持つという、深刻な較正不全（miscalibration）を招く。予測ロジットのみを整合させたり、単一クラスの識別に焦点を当てたりする既存の手法は、クラス間の相対的な意味論的幾何構造や、予測的証拠の大きさを保持できないことが多く、その結果、ロバストなオープンボキャブラリー認識に不可欠な不確実性の構造を無視してしまう。

2. 手法

著者らは、不確実性の較正されたアドバーサリアル微調整（Uncertainty-Calibrated Adversarial Fine-Tuning: UCAT）を提案する。これは、不確実性の較正された状態を維持しながら、アドバーサリアル・ロバストネスを維持するように設計されたフレームワークである。本手法は、以下の3つのコアコンポーネントで構成される。

A. CLIPロジットのディリクレ再定式化
著者らは、CLIPの標準的なゼロショット・ロジットを、ディリクレ分布の濃度パラメータ（ $\alpha$ ）として再パラメータ化する。

マッピング: CLIPのロジット $\ell$ が与えられたとき、濃度パラメータは $\alpha_k(x) = \exp(h(\ell_k))$ と定義される。ここで、 $h(\ell) = (\tau \ell + 1) / \tau'$ である。 $\tau$ は学習可能な温度パラメータであり、 $\tau'$ は較正係数である。
理論的正当性: この再定式化により $\alpha_k \ge 1$ が保証され、ディレクレ証拠の妥当な条件を満たす。極めて重要なことに、 $\tau' = \tau$ のとき、結果として得られるディレクレ分布の期待値は、元のCLIPのソフトマックス予測規則を正確に復元する。これにより、本手法が単なる場当たり的な修正ではなく、忠実な確率論的解釈であることを保証している。
不確実性の分解: このパラメータ化により、サンプリングを行うことなく、予測の不確実性を以下の2つの成分にクローズドフォームで分解することが可能になる。
- アレオリック不確実性（Aleatoric Uncertainty: AU）: ディレクレ分布のエントロピーを介して、固有のデータの曖昧さ（例：「狼」と「犬」の間の意味的な重複）を捉える。
- エピステミック不確実性（Epistemic Uncertainty: EU）: 不足している証拠や分布の変化による不確実性を捉え、総証拠強度（ $\alpha_0 = \sum \alpha_k$ ）に反比例する。

B. 分布アライメント目的関数
UCATは、アドバーサリアルな特徴量を単一のテキストプロトタイプに固定するのではなく、アドバーサリアルなサンプル（ $x_a$ ）の予測分布全体を、そのクリーンな対応物（ $x$ ）の分布と整合させる。

損失関数: 目的関数は、標準的なテキスト誘導型クロスエントロピー損失（ $L_{ce}$ ）と、ディレクレ分布間の逆カルバック・ライブラー（KL）ダイバージェンスとして定義される正則化項（ $L_{ucr}$ ）を組み合わせたものである。
$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$
根拠: 著者らは、逆方向のKLを選択している。これは「モード探索型（mode-seeking）」であるためである。証拠を平坦化させてしまう順方向のKLとは異なり、逆方向のKLは、相対的なクラス構造（クラス間の意味関係）と絶対的な証拠強度の両方を保持する。これにより、クリーンなサンプルが低い証拠（高い不確実性）を持つ場合、アドバーサリアルなサンプルが不当に高い証拠を持つよう強制されることを防ぎ、モデルが不当に自信満々なエラーに陥るのを防ぐ。

C. トレーニング・パイプライン
このフレームワークは、テキストエンコーダを凍結したまま、CLIPの画像エンコーダを微調整する。クリーンなペアとアドバーサリアルなペア（ $\ell_\infty$ -PGDを用いて生成）を処理し、結合損失 $L = L_{ce} + \lambda L_{ucr}$ を計算する。ここで $\lambda$ は、判別的な教師あり学習と不確実性の較正のバランスを取る。

3. 主な貢献

ディレクレに基づく定式化: CLIPのロジットをディレクレ証拠として解釈するための、理論的に裏付けられたクローズドフォームの手法を提供し、不確実性をアレオリックおよびエピステミック成分へと効率的に分解することを可能にした。
UCATフレームワーク: ディレクレ分布全体を正則化する新しいアドバーサリアル微調整法。このアプローチは、クラス間の意味関係を同時に保持し、かつ証拠強度を較正することで、アドバーサリアルな入力が過剰な自信を引き起こすという較正不全の問題に対処する。
広範な実証的検証: 16個のシングルラベル・ベンチマークとマルチラベルMS-COCOデータセットにおいて検証を行った。本手法は、不確実性の較正（期待される不確実性の順序：クリーン < アドバーサリアルを回復）において顕著な改善を示しつつ、競争力のあるアドバーサリアル・ロバストネスとクリーンな精度を維持している。

4. 実験結果

不確実性の較正: 実験により、バニラなCLIPはクリーンな入力よりもアドバーサリアルな入力に対して予測の不確実性が低くなる（これは較正不全の兆候である）ことが示された。UCATは、入力の困難さに応じて不確実性が増大するという一貫した順序を回復し、分布の変化を忠実に反映させる。
ロバストネス: 16のシングルラベルデータセット（CIFAR-10/100、ImageNet、およびファイングレインデータセットを含む）において、UCATは様々な攻撃（PGD、CW、AutoAttack）の下でのクリーンな精度とアドバーサリアル精度の調和平均において、最高水準またはそれに次ぐ性能を達成した。
マルチラベル・ロバストネス: MS-COCOデータセットにおいて、UCATはCW攻撃下でのTop-3の適合率、再現率、およびF1スコアにおいて最高の性能を達成しており、相対的な意味的順序の保持が極めて重要となる曖昧なマルチラベル設定における優れた安定性を示している。
汎用性: 本手法は、異なるCLIPバックボーン（B/16, B/32）および他の対照的VLM（SLIP）においても効果的に汎用化され、このアプローチが特定のアーキテクチャに依存していないことを示唆している。
アブレーション研究: 著者らは、逆方向のKL方向とディレクレ定式化（単純なソフトマックス・アライメントと比較して）が性能にとって極めて重要であることを確認した。また、本手法は異なる正則化強度（ $\lambda$ ）や較正係数（ $\tau'$ ）に対しても堅牢である。

5. 重要性と主張

本論文は、ロバストネスとは単なる精度ではなく、較正された不確実性であるということを示すことで、視覚言語モデルにおける決定的な信頼性のギャップを埋めるものであると主張している。アドバーサリアル攻撃がCLIPの不確実性を抑制することを明らかにすることで、著者らは、ロジットのアライメントのみに焦点を当てた従来のメソッドは不十分であると論じている。

本研究の意義は以下の点にある：

理論的洞察: 対照学習のロジットとエビデンシャリー・ディープラーニング（ディレクレ分布）との間の原理的なマッピングを提供し、オープンボキャブラリー設定における不確実性のモデリングに対する新しい視点を与えた。
実用的な信頼性: モデルが攻撃を受けた際に過剰な自信を持たないようにする手法を提供しており、これは安全性が重視されるシナリオやオープンワールドでのVLMの展開において不可欠である。
スケーラビリティ: ゼロからの再学習や複雑なアーキテクチャの変更を必要とせず、微調整を通じて不確実性の較正が可能であることを示しており、既存の基盤モデルへの適用可能性を示している。

著者らは、現実世界への展開に関して慎重な姿勢を維持しており、本アプローチはアドバーサリアルな摂動下でのモデルの挙動の理解を向上させるものの、実用的な適用には徹底したリスク評価と追加のセーフガードが必要であると述べている。本研究は、対照学習フレームワークにおける不確実性モデリングとロバストネス評価における手法的な進展として位置づけられている。