💬 NLP

Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

本論文は、配備されたビジョン・ランゲージ・システムにおける確信度の読み出し値が、回答を維持する攻撃に対して極めて脆弱であることを示しており、それらが、誤った回答を受け入れさせたり、全体の精度をベースラインを下回るレベルまで低下させたりするように操作可能な、堅牢な監視信号ではなく完全性に敏感な信号として機能することを証明している。

原著者： Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

公開日 2026-08-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは宇宙船の船長になったと想像してください。しかし、あなたは星も見えず、操作パネルも見えません。その代わりに、非常に賢いロボットの副操縦士がいます。そのロボットは計器を見て、「私は90%の確率で正しい経路にいると確信しています」と言ったり、「確信度は50%しかありません。一旦停止したほうがいいかもしれません」と言ったりします。あなたは、飛行を続けるか、あるいは人間を呼んで助けを求めるかを決めるために、このロボットの「確信度スコア」を信頼して判断を下します。これは、今日の多くの現代的なAIシステムの仕組みです。彼らは単に答えを出すだけでなく、その答えをどの程度信頼すべきかを伝えるための「確信度スコア」を提示するのです。

しかし、ここからが厄介なところです。もし、誰かが答え自体は変えずに、ロボットの「確信度」だけを変えて、考えを変えさせることができたらどうなるでしょうか？それはまるで、重さは全く変えていないのに、天秤の目盛りを「重い」から「軽い」へと傾けてしまう手品師のようなものです。もし、ロボットの確信度スコアが、あなたが誤った判断を下すのを防ぐ唯一の手段であり、もしそのスコアが偽装できるものだとしたら、あなたの安全網には穴が開いていることになります。この論文は、まさにその穴について掘り下げ、恐ろしくも重要な問いを投げかけています。「これらのAIロボットを、答えは全く同じまま、確信度について嘘をつくように騙すことはできるのだろうか？」

この研究の研究者たちは、いくつかの強力な視覚言語モデル（画像を見て質問に答えることができるAI）を用いて、ハイステークスな「弱点探し」のゲームを行うことに決めました。彼らの目的は、AIの最終的な回答（一文字一文字、スペース一つに至るまで）を完全に同一に保ったまま、画像の極めて微細で、ほとんど目に見えない変化を加えることで、AIの確信度スコアを激しく変動させることができるかどうかを確かめることでした。彼らは、AIの確信度スコアを「壊れやすいガラス窓」のように扱いました。つまり、フレーム（答え）を壊すことなく、ガラス（確信度）だけを粉々に砕くことができるかどうかを見たのです。

彼らが発見したのは、そのガラスは予想よりもはるかに脆いということでした。「回答保存型攻撃（answer-preserving attacks）」と呼ばれる手法を用いることで、彼らはテストを行ったほぼすべてのケースにおいて、AIの内部的な確信度スコアを操作することに成功しました。実際、テストした多くのAIモデルにおいて、画像をわずかに調整して確信度メーターを欺くだけで、間違った答えを正しいものとして受け入れさせたり、正しい答えを間違っているものとして拒絶させたりできることが分かりました。

この発見の中で最も驚くべき点は、これが画像自体の問題だけではないということです。研究者たちは、画像に一切触れることなく、AIの内部の脳（隠れ状態）を直接「押し」、特定の方向へ思考を促すように動かすことで、同じ結果が得られることを示しました。これは、問題がAIの画像認識における単なる不具合ではなく、AIが自身の確信度を算出する方法における、より深いレベルの問題であることを示唆しています。

彼らはまた、画像にノイズを加える、あるいはAIが変化に対して鈍感になるよう訓練するなど、確信度スコアをより堅牢にするための「防御」戦略もテストしました。残念ながら、これらの防御策のどれもが、このトリックを防ぐほど十分に機能することはありませんでした。彼らのシミュレーションでは、これらの操作された確信度スコアを使用して現実世界の意思決定を行った場合、システムは、確信度スコアを完全に無視してすべての答えを受け入れた場合よりも、実際にはパフォーマンスが悪化しました。

では、これは将来にとって何を意味するのでしょうか？論文は、AIの内部的な確信度スコアを、特にAIにデータを与える人間がそれを騙そうとしている可能性がある場合、安全信号として盲目的に信頼することはできないと結論付けています。確信度スコアは「完全性に敏感（integrity-sensitive）」、つまり容易に汚染され得るものです。著者らは、もし私たちがこれらの確信度スコアを用いて重要な意思決定を行いたいのであれば、AI自身にどれほど確信しているかを語らせるのではなく、それらを検証するための新しい外部的な方法を構築する必要があると提案しています。これは、AIの世界においては、ロボットが「確信しています」と言ったとしても、それが実際に確信しているとは限らないということを思い出させてくれるのです。

技術要約：回答保存型攻撃下におけるモデルの信頼度

問題提起
デプロイされた視覚言語モデル（VLM）は、回答の受理、人間への委譲、または棄権といったダウンストリームの意思決定を制御するために、内部の信頼度スコアを利用することが多い。本研究で調査されている決定的な失敗モードは、敵対的な摂動によって信頼度スコアがダウンストリームの意思決定を覆すほど十分に変化したにもかかわらず、生成された回答文字列自体は元の回答とバイト単位で同一であるという事態である。本論文は、監視対象の振る舞い（回答）が固定されている一方で、入力（画像）が敵対的に摂動された場合に、モデル内部の信頼度読み出しが堅牢な監視を提供できるかどうかを問うものである。単一の予測トークンを保存する従来の分類器に関する先行研究とは異なり、本研究では、完全かつ可変長の生成回答の保存に対処している。

手法および脅威モデル
著者らは、4つのVLM（InternVL3.5-2B, Gemma-3-12B, Molmo2-4B, LLaVA-OneVision-7B）と3つのベンチマーク（GQA, VQAv2, POPE）にわたって、7つの信頼度チャネルを評価している。主要な脅威モデルは、ホワイトボックス、画像のみ、かつ回答保存型である。

攻撃の制約: 攻撃には、 $L_\infty$ バジェット（デフォルト 8/255）の下での投影勾配降下法（PGD）を用いて入力画像を摂動させる。最適化は、すべての回答位置における放出トークンが、安全マージン（ $\tau_{safe} = 1.0$ ロジット）を伴って argmax であるように制約される。また、貪欲デコーディングによる最終的な再生成回答は、クリーンな回答とバイト単位で同一でなければならない。
信頼度チャネル: 本研究では5つの主要なチャネルをテストしている：
1. 回答スパン・トークンの確率。
2. $P(IK)$ および SAPLMA（プロンプト終了時および回答終了時のトークンで読み取られる）。
3. CCPS（内部摂動下での安定性を測定）。
4. CCPS-D（CCPS 特徴量を用いて訓練された微分可能なサロゲート）。
- 言語化された信頼度（Verbalized confidence）および自己一貫性（Self-consistency）は、エスティメータ固有の標的型攻撃の欠如、またはクリーンな識別力の弱さにより、主要なカウントからは除外されているが、補足として報告されている。
評価指標: 主要な指標は、正解と不正解の回答を識別するための受信者動作特性曲線の下の面積（AUROC）である。また、「過剰破壊比（excess-destruction ratio）」（攻撃が理論的なフロアに対してどの程度性能を低下させたか）およびデプロイメントの意思決定（受理/委譲率）への影響も測定している。

主要な理論的貢献
本論文は、回答保存下における信頼度読み出しの堅牢性に関して、2つの理論的な終止点（エンドポイント）を導出している。

回答文字列の天井（命題 1）: 仮定 1（同じ回答を生成する異なる画像に対して到達可能なスコア範囲が交差するという仮定）の下では、いかなる「動かせない」読み出し（摂動を与えられないもの）も、実質的に回答文字列のみの関数となる。したがって、その識別能は、回答文字列の事前分布（ $c^*$ ）、すなわち $Pr(Y=1 | A=a(x))$ を超えることはできない。ベンチマーク全体におけるこの事前分布の結合的な運用値は 0.617 である。
一様振幅証明（命題 3）: 仮定 1 に依存せずに、著者らは、すべてのアイテムにおける操作可能な振幅（最大スコア変位）が閾値 $\gamma$ によって制限されている場合、正解と不正解のペア間のクリーンな分離が $2\gamma$ を超えていれば、識別能が回答文字列のフロアを維持することが保証されることを確立した。本研究における中央値の閾値 $\gamma^*$ は 0.065 である。

実験結果
実証的な評価は、検討された予算下において、堅牢で「動かせない」読み出しの可能性を否定している：

証明の反駁: 直接的またはサロゲートを標的とした攻撃によって生成されたアイテムごとの実現可能な摂動は、すべての（84個の）エスティメータ×セル組み合わせにおいて、一様振幅閾値（ $\gamma^*$ ）を超えている。これは、テストされた読み出しのいずれもが、要求される一様境界を満たしていないことを示している。
フロアの崩壊: 協調的かつ正解ラベルを考慮した攻撃により、すべての（60個の）デプロイ済みチャネル・セルにおいて、敵対的 AUROC が回答文字列の運用フロア以下に低下した。フロアより高い値から始まった59個のセルのうち、すべてがフロア以下に崩壊した。クリーンな AUROC（0.72–0.78）は 0.13–0.26 まで低下し、中央値の過剰破壊比は 3.74 であった。
表現レベルの操作: この影響は敵対的な画像に特有のものではない。攻撃によって誘発された隠れ状態のドリフトから抽出された方向を、画像の摂動なしにモデルの表現に注入することで、回答を保存しながら信頼度スコアを動かすことに成功した（少なくとも86%のアイテムで）。これは、脆弱性が表現レベルに存在することを裏付けている。
防御の限界:
- 制限されたプローブ: 「回答結合型（COUPLED）」の部分空間に制限されたプローブは、直接攻撃を受けた場合には堅牢性を提供できなかったが、転移攻撃に対してはある程度の耐性を示した。
- 摂動の安定性: 安定性（CCPS）を通じて信頼度を測定しても、スコア操作を防ぐことはできなかった。サロゲートを標的とした攻撃は、大幅な AUROC の損失を引き起こした。
- 入力の浄化と平滑化: JPEG 前処理およびランダム化平滑化は、有用な一様証明を確立することや、識別能の崩壊を防ぐことには失敗した。
- 不一致モニター: 複数のチャネルに基づく不一致モニターは、一貫した堅牢な信号を提供できず、多くの場合、回答文字列の事前分布よりも低い性能を示した。

デプロイメントへの影響
信頼度ゲートを用いたシミュレーションにおいて、攻撃は受理の決定を正常に汚染した：

誤答から受理へ: トークン確率の転移攻撃により、以前は拒絶されていた不正解の最大 84.8% が受理されるようになった。
正解から委譲へ: 以前は受理されていた正解の最大 27.4% が、新たに委譲されることになった。
純正解率: 自然な正解の出現頻度で重み付けを行った後、攻撃を受けたゲートの受理された正解率は、転移攻撃下では12セルのうち8つのセルで「ゲートなし（すべての回答を受理）」のベースラインを下回り、直接攻撃下では全12セルで下回った。

意義および主張
本論文は、ホワイトボックス、画像のみ、回答保存型の攻撃という特定の脅威モデルの下では、モデル内部の信頼度は、本質的に堅牢な監視メカニズムではなく、完全性に敏感な（integrity-sensitive）信号であると結論付けている。

本研究は、信頼度が役に立たないと主張しているわけでも、独立して訓練された外部検証器や将来の証明可能な構成の可能性を排除しているわけでもない。
しかし、現在 VLM にデプロイされている特定の読み出しは、回答を保存する範囲内で操作可能であることを示している。
これらの知見は、入力パスが信頼できない場合、信頼度ゲート付きのシステムが信頼できるためには、スコア自体が保護、証明、または独立して検証されなければならないことを示唆している。なぜなら、内部信号だけでは、出力テキストを保存する敵対的な操作に対する堅牢性を保証できないからである。

技術要約：回答保存型攻撃下におけるモデルの信頼度

関連論文