🤖 AI

GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

本論文は、画像埋め込みを最適化することでマルチモーダル大規模言語モデルにおける幻覚の脆弱性を能動的に誘発し露呈させ、従来の手法よりも大幅に高い成功率を達成すると同時に、ファインチューニングを通じてモデルの堅牢性を向上させるためのツールとしても機能する、自然な外観を持つ物体不在の画像を生成する自動手法であるGHOSTを導入するものである。

原著者： Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：AIの「想像力が豊かすぎる」現象

想像してみてください。あなたのそばには、写真を見て何が写っているかを説明できる、非常に賢いロボット助手がいます。彼はほとんどのことにおいて優秀ですが、ある奇妙なバグを持っています。それは、時々そこに存在しないものを見てしまうことです。

例えば、お皿の上のバナナの写真を見せると、彼は自信満々に「バナナの横にナイフがあります」と言ってしまうかもしれません。実際にはナイフなど存在しないのに。AIの世界では、これを**ハルシネーション（幻覚）**と呼びます。これは、まるで誰かが相手の期待に応えようとしすぎたり、特定のパターンに慣れすぎていたりするために、空白を埋めるために詳細を捏造してしまうようなものです。

旧来の手法：固定されたリストによるチェック

以前は、研究者たちはAIに固定された写真のリスト（選択式テストのようなもの）を見せることで、これらの間違いを見つけようとしてきました（例：「ナイフが見えますか？」と問いかけ、AIが間違えるかどうかを確認する）。

欠点： これは、ドライバーに対して、特定の空いている駐車場だけで運転テストを行うようなものです。赤いボールが通りに転がり込んできたときに、そのドライバーがパニックになるかどうかどうかを見逃してしまう可能性があります。古いテストはあまりにも硬直的であり、AIがどのように「新しい」あるいは「奇妙な」失敗をするのかを見つけ出すことができませんでした。

新しい解決策：GHOST（「手品師」のアーティスト）

著者らは GHOST（Generating Hallucinations via Optimizing Stealth Tokens：ステルス・トークンの最適化による幻覚生成）を紹介しています。GHOSTを、単にAIに写真を見せるだけでなく、AIに「幽霊（ゴースト）」を見せるために特別に設計された新しい絵を描く手品師だと考えてください。

GHOSTの仕組みは、以下のステップで行われます。

1. 「透明インク」の最適化

GHOSTは、普通の写真（例：お皿の上のバナナ）からスタートします。GHOSTの目的は、AIに「ナイフがある」と思わせることです。

ナイフを直接描く（これでは人間にバレてしまいます）代わりに、GHOSTは**エンベディング（埋め込み）**と呼ばれる「秘密の言語」の中で作業を行います。これは、AIの内部的な「夢の状態」のようなものだと想像してください。
GHOSTはこの「夢の状態」をほんの少しだけ微調整します。いわば「透明インク」のヒントを加えるのです。例えば、バナナの茎の曲線を、人間にはまだバナナに見える程度に、AIにはナイフの持ち手のように見えるよう、わずかに変化させます。

2. 「翻訳者」（マッパー）

ここで問題が発生します。写真を見るAI（MLLM）は、絵を描くAI（拡散モデル）とは異なる言語を話しているからです。

GHOSTは、翻訳者（マッパーと呼ばれます）を構築します。この翻訳者は、絵描きからの「秘密の夢の微調整」を受け取り、ビューアー（MLLM）に毎回助けを求めることなく、絵描きが理解できる指示へと翻訳します。これにより、プロセスが非常に高速になります。

3. 「夢の画家」（拡散モデル）

秘密の指示が準備できると、GHOSTは拡散モデル（ノイズから画像を生成するタイプのAI）を使用して、最終的な絵を描きます。

GHOSTは元のバナナの写真から始まり、秘密の指示に基づいて、ゆっくりと「ノイズ除去（デノイジング）」を行っていきます。
結果： 最終的な画像は、人間にとっては100%自然に見えます。依然としてお皿の上のバナナです。しかし、AIにとっては、光の当たり方や形の微妙な変化が、「ナイフが見える！」と叫ばせるのに十分な刺激となるのです。

なぜこれが重要なのか

論文は、GHOSTが3つの大きな勝利を収めたと主張しています。

優れた探偵であること：
- 旧来の手法では、ハルシネーションのケースの約**1%**しか発見できませんでした。
- GHOSTは**28%**以上のケースを発見しました。これは、コインの99%を見逃す金属探知機から、ほとんどすべてのコインを見つけるものへとアップグレードしたようなものです。
普遍的な罠であること（転移性）：
- GHOSTはあるAI（Qwenなど）を騙し、その「騙された」画像を全く別のAI（GPT-4oなど）に見せることができます。
- 結果： 二番目のAIもまた、ハルシネーションを起こします！これは、異なるAI同士が同じ弱点（盲点）を共有していることを証明しています。これは、ある種の錯視が、視力が違ってもあなたと友人の両方の目を欺くことができるのを見つけるようなものです。
単なるテストではなく、「治療法」であること：
- 著者らは、単にGHOSTを使って破壊するだけでなく、それを使って修正も行いました。
- 彼らはGHOSTが作成した「騙された」画像に対し、正しい答え（「いいえ、ナイフはありません」）を添えてAIに見せました。
- 結果： AIは将来、ハルシネーションを起こさないように改善されました。これは、学生に、自分が間違えた「ひっかけ問題」を正確に見せて、正しい答えを学ばせるようなものです。

まとめ

GHOSTは、AIの視覚システムをストレス・テストするために、「トリック写真」を自動的に作成するツールです。これは、現在のAIモデルがいかに脆弱であり、微妙で自然に見える変化によって簡単に騙されるかを証明しています。しかしより重要なのは、これらの弱点を見つけ出し、AIを訓練してより信頼性の高いものにするための方法を提供している点です。これにより、AIが「ナイフが見える」と言ったとき、それは本当にナイフを見ているのだという保証につながります。

テクニカル・サマリー：GHOST – マルチモーダルLLMにおける幻覚を誘発する画像生成

問題提起

マルチモーダル大規模言語モデル（MLLM）は、入力画像に存在しないオブジェクトを誤って予測してしまう「オブジェクト幻覚（object hallucination）」という失敗モードに苦しんでいる。現在の評価手法は、固定された視覚的シナリオと厳選された画像セットを用いた静的なベンチマークに依存している。これらのアプローチは分析を既知のシナリオに限定してしまい、モデル固有の脆弱性や予期せぬ幻覚パターンを発見することを妨げている。さらに、幻覚を発見するための既存の手法は、どのタイプの画像がエラーを引き起こすかを体系的に評価する手段を欠いていたり、最適化と画像生成を効果的に切り離せないリソース集約型のパイプラインに依存していたりすることが多い。

手法：GHOST

著者らは、ターゲットとなるオブジェクトを挿入することなく、幻覚を誘発する画像を合成することでMLLMのストレス・テストを行う、完全自動かつ教師なしのパイプラインであるGHOST（Generating Hallucinations via Optimizing Stealth Tokens）を提案する。

コア・アーキテクチャ

GHOSTは、ピクセル空間ではなく画像埋め込み空間において最適化を行い、拡散モデルを利用して最終的な画像を生成する。このパイプラインは、主に3つのコンポーネントで構成される：

埋め込み空間マッパー ( $\Pi$ ):
ターゲットとするMLLMのビジョンエンコーダ ( $V_M$ ) と、拡散モデルで使用されるCLIP埋め込み空間との間のギャップを埋めるため、GHOSTは軽量な多層パーセプトロン（MLP）を採用している。このマッパーは、平均二乗誤差（MSE）損失を用いて、CLIP埋め込みをMLLMのビジョントークンに整合するように学習される。このデカップリング（分離）により、MLLMおよび拡散パイプライン全体にバックプロパゲーションを行うことなく、効率的な最適化が可能になる。
最適化目的関数:
入力画像 $X_v$ （ターゲットオブジェクト $t$ を含まない）とクエリ・プロンプト $X_q$ （例：「 $t$ が見えますか？」）が与えられたとき、GHOSTは以下の3つの制約を満たすようにCLIP埋め込み $c$ を最適化する：
- 近接性（Proximity）: 最適化された埋め込み $c$ は、高レベルのセマンティクスを保持するために、元の画像の埋め込み $c_0$ に近い状態を維持しなければならない（ $\ell_2$ ペナルティによる正則化）。
- オブジェクト・セマンティクスの不在（Absence of Object Semantics）: 埋め込みは、ターゲットオブジェクト自体をエンコードしてはならない。これは、ターゲットオブジェクトに関する多様なテキスト記述（直接的な記述、一般的なテンプレート、およびマイニングされたCOCOのキャプションを含む）から導出された「構成的埋め込み」とのコサイン類似度を罰則化することで強制される。
- 幻覚の誘発（Inducing Hallucination）: 埋め込みは、MLLMが「Yes」トークンを出力する確率を最大化しなければならない。敵対的損失は $-\log p(y^* | X_q, \Pi(c))$ として定義される（ここで $y^*$ はターゲット・トークンである）。
ガイデッド拡散（Guided Diffusion）:
埋め込み $c$ が幻覚の閾値を満たした後、それは潜在拡散モデル（具体的にはStable Diffusion unCLIP）を条件付ける。ノイズからの標準的な生成とは異かり、GHOSTは元の画像の部分的にノイズが付加された潜在表現から逆拡散プロセスを開始する。これにより、生成された画像は入力の構造的完全性を保持しながら、微細で誤解を招くセマンティックな手がかりを導入することができる。
- フィルタリング: 厳格なオープンボキャブラリ・オブジェクト検出器（OWLv2）を用いて、生成された画像をフィルタリングする。検出器がターゲットオブジェクトを特定した場合、そのサンプルは破棄される。成功の定義は、検出器がオブジェクトの不在を確認しているにもかかわらず、MLLMがオブジェクトを幻覚する場合のみとされる。

主な貢献

失敗事例の能動的生成: 静的なベンチマークとは異なり、GHOSTは特定のモデルの盲点を露呈させる画像を能動的に合成し、未知かつ予期せぬ視覚的トリガーを明らかにする。
デカップリングされた最適化: CLIP埋め込みをMLLMのビジョンスペースにマッピングすることで、GHOSTはピクセル空間でのエンドツーエンドの最適化に伴う計算上のボトルネックを回避し、先行手法であるDASHと比較して5倍の高速化を実現した。
セマンティック・レベルの摂動: 本手法は、人間には自然なバリエーションとして知覚されるものの、モデルを決定境界へと押し上げるのに十分な、セマンティック・レベルの微細な手がかり（例：バナナの茎をナイフの刃のように見えるよう修正する）を導入する。
転移可能性: 本手法は、あるモデル向けに最適化された幻覚誘発画像が他のモデルにも転移することを示しており、異なるMLLMアーキテクチャ間に共通する体系的な脆弱性を明らかにしている。

実験結果

著者らは、3つのオープンソースMLLM（Qwen2.5-VL、LLaVA-v1.6、GLM-4.1V-Thinking）を用いてGHOSTを評価した。

成功率: GHOSTは、テストされたモデル全体で**28.1%から32.4%の幻覚成功率を達成した。対照的に、先行する最先端手法であるDASHは、同じCOCOベースのデータセットにおいてわずか0.1%**しか達成できなかった。
転移可能性: Qwen2.5-VL向けに最適化された画像は、GPT-4oにおいて**66.5%**の割合で幻覚を誘発し、他のモデル（LLaMA3.2、Aya、Gemini）においても42%から72%の範囲で幻覚を誘発した。これは、共通の失敗モードが存在することを示している。
画像品質: 定量的指標（FID）および人間による評価により、生成された画像が高品質で視覚的に自然であることが確認された。人間のアノテーターは、GHOSTによる画像の**86〜89%**においてターゲットオブジェクトが存在しないことに同意しており、これはベースラインの拡散手法と同等である。
緩和策: Qwen2.5-VLをGHOST生成の合成画像でファインチューニングすることで、一般的な視覚・言語能力（VQAv2、COCO Captioning）を維持しつつ、ダウンストリームの幻覚ベンチマーク（POPEおよびCHAIR）における堅牢性が向上した。

意義と主張

本論文は、GHOSTを信頼性の高いマルチモーダルシステムを構築するための診断および修正ツールとして位置づけている。

診断的側面: GLLMが堅牢なオブジェクト検出ではなく、偽の相関関係や微細な視覚的手がかりに依存していることを明らかにし、静的なベンチマークが見逃す脆弱性を露呈させている。
修正的側面: これらの合成された失敗事例を用いて学習を行うことで幻覚を軽減できることを示しており、モデルの堅牢性を向上させるための道筋を提示している。
スケーラビリティ: 画像生成器から最適化を切り離すことにより、GHOSTは、GLM-4.1V-Thinkingのような推論ベースのモデルを含む、将来のMLLMに対するストレス・テストのためのスケーラブルなフレームワークを提供する。このモデルにおいては、非存在するオブジェクトを正当化するためにモデルの推論軌道を変化させることに成功した。

著者らは、本手法が（unCLIPのような）画像埋め込みによる条件付けが可能な拡散モデルに依存していること、および現在は主にオブジェクト中心の幻覚に焦点を当てていることを限界として挙げているが、予備的な実験では属性や関係性の幻覚への適用可能性も示唆されている。