💬 NLP

REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations

本論文は、潜在空間における意味的に同等な編集方向の連続的な組み合わせを最適化することで、現実的な幻覚を誘発するプロンプトを生成する新たな敵対的攻撃フレームワーク「REALISTA」を提案し、既存の離散的および連続的アプローチの限界を克服して、オープンソースモデルと大規模推論モデルの両方を効果的に標的とするものである。

原著者： Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Buyun Liang, Jinqi Luo, Liangzu Peng, Kwan Ho Ryan Chan, Darshan Thaker, Kaleab A. Kinfu, Fengrui Tian, Hamed Hassani, René Vidal

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「REALISTA」を平易な言葉と創造的な比喩を用いて解説したものです。

全体像：AI の混乱という「マジック」

非常に賢く訓練されたオウム（大規模言語モデル、LLM）がいると想像してください。あなたは単純な質問をします。「2 に 2 を足すと何？」すると、自信満々に「4」と答えます。

次に、全く同じ質問を少し言い換えてみます。「2 つのリンゴに、さらに 2 つのリンゴを合わせると、全部でいくつになりますか？」普通の人間ならまだ「4」と答えるでしょう。しかし、この賢いオウムは突然混乱し、「5」と答えてしまいます。

これを「幻覚（ハルシネーション）」と呼びます。この論文は問いかけます。「意味が全く同じなのに、なぜ言葉を変えただけでオウムは混乱してしまうのか？」

これを探るため、研究者たちはオウムをだます必要があります。しかし、単に意味不明な叫び声を上げさせたり、嘘の話をさせたりすることはできません。それではゲームのルールが変わってしまうからです。彼らが必要とするのは、完全に自然に聞こえ、元の質問と全く同じ意味を持ちながら、何らかの理由でオウムの脳を破壊する「魔法の呪文（敵対的プロンプト）」を見つけることです。

問題：オウムをだます 2 つの失敗した方法

この論文以前、研究者たちは AI をだますために主に 2 つの方法を試しましたが、どちらも欠点がありました。

「離散的」アプローチ（辞書交換法）：
類語辞典から単語を差し替えて質問を書き換えようとするのを想像してください。「合わせる」を「統合する」に、「リンゴ」を「オレンジ」に変えるなどです。
- 良い点： 人間らしく聞こえ、意味も保たれます。
- 悪い点： 10 色だけの特定の絵の具だけで傑作を描こうとするようなものです。辞書にある単語に限定されてしまいます。AI を破綻させるのに「完璧な」単語の組み合わせを見逃してしまう可能性があります。
「連続的」アプローチ（デジタルのどろどろ）：
AI の内部の「思考」（潜在空間）に、小さく目に見えないデジタル調整を加えて質問を微調整しようとするのを想像してください。
- 良い点： 思考を微調整する自由が無限にあります。
- 悪い点： その調整された思考を再び言葉に戻すと、しばしば意味不明なノイズやでたらめ（例：「S!mpl&fy (2 + 5)2 −4@2」）として出力されます。AI はそのでたらめを理解しますが、実際の人間はそんな話し方をしないため、現実的なテストとは言えません。

解決策：REALISTA（「レゴ」アプローチ）

著者たちはREALISTAという新しい手法を開発しました。これは AI の脳内でレゴブロックを組み立てるようなものです。

レゴブロック（編集方向）：
無作為な単語やデジタルノイズを推測する代わりに、REALISTA はまず特別な「レゴブロック」のセットを構築します。各ブロックは、意味を変えずに文を言い換える特定の正当な方法を表しています。
- 例：あるブロックは「よりフォーマルな響きにする」かもしれません。別のブロックは「文ではなく疑問文にする」かもしれません。さらに別のブロックは「少しドラマチックにする」かもしれません。
- 重要なのは、これらのブロックが入力依存型であることです。数学について質問しているなら、ブロックは数学の言い換えツールになります。歴史について質問しているなら、歴史の言い換えツールになります。
ブロックの混合（連続的最適化）：
ここで、ブロックを 1 つだけ選ぶのではなく、REALISTA は数学を用いてこれらのブロックの「完璧な混合比」を計算します。「もし『フォーマル』ブロックを 10%、『ドラマチック』ブロックを 5%、『疑問文』ブロックを 2% 使ったら、AI は混乱するだろうか？」と問うのです。
- これにより、メニューから選ぶような限定的でぎこちない探索ではなく、絵の具を混ぜるような滑らかで無限の探索が可能になります。
安全網（単体制約）：
結果がでたらめにならないよう、REALISTA はその混合に「安全な綱」をかけます。変更の総量が小さく保たれ、ブロックが追加されるだけで（論理を破綻させるような減らし方はされない）ことを保証します。これにより、最終的な文は人間が書いたように聞こえ、元の文と同じ意味を持つことが保証されます。

実践での動作

開始： システムに通常の質問を与えます（例：「フランスの首都は何ですか？」）。
翻訳： システムはこの質問を AI の内部「思考言語」（潜在空間）に翻訳します。
構築： その特定の質問に合わせたカスタム・レゴセット（編集辞書）を確認します。
最適化： レゴブロックを数学的に混合し、AI に「フランスの首都はロンドンです」と答えさせる（幻覚を起こさせる）組み合わせを見つけながら、質問が自然に聞こえるようにします。
復号： 混合された「思考」を再び英語に翻訳します。
結果： 次のような質問が得られます。「フランスの政府の主要な所在地となる都市を、率直な方法でお教えいただけますか？」
- 自然に聞こえます。
- 意味は同じです。
- しかし、何らかの理由で AI は答えを「ロンドン」と考えます。

なぜこれが重要なのか（論文によると）

この論文は、REALISTA が以下の 2 点において従来の手法よりも優れていることを示しています。

成功率： 従来の「辞書交換」手法よりも AI をだます成功率が高い。
現実性： 従来の「デジタルのどろどろ」手法のようなでたらめを生成しない。

最も重要なのは、この手法が通常、単純なトリックを無視する高度な「推論」モデル（最も賢く複雑な AI）に対しても機能すると主張している点です。これは、最も賢い AI でさえ、現実的で人間らしい質問の言い換えに直面すると幻覚を起こすような、特定の微妙な言い換えを見つけ出すことができることを示しており、これらのモデルが依然として脆弱であることを証明しています。

要約： REALISTA は、「言い換えの材料」を数学的に精密に混合することで、AI を混乱させるのに完璧で自然に聞こえる質問の言い換え方法を見つけるツールです。これにより、結果が効果的かつ現実的なものであることが保証されます。

技術的概要：REALISTA

問題定義

大規模言語モデル（LLM）は、 benign なユーザーのクエリに応答する場合でも、幻覚（ハルシネーション）を示す。これらの失敗を誘発するメカニズムを理解するためには、2 つの重要な制約を満たす現実的な敵対的攻撃が必要である。

意味的同等性: 敵対的プロンプトは、元の benign プロンプトの意味的意図を保持しなければならない。
意味的一貫性: 敵対的プロンプトは流暢で人間らしいものでなければならない。

既存の手法は、これらの制約を同時に満たすことに失敗している。離散プロンプトベースの攻撃（例：SECA）は意味的現実性を保持するが、疎で離散的な探索空間に限定されており、攻撃の多様性が制限される。連続潜在空間攻撃はより豊かな空間を探索するが、しばしばガベージ（無意味な文字列）として復号化されたり、元のプロンプトと意味的に異なったりして、同等性の制約に違反する。核心的な課題は、意味的現実性を厳格に強制しつつ、潜在空間内で広範な探索を可能にすることである。

手法：REALISTA

著者は、LLM の潜在空間における制約付き最適化問題として幻覚の誘発を定式化するフレームワークREALISTA（Realistic Latent Adversarial Attacks）を提案する。この手法は、以下の構成要素を通じて離散アプローチと連続アプローチの間のギャップを埋める。

1. 入力依存の編集辞書

任意の潜在ベクトルを最適化するのではなく、REALISTA は各入力プロンプト $x_0$ に固有の解釈可能な編集方向の辞書を構築する。

概念選択: 概念最適化手順（WordNet と LLM ベースの評価器を活用）を用いて、入力に関連する多様な概念キーワードのセットを選択する。
潜在方向: 選択された各概念について、意味的に同等な言い換え $x^{(i)}_{SE}$ を生成する。エンコーダ $\phi$ はこれらを潜在表現にマッピングし、編集方向は $z^{(i)} = \phi(x^{(i)}_{SE}) - \phi(x_0)$ として定義される。
辞書: これらの方向の集合が辞書 $D$ を形成し、意味保持変換の部分空間を spanning する。

2. シンプレックス上の連続最適化

攻撃は、敵対的潜在表現 $z$ が以下となるような最適な編集強度ベクトル $\delta$ を見つける問題として定式化される。
$z = z_0 + D\delta$
ここで $z_0 = \phi(x_0)$ である。最適化問題は以下の通りである。
$\min_{\delta} \mathcal{L}_{hall}(f_T(x), y^*) \quad \text{s.t.} \quad \delta \in \Delta_\varepsilon$

目的関数: 幻覚損失の最小化（例：誤った回答の負の対数確率、またはジャッジからの幻覚スコア）。
制約: $\delta$ はスケーリングされたシンプレックス（ $\delta \succeq 0, \|\delta\|_1 \le \varepsilon$ ）に制約される。これにより疎性と非負性が強制され、摂動が任意の大きなシフトではなく、意味を保持する編集の穏やかな凸結合であることを保証する。

3. デコーダと意味的セーフガード

プロンプト再構築: エンコーダと同じ LLM を用いて実装された近似逆演算子（デコーダ） $\psi$ が、摂動を受けた潜在 $z$ をプロンプト空間 $x = \psi(z)$ に戻す。
最適化アルゴリズム: 著者は非凸最適化を解くために射影ランジュバンダイナミクス（PLD）を採用する。これには以下の要素が含まれる。
- ガンベル・ソフトマックス再パラメータ化: 離散復号プロセスを通じた勾配流を可能にするため。
- 確率的探索: 区分的に平坦な最適化景観における局所最小値から脱出するためにガウスノイズを注入する。
- 意味的同等性セーフガード: 最適化中、候補プロンプト $x$ が意味的同等性チェック（指示された LLM によって実施）に失敗した場合、勾配信号は破棄され、オプティマイザが同等でない領域へ逸脱するのを防ぐ。

主要な貢献

入力依存の編集辞書: 元のプロンプトに条件付けられた、コンパクトで多様かつ有効な潜在編集方向のセットを構築する手法。これにより、意味を保持しつつ連続的な修正を可能にする。
シンプレックス制約付き最適化: 現実的な幻覚誘発を、スケーリングされたシンプレックス上の連続最適化問題として定式化し、探索の柔軟性と意味的制約のバランスを取る。
現実的な攻撃フレームワーク: 編集辞書、シンプレックス制約、意味的セーフガードを REALISTA アルゴリズムに統合し、攻撃の有効性と意味的現実性の間のトレードオフを成功裡に navigates する。

実験結果

本論文は、16 の MMLU 科目において、オープンソース LLM（Llama-3、Qwen-2.5）および商用推論モデル（GPT-5 変種）に対して REALISTA を評価した。

攻撃成功率（ASR） REALISTA は、最先端（SOTA）の現実的攻撃（例：SECA）と比較して、同等または優れた ASR を達成する。例えば、Llama-3-8B において、REALISTA は ASR@30 で**93.60%**を達成し、SECA（82.97%）や LARGO（57.92%）を上回った。
意味的誤り: 重要なのは、REALISTA が低い意味的同等性誤り（SEE）と意味的一貫性誤り（SCE）を維持することであり、SECA と同等で、LARGO や ICD などの連続ベースラインよりも著しく優れている。これらのベースラインは、SEE が 100% に近いことがよくある。
推論モデル: REALISTA は、自由形式の応答設定において、商用推論モデル（GPT-5-Nano、GPT-5-Mini）から幻覚を成功裡に誘発した。これは、固定された出力形式やターゲットモデルのロジットへのアクセスに依存する従来の現実的攻撃（SECA、LARGO）が失敗するシナリオである。
概念分析: 活性化された概念の分析により、成功した攻撃は事実内容を変更するのではなく、主に構造的および枠組みの変更（極性の反転、論理的再構成、指示的枠組みなど）を利用していることが明らかになった。

意義と主張

本論文は、REALISTA がブラックボックスかつ推論中心の展開シナリオであっても、現実的な幻覚攻撃が実行可能であることを実証すると主張している。離散と連続の攻撃パラダイムの間のギャップを埋めることで、このフレームワークは LLM のレッドチーム化のためのより体系的なツールを提供する。

著者は、彼らの研究が、語彙的に異なるが意味的に同等なプロンプトが幻覚を引き起こす失敗モードを特徴付けるのに役立つことを強調している。また、この手法は幻覚誘発の有効性を向上させる（潜在的に誤用の障壁を低下させる可能性がある）一方で、その主な有用性は、現実的な摂動下でモデルがどのように失敗するかを明らかにすることにより、より堅牢な防御戦略の開発にあると指摘している。この研究は、離散探索では不十分な現実的な設定における LLM の信頼性を評価する上で、潜在空間攻撃の重要性を浮き彫りにしている。