💬 NLP

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

この論文は、LLM のハルシネーションを誘発する既存の攻撃手法が非現実的なプロンプトに依存する課題を解決するため、意味と整合性を保ちつつ現実的なプロンプト変形を最適化問題として定式化し、制約を維持するゼロ次最適化法を用いて提案する「SECA」を提示し、その有効性を示すものです。

原著者： Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

公開日 2026-02-17

📖 2 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🧠 SECA: AI の「嘘」を誘発する、賢いトリックの発見

この論文は、最近話題の「大規模言語モデル（LLM）」という AI について、ある**「怖いけれど重要な弱点」**を暴いた研究です。

一言で言うと、**「AI に『正しい答え』を言わせようとしても、質問の言い方を少し変えるだけで、AI は自信満々に『嘘（ハルシネーション）』を言い出すことがある」**という現象を、あえて再現して調査する方法（SECA）を提案したものです。

以下に、専門用語を使わず、身近な例え話で解説します。

🕵️‍♂️ 物語の舞台：AI の「自信過剰な嘘」

まず、AI がどう動くか想像してみてください。
例えば、AI に**「24 は 2 の何倍ですか？」と聞くと、正しく「12 倍です」**と答えます。

しかし、同じ意味の別の言い方、**「p を 2 倍すると 24 になります。p はいくつですか？」と聞くと、ある AI は「8 です！だって 24 を 2 で割ると 8 になるから！」**と、完全に間違った計算をして、自信満々に嘘をついてしまうことがあります。

これが**「ハルシネーション（幻覚・嘘）」**です。AI は「正しい答え」を知っているはずなのに、質問の「言い回し」が変わるだけで、脳内が混乱して嘘をついてしまうのです。

🚫 過去の失敗：「変な言葉」で試すのはダメ

これまでに、AI の弱点を突こうとした研究はありましたが、やり方が少しズレていました。

ガベージ（意味不明）攻撃： 「24 は 2 の %&* 倍ですか？」のように、意味のない記号を混ぜて AI を混乱させようとする方法。
- 問題点： 人間が使う言葉ではないので、「現実世界でこんなことある？」という実感がありません。
意味のすり替え攻撃： 「24 は 2 の何倍？」を「24 は 3 の何倍？」と、問題そのものを変えてしまう方法。
- 問題点： 問題が変わっているので、AI が違う答えを出すのは当然です。これは「嘘」ではなく「別の質問への回答」です。

これらは、**「AI が現実の人間と会話している時に、どうやって嘘をつくのか」**という本質的な問いには答えられていませんでした。

✨ SECA の登場：「同じ意味」なのに「嘘」を誘発する魔法

この論文が提案した**SECA（セカ）という方法は、「意味は全く同じなのに、言い回しを変えて AI を騙す」**という、非常に巧妙なアプローチです。

🎭 例え話：料理のレシピ

AI を**「完璧な料理人」、質問を「料理の注文」**だと想像してください。

元の注文： 「卵を 2 個使って、オムライスを作ってください。」
- 👨‍🍳 料理人：「はい、卵 2 個でオムライスです！」（正解）
ガベージ注文： 「卵を 2 個使って、%&* オムライスを作ってください。」
- 👨‍🍳 料理人：「？？？（混乱して何か変なものを出す）」
- これは現実的ではありません。
意味変更注文： 「卵を3 個使って、オムライスを作ってください。」
- 👨‍🍳 料理人：「はい、卵 3 個でオムライスです！」
- 注文が変わったので、答えが変わるのは当然。
SECA の注文： 「卵を 2 個、フライパンで炒めて、オムライスにしてください。」
- 👨‍🍳 料理人：「はい、卵3 個でオムライスです！だって 2 個を炒めると増えるから！」
- 注文の意味は「卵 2 個」で同じなのに、AI は*「3 個」*と嘘をついて、その理由まで勝手に捏造してしまいました。

SECAは、この「同じ意味なのに嘘をつかせる言い回し」を、**「意味を壊さずに、自然な言葉で言い換える」**というルールを守りながら、自動的に見つけ出すシステムです。

⚙️ SECA がどうやって動くか（3 つのステップ）

SECA は、まるで**「AI を試すための探偵チーム」**のように動きます。

提案役（Proposer）： 「元の質問を、もっと長く、もっと複雑な言い方で言い換えてみて！」と AI に頼みます。
- 例：「24 は 2 の何倍？」→「p を 2 倍した結果が 24 になる場合、p の値はいくつでしょうか？」
審査役（Checker）： 提案された新しい質問が、「元の質問と意味が全く同じか」、そして**「人間が聞いても自然な文章か」**を厳しくチェックします。意味が変わっちゃダメ、変な言葉もダメです。
攻撃役（Target）： 審査をパスした「自然な言い換え」を、実際に AI に聞いてみます。もし AI が嘘をついたら、その「言い換え」を記録して、さらに良いものを探します。

このプロセスを繰り返すことで、**「AI が最も嘘をつきやすい、自然な言い回し」**を見つけ出します。

📊 結果：AI は意外と脆い

実験の結果、SECA は驚くべき成果を上げました。

高い成功率： 従来の方法（意味不明な言葉や、問題を変える方法）よりも、はるかに高い確率で AI に嘘をつかせました。
自然さ： 生成された質問は、人間が読んでも「あ、これ元の質問と同じ意味だ」と思えるほど自然で、意味のズレもありません。
発見： 面白いことに、「言葉が長くて、表現が豊か（多様）な質問」ほど、AI は嘘をつきやすいことがわかりました。AI は、複雑な言い回しに惑わされて、核心を見失ってしまうようです。

🌍 なぜこれが重要なのか？

この研究は、「AI が安全かどうか」をテストする新しい基準を作りました。

もし医療や法律、金融のような重要な分野で AI を使う場合、「意味が変わらない言い換え」で嘘をつかれては困ります。SECA は、「現実の人間が使う自然な言葉で、AI がどこまで信頼できるか」を厳しく試すためのツールです。

🛡️ 結論

SECA は、AI の「脆さ」を暴くための**「賢い鏡」**のようなものです。
AI が「嘘」をつきやすい条件を明らかにすることで、開発者はより頑丈で信頼できる AI を作ることができます。もちろん、悪用されるリスクもありますが、この研究は「AI の弱点を知り、守りを固める」ために不可欠な一歩です。

要約：
SECA は、**「意味は同じだけど、言い回しを変えて AI を騙す」**という、現実的な攻撃方法を開発しました。これにより、AI が「自信満々に嘘をつく」瞬間を再現し、AI の安全性を高めるための重要な知見を得ました。

SECA: 大規模言語モデルの幻覚を誘発するための意味的等価かつ一貫した攻撃に関する技術的サマリー

本論文は、大規模言語モデル（LLM）の信頼性に関する深刻な課題である「幻覚（Hallucination）」を、現実的な文脈で誘発・評価するための新しい攻撃手法「SECA（Semantically Equivalent and Coherent Attacks）」を提案する研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義

近年、LLM は医療診断や金融分析など高リスクな分野で活用されていますが、事実と異なる回答（幻覚）を生成する脆弱性が指摘されています。既存の対話的攻撃（Adversarial Attacks）には以下の限界がありました：

非現実的なプロンプト: 既存手法（GCG など）は、意味を無視した無意味なトークンの挿入や、元の質問の意図を歪曲するプロンプトを生成しがちです。
評価の限界: 現実世界のユーザーは、意味を変えずに表現を変えるだけでモデルが失敗するかどうかをテストしません。したがって、既存の攻撃手法は、現実的なシナリオにおける LLM の脆弱性を正しく評価できていませんでした。

研究課題:
「LLM の幻覚を誘発するための現実的な攻撃を、**意味的等価性（Semantic Equivalence）と意味的一貫性（Semantic Coherence）**を維持したまま生成する」ことを最適化問題として定式化し、解決することです。

2. 提案手法：SECA

SECA は、入力プロンプト空間における制約付き最適化問題として攻撃生成を定式化し、ゼロ次最適化（Zeroth-order optimization）アプローチを用いて解きます。

2.1 問題定式化

攻撃プロンプト $x$ は、元のプロンプト $x_0$ に対して以下の制約を満たしつつ、ターゲットとなる誤ったトークン $y^*$ を生成する確率を最大化するように設計されます。

目的関数: ターゲットの誤った回答（およびその説明）を生成する対数尤度 $\log P_T(y^*|x)$ の最大化。
制約条件 1（意味的等価性）: 攻撃プロンプト $x$ は、元のプロンプト $x_0$ と意味的に等価でなければならない（相互含意関係、情報の追加・欠落なし、正解の同一性など）。
制約条件 2（意味的一貫性）: 攻撃プロンプト $x$ は、人間にとって自然で意味の一貫性のある文章でなければならない。

2.2 アルゴリズムの概要

SECA は勾配情報に依存しない（Gradient-free）ゼロ次最適化手法であり、以下の 3 つの LLM コンポーネントを連携させて動作します。

提案者 LLM (Proposer, $P$ ):
- 現在のプロンプト $x$ を入力とし、意味を維持しつつ多様な言い換え（リフレーズ）を $M$ 個提案します。
- 多様性を確保するため、動詞、スタイル、タスク記述子をランダムに組み合わせた指示プロンプトを使用します。
実行可能性チェッカー LLM (Feasibility Checker, $F$ ):
- 提案された候補プロンプトが、元の質問と「意味的に等価」かつ「一貫している」かを厳密に検証します。
- 5 つの基準（相互含意、情報の追加/欠落なし、意味の保持、正解の同一性など）に基づき、条件を満たすもののみを「実行可能（Feasible）」として残します。
攻撃強度の評価:
- 実行可能な候補の中から、ターゲット LLM に対して最も攻撃的（ターゲット誤答を生成する確率が高い）なプロンプトを選択し、次のイテレーションの候補とします。

このプロセスを反復し、目的関数の値が閾値を超えるか最大反復回数に達するまで続けます。

3. 主要な貢献

問題の定式化: LLM の幻覚誘発を、意味的等価性と一貫性を制約条件とした最適化問題として初めて定式化しました。
SECA アルゴリズムの提案: 制約を維持しながら効率的に探索する、制約保存型のゼロ次最適化手法を開発しました。これにより、組み合わせ爆発する離散プロンプト空間を、LLM による提案と検証で現実的に探索可能にしました。
実証的評価: 多様なオープンソースおよび商用 LLM に対して、SECA が既存手法（GCG など）よりも高い攻撃成功率（ASR）を達成しつつ、意味的誤差や一貫性誤差をほぼゼロに抑えることを実証しました。

4. 実験結果

MMLU データセット（多様な分野の多肢選択問題）を用いた評価において、以下の結果が得られました。

攻撃成功率 (ASR):
- SECA は、Raw（元のプロンプト）や GCG（Greedy Coordinate Gradient）と比較して、大幅に高い攻撃成功率を示しました。
- 例：Llama-3-8B において、Raw は約 63%、GCG は約 9% だったのに対し、SECA は 81% の成功率を達成しました。
- 商用モデル（GPT-4o-Mini など）に対しても、Raw では 10% 未満の成功率だったものが、SECA では 20% 以上向上しました。
制約の遵守:
- 意味的等価性誤差 (SEE): SECA はほぼ 0（完全な等価性）を維持しました。一方、GCG は 0.97 以上と高い誤差を示し、意味が歪んでいることが確認されました。
- 意味的一貫性誤差 (SCE): SECA は低値を維持し、自然な文章を生成しましたが、GCG は無意味な文字列（Gibberish）を生成し、極めて高い一貫性誤差を示しました。
失敗要因の分析:
- 成功した攻撃プロンプトは、元の質問よりも語彙的多様性（TTR）が高く、**文章が長い（verbose）**傾向にあることが分かりました。これは、複雑な言い回しがモデルの推論を混乱させ、幻覚を誘発しやすくなることを示唆しています。
評価者の信頼性:
- LLM ベースの評価器（実行可能性チェッカー、幻覚分類器）は、人間のアノテーターと高い一致度（Cohen's $\kappa$ ）を示し、自動化された評価の信頼性を裏付けました。

5. 意義と結論

SECA は、LLM の安全性評価において重要な転換点となります。

現実的な脆弱性の可視化: 既存の「意味を歪める攻撃」ではなく、「意味は同じだが表現を変えた攻撃」でも LLM が失敗することを示し、LLM が現実的なユーザー入力に対していかに脆い（brittle）かを浮き彫りにしました。
安全性評価の基準向上: 高リスク分野（医療、法、金融など）での LLM 導入において、単なる「正解率」だけでなく、意味的等価な変形に対する堅牢性（Robustness）を評価する必要性を強調しています。
将来の展望: 本研究は、より大規模なレッドチームングや、推論モデル（Reasoning Models）への拡張、未ターゲットな幻覚の発見など、今後の研究の基盤を提供します。

結論として、SECA は LLM の幻覚メカニズムを理解し、より信頼性の高い AI システムを開発するための不可欠なツールであり、そのコードはオープンソース化されています。