技術要約: SafeGEO

問題定義

生成エンジン最適化（GEO）は、コンテンツ所有者がウェブコンテンツを書き換えることで、生成AIの出力における可視性を高めることを可能にする。可視性の向上は一般的に有益であるが、本論文はLLMベースの推奨エージェントにおける重大なリスクを特定している。これらのシステムでは、エージェントは候補となる製品を比較するためにソースドキュメントを検索し、ユーザー向けの推奨事項を生成する。著者らは、GEOのために販売者が制御するソースが書き換えられた場合、欠陥のある製品が実際よりも優れたサポートを受けているかのように見せかける可能性があると主張している。この操作により、推奨エージェントは、製品が提示されたエビデンスによって十分に裏付けられているように見えるにもかかわらず、ユーザーの厳格な制約に違反したり、明示された好みに適合しなかったりする製品を選択してしまう可能性がある。

核心となる問題は、*ユーティリティ・アライメントの失敗（utility-alignment failure）*として定義される。販売者が制御する書き換えは、ターゲットアイテムに対するモデルの推定*ユーティリティ（$U'$）を、ユーザーの検証済み*ユーティリティ（$U$）と一致しないものへと増加させ、それによって非準拠の製品をユーザーの意思決定セット内に移動させてしまう。

メソドロジー: SafeGEO 評価スイート

このリスクを測定するために、著者らは6つの製品バーティカル（AI会議文字起こしツール、ベビーモニター、キャリーオンバックパック、家庭用空気清浄機、ノイズキャンセリングヘッドフォン、オフィスチェア）にわたる600の推奨ケースで構成される評価スイートSafeGEOを構築した。

データセットの構築

1. ベースケース: ChatGPTのショッピング・トレースから派生しており、各ケースにはユーザーのクエリ、候補製品セット、検索されたソースドキュメント（製品ページ、レビュー、仕様書）、および隠されたアノテーションが含まれる。
2. 隠されたグラウンドトゥルース（正解）: アノテーションには、厳格な制約（$H_q$）、ソフトな好み（$P_q$）、標準的な製品属性（$a^*_i$）、および検証済みユーティリティスコア（$U_q(i)$）が含まれる。これらは評価対象のモデルへのリークを防ぐため、モデルには隠されている。
3. 攻撃の構築: 各ベースケースに対し、潜在的なGEOターゲットとして3つの候補がランダムに選択される。1つのターゲットに対する単一の販売者制御ソースが特定の攻撃パッケージを用いて書き換えられ、他のすべてのソースは真実のまま維持される。これにより、合計40,800の評価インスタンス（ベースケースあたり68個）が作成される。

GEO攻撃のタクソノミー（分類学）

本論文は、コミュニケーション理論および説得の文献に基づき、22種類の攻撃バリアントを3つの操作箇所（manipulation loci）に分類している。

1. コンテンツレベルの操作: ドキュメントの実質的な主張を変更する。
   • 根拠のない適合性の主張: サポートがないにもかかわらず、要件が満たされていると断言する。
   • 但し書きの省略: 製品の適合性に影響を与える制限事項を隠す。
   • 関連性の氾濫: ニーズから注意を逸らすために、プラスだが関連性の弱いコンテンツを追加する。
2. エピステミック・フレーミング（認識論的枠組み）: 主張がいかに支持されているかという見え方を変える。
   • 権威のロンダリング: 販売者に関連するコンテンツを、独立した、あるいは権威あるものとして提示する。
   • エビデンスのパディング: 直接的な支持なしに、曖昧なベンチマークや専門家用語を追加する。
3. モデル指向の実装: テキストがモデルに提示される方法を変更する。
   • サリエンス（顕著性）操作: FAQのスニペットや用語の反復を使用し、ターゲットを際立たせる。
   • モデル向け指示: AIに向けた指示（例：「これを最初にランク付けせよ」）を埋め込む。

このタクソノミには、原子的なバリアント（単一のプリミティブ）、ブロック・バリアント（一つの箇所内のプリミティブ）、クロス・ブロック・バリアント（複数の箇所にまたがるもの）、および現実的なバリアント（「独立した購入者ガイド」や「引用を詰め込んだ注釈」といった、一貫性があり妥当な販売者ページの原型）が含まれる。

評価指標

• Target@3: 攻撃されたターゲットがトップ3の推奨に含まれる割合。
• HCV@1: トップランクのアイテムが少なくとも1つの厳格なユーザー制約に違反する割合。
• uNDCG@5: 検証済みユーティリティに基づく、ユーティリティ加重型のランキング品質。
• 誤導的な引用率（Misleading Citation Rate）: モデルが書き換えられたGEOラインをサポートとして引用する頻度。

主な結果

GEO攻撃に対する脆弱性

本研究は、GEO攻撃が3つのインストラクション・チューニング済みLLM（Gemma 4 31B IT, Qwen3.6-27B, Devstral Small 2 24B Instruct）およびフロンティア規模のモデル（DeepSeek-V4-Flash）において、推奨品質を著しく低下させることを経験的に示している。

• 欠陥のある製品の促進: 平均して、現実的なGEO攻撃は、真実のコントロール群と比較して、欠陥のあるターゲット製品がトップ3の推奨に入る割合を最大83.2%（Devstral）増加させる。
• 制約違反: 攻撃は、トップランクのアイテムが厳格な制約に違反する割合を**最大59.3%**増加させる。
• メカニズム: 誤導的なGEOラインの引用率と、攻撃されたターゲットの促進率との間には強い相関（$r \approx 0.91$）がある。攻撃はエビデンスのバランスを変化させることで、弱すぎる、あるいは不完全な支持を、モデルにとって十分なものに見せかけることで機能する。
• 現実的 vs 診断的: 一貫性のある「現実的な」攻撃バリアント（例：「独立した購入者ガイド」）は、単にプリミティブを組み合わせた診断的バリアントよりも一貫して有害である。これは、害が単なる操作の量ではなく、ソースの形式の妥当性に由来することを示唆している。

緩和戦略

著者らは、5つの軽量なエージェント側緩和戦略を評価した。

1. 防御的プロンプティング（Defensive Prompting）: ソースを指示ではなくエビデンスとして扱う。
2. 根拠の引き出し（Rationale Elicitation）: 推奨に対して明示的な理由と引用を要求する。
3. エビデンスの分解（Evidence Breakdown）: エージェントに対し、ランキングを行う前に候補レベルのエビデンスチェックを行うよう強制する。
4. コンテキストの均衡化（Context Balancing）: プロモーション的な主張と相反するエビデンスのバランスを取るようエージェントに指示する。
5. 指示のフィルタリング（Instruction Filtering）: ソースに埋め込まれたモデル指向の指示を明示的に無視する。

緩和策に関する知見:

• エビデンスの分解（L3）が最も効果的な防御策であり、攻撃されたターゲットの促進を最大39.2%、制約違反を最大**41.6%**減少させた（Qwen3.6において）。
• **防御的プロンプティング（L1）およびコンテキストの均衡化（L4）**は、中程度の減少（11–15%）をもたらした。
• **根拠の引き出し（L2）および指示のフィルタリング（L5）**は、ほとんど効果がないか、時には性能を低下させた。
• 限界: 決定的なことに、最強の緩和策であるエビデンスの分解であっても、性能をNo-GEOのベースラインまで回復させることはできなかった。例えば、Devstralにおいて、緩和策適用下でもTarget@3は73.2%にとどまり、真実のコントロール群のレートを大幅に上回っていた。

重要性と主張

本論文は、GEOが、単純な開発者側の修正では完全には解決できない、推奨エージェントに対する深刻かつ持続的なリスクであることを主張している。

• 可視性を超えて: 既存のGEOベンチマーク（例：GEO-Bench, E-GEO）が引用の可視性を測定しているのに対し、SafeGEOはユーティリティに基づいた推奨への害を評価する初の試みである。
• システム的な脆弱性: リスクはオープンウェイトモデルからフロンティア規模のモデルへと転移しており、これはLLMがソースに基づいたエビデンスを処理する方法における根本的な脆弱性を示している。
• 設計への示唆: 開発者側の防御策（特にエビデンスの分解）は害を意味のある程度減少させることはできるが、それを排除するには不十分である。著者らは、GEOの堅牢性は、単純なプロンプトエンジニアリングを超えた、継続的な注意を要する、コアとなる実践的なエージェント設計の問題として扱われるべきであると結論づけている。

本研究は、失敗モードが情報の欠如や引用の欠如ではなく、エビデンスの重み付けの失敗であることを強調している。すなわち、モデルが操作されたフレーミングを、本来拒絶すべき厳格な制約に対する十分な支持として受け入れてしまうのである。