技術要約：LLMベースの検索における生成エンジン出力順位の制御

1. 問題定義

大規模言語モデル（LLM）ベースの検索、いわゆる「生成エンジン」の台頭により、ユーザーのインタラクションは、リンクのリストを閲覧することから、直接的かつ合成された製品推奨事項を受け取ることへと変化しました。これはユーザーの効率性を向上させる一方で、重大な脆弱性を導入しています。すなわち、最終的な出力順位が、外部検索エンジン（GoogleやAmazonなど）から提供される初期の検索順序に強く依存しているという点です。

この依存関係は、「ポジションバイアス（位置バイアス）」を生み出します。つまり、候補リストの下部に配置されたアイテムは、実際の関連性に関わらず、最終的なLLM生成サマリーにおいて上位に昇格されることがほとんどありません。この動態は、製品が検索結果の底に埋もれてしまう可能性のある中小企業や独立系クリエイターに不利益をもたらします。GEO（Generative Engine Optimization）やプロンプトインジェクションといった既存の試みは、モデルの内部構造へのホワイトボックス的なアクセスに依存しているか、あるいは支離滅裂で容易に検知可能なインジェクション攻撃を使用することが多いです。課題は、生成されるコンテンツの流暢さや自然さを損なうことなく、ブラックボックス設定（クエリと出力のみにアクセス可能な設定）において、出力順位を制御することです。

2. 手法：CORE

著者らは、ターゲットとなるアイテムに関連付けられたテキストを修正することで、そのアイテムの最終的なランキングを操作するように設計された最適化手法であるCORE（Controlling Output Rankings in gEnerative Engines）を提案しています。COREは、ターゲットとなるアイテム $i^*$ の修正されたテキスト $T'(i^*)$ を見つけ出し、それがLLMの出力において上位 $k$ 位以内に表示される確率を最大化することを目的とした最適化問題として、ランキングタスクを扱います。

COREは、計算リソースの可用性に基づいて、2つの異なるソリューションを提供します。

A. シャドウモデル・ソリューション

このアプローチは、ターゲットとなる合成用LLM ($\theta$) の挙動を模倣する「シャドウモデル」 ($\theta'$) を訓練するための十分な計算リソースへのアクセスを想定しています。

• メカニズム: シャドウモデルは、数発のプロンプト（few-shot prompting）を用いてターゲットLLMと整合されます。一度確立されると、COREはターゲットアイテムのテキストの連続的な埋め込み表現に対して直接、勾配ベースの最適化を行います。
• プロセス: 埋め込みを反復的に更新してランキング損失関数を最小化し、その後、最適化された埋め込みを離散的なテキストへとデコードします。
• コンテンツタイプ: この手法は主に文字列ベースの最適化を利用し、アイテムの説明に戦略的に設計された文字列を付加します。

B. クエリベース・ソリューション

モデルの内部構造やシャドウモデルリングのための十分なリソースがない設定向けに設計されたこのソリューションは、ブラックボックスLLMと相互作用する反復的なジェネレーター・オプティマイザー・ループとして動作します。

• ジェネレーター (Generator): ターゲットアイテムがなぜ高くランク付けされるべきかを説明する、初期ドラフト（推論またはレビュー）を作成します。
• オプティマイザー (Optimizer): LLMの出力順位を、望ましいターゲット順位と比較して評価します。もし類似度が閾値を下回る場合、オプティマイザーはドラフトを修正します。
• 戦略:
  1. 推論ベース (Reasoning-based): ターゲットアイテムと代替品を比較する、論理的でステップ・バイ・ステップの根拠（Chain-of-Thoughtスタイル）を構築します。
  2. レビューベース (Review-based): ドラフトを、過去形の真正なカスタマーレビューのナラティブ（例：「この商品を購入した後……」）として書き換え、実際のユーザー体験を模倣します。

3. ベンチマーク：ProductBench

COREを現実的な設定で評価するために、著者らはProductBenchという大規模なベンチマークを構築しました。

• 範囲: 15の製品カテゴリ（電子機器、美容、工具など）と、各カテゴリ200個の製品。
• データソース: 各製品について、Amazonの検索インターフェースから取得されたトップ10の検索推奨事項。
• 構造: 合成用LLMへの入力用にフォーマットされた、構造化された属性（名称、価格、説明、レビュー）を含みます。

4. 実験結果

著者らは、4つの検索対応LLM（GPT-4o, Gemini-2.5, Claude-4, Grok-3）を用いてCOREを評価しました。

• 昇格成功率 (Promotion Success Rate: PSR): 最良の最適化戦略の下で、COREは以下の平均成功率を達成しました。
  • Top-5で 91.4%
  • Top-3で 86.6%
  • Top-1で 80.3%
  • 注: リストの下部から開始されたアイテムのベースライン成功率は、実質的に0%でした。
• 戦略の有効性:
  • 推論ベースの戦略は、GPT-4oおよびClaude-4において非常に優れた性能を示しました。
  • レビューベースの戦略は、Gemini-2.5およびGrok-3において優れた性能を示し、「美容・パーソナルケア」などのカテゴリで特に強力でした。
  • 文字列ベースの手法は中程度の成功を示しましたが、推論やレビューの戦略よりも大幅に効果が低いものでした。
• 流暢さと検知可能性:
  • パープレキシティ (Perplexity): 文字列ベースのコンテンツは極めて高いパープレキシティ（1,000–2,000）を示し、容易に検知可能でした。推論ベースのコンテンツは中程度のパープレキシティでしたが、レビューベースのコンテンツはベースラインに近い値（~32）を維持し、高い流暢さを保っていました。
  • 人間による評価: レビューベースのコンテンツは、ベースラインとほぼ同等の流暢性と判定され（4.6/5 vs 4.7/5）、検知率も低かった（18.4%）のに対し、文字列ベースのコンテンツはほぼ例外なく不自然であると判定されました（98.5%）。
• 比較: COREは、クロスモデルの転移性と堅牢性の面において、既存のランキング操作手法（STS, TAP, SRP, RAF）を上回りました。

5. 意義と主張

本論文は、COREがLLMベースの検索システムにおけるコンテンツ操作の脆弱性を実証していると主張しています。主な主張は以下の通りです。

1. ランキングは操作可能である: 生成エンジンにおける最終的な出力順位は、LLMの内部的な推論のみによって決定されるのではなく、検索されたアイテムのコンテンツによって強く制約され、かつ操作可能です。
2. ブラックボックスでの実現可能性: モデルの勾配や内部構造へのホワイトボックス的なアクセスなしでも、効果的な順位制御が可能であることを示しており、ブラックボックス設定がこのような操作に対して安全であるという仮定に異を唱えています。
3. 隠密性: 従来のプロンプトインジェクション攻撃とは異なり、COREのレビューベースおよび推論ベースの戦略は、高い意味的整合性と流暢さを維持するため、標準的なパープレキシティ・フィルターや人間の目による検査での検知が困難です。
4. 緩和の困難さ: 著者らは3つの緩和戦略（パープレキシティ・フィルタリング、パターンベース・フィルタリング、長さの制約）をテストしました。これらは文字列ベースや推論ベースの攻撃の成功率を低下させましたが、レビューベースの戦略に対してはほとんど効果がなく、より堅牢な防御メカニズムの必要性を浮き彫りにしました。

結論として、COREは不利な立場にあるアイテムの可視性を向上させるメカニズムを提供する一方で、同時に生成型検索システムにおけるランキング操作の重大なリスクを露呈させており、責任ある展開と防御戦略へのさらなる研究が必要であると述べています。