技術要約：LLM生成レスポンスにおける広告挿入

問題提起

大規模言語モデル（LLM）の持続可能な収益化は、重大な課題に直面している。従来の検索広告は静的なキーワードに依存しているが、これは会話の流れの中に埋め込まれた、一過性で文脈依存的なユーザーの意図を捉えるには不十分である。静的なクエリに意図がエンコードされている検索エンジンとは異なり、LLMのインタラクションには、複雑な対話を通じて変化する進化的な意図（例：観光スポットの議論から旅行の予算策定への移行）が含まれる。

これらのフローへの広告統合には、主に3つの技術的障壁が存在する：

1. 文脈的整合性（Contextual Coherence）： 広告は、ユーザー体験を損なわないよう、挿入される瞬間の特定の、かつ一時的なユーザーの意図と意味的に一致しなければならない。
2. 計算効率（Computational Efficiency）： このメカニズムは、会話の流れを劣化させるようなレイテンシを導入することなく、リアルタイムで動作する必要がある。
3. 社会的厚生と倫理（Social Welfare & Ethics）： システムは、規制要件（例：明示的な広告開示）を遵守しつつ、広告主とプラットフォームの両方の効用を最大化しなければならない。既存のソリューションは、機密性の高いユーザープロンプトを広告主にさらす（プライバシーリスク）、あるいはすべてのトークンやクエリに対してリアルタイム入札を行う（計算上の困難さ）という問題がある。

手法

著者らは、以下の2つの層による**デカップリング（分離）**を通じて、これらの緊張関係を解決するフレームワークを提案している。

1. 広告挿入とレスポンス生成のデカップリング

本フレームワークは、「オーガニック」なレスポンスの生成と広告の挿入を分離する。

• プロセス： クエリを受信すると、LLMはまず、広告を含まない完全なオーガニック・レスポンス（$z$）を生成する。
• メカニズム： 独立して、オークションメカニズムが、事前に提出された静的な広告クリエイティブを、どの位置（テキストセグメント間の特定のスロット $y_j$）に挿入するかを決定する。
• 利点： これにより、広告クリエイティブの事前スクリーニングが可能になり、ハルシネーションや欺瞞的なコンテンツを防ぐことができる。また、明示的な開示（例：「[スポンサー：...]」）を保証できる。さらに、レスポンス生成モジュールとオークションモジュールを個別に最適化することが可能になる。

2. 「ジャンル」による特定のユーザークエリからの入札のデカップリング

広告主は、特定のユーザープロンプトやトークンに対して入札するのではなく、高レベルのセマンティック・クラスター（例：「航空会社」、「ホテル」、「飲食」）として定義されるジャンル（$g \in \mathcal{G}$）に対して入札する。

• 評価モデル： 広告主は、ジャンルに対する静的な入札額（$\tilde{v}_{i,g}$）を提出する。プラットフォームは、特定のジャンルがレスポンス内の特定のスロット $j$ における文脈と一致する確率を推定する。これをコヒーレンス（整合性）と呼び、$c_{g,j} = \Pr[g|j]$ とする。
• 厚生の推定： 広告主 $i$ をスロット $j$ に割り当てるための推定厚生は、入札ベクトルとコヒーレンスベクトルのドット積として計算される：$\tilde{w}_{i,j} = \tilde{v}_i^\top \tilde{c}_j$。
• オークションメカニズム： プラットフォームは、Vickrey–Clarke–Groves (VCG) メカニズムを使用して、$K$ 個のスロットに $K$ 個の広告を割り当て、プロキシ（代理）社会的厚生（推定値に基づく）を最大化する。

コヒーレンス測定

履歴のクリックデータなしに、ジャンルとテキストスロット間の整合性を推定するために、論文では2つの手法を提案している：

1. 文章埋め込み（Sentence Embeddings）： ジャンルの埋め込みと隣接する文章との間のコサイン類似度を計算し、流れの阻害をペナルティとして課す。
2. LLM-as-a-Judge（判定器としてのLLM）： 大規模言語モデルを使用して、特定のジャンルを特定のスロットに挿入することによる修辞的な流れと文脈的な関連性を評価し、コヒーレンス・スコアを出力する。

主な貢献

1. 実用的なフレームワーク： 文脈的整合性、計算効率、およびプライバシーのトレードオフに対処する、2層のデカップリング戦略を導入した。
2. 理論的保証： このジャンルベースのプロキシシステムにVCGを適用することで、**近似的な支配戦略価格決定（DSIC）および個人合理性（IR）**が得られることを証明した。ジャンルの粒度とコヒーレンス推定の精度によって、真実の入札からの逸脱と社会的厚生の損失が制限される誤差範囲（$\epsilon = \epsilon_V + \epsilon_C$）を導出した。
3. LLM-as-a-Judge メトリック： 文脈的コヒーレンスを推定するための「LLM-as-a-Judge」メトリックを導入し、検証した。
4. 実証的検証： 合成環境および人間による評価研究を通じて、フレームワークをテストした。

結果

理論的性能

• 近似境界： このメカニズムは、グラウンドトゥルース（真値）の設定において、$(2\epsilon)$-DSIC および $\epsilon$-IR であることが示されている。ここで $\epsilon$ は、評価誤差（粗いジャンルによるもの）とコヒーレンス誤差の合計である。
• 社会的厚生： 真実の入札を仮定した場合、実現される社会的厚生は、最適なグラウンドトゥルースの厚生と比較して、最大でも $2K \cdot \epsilon \cdot \bar{v}$ だけ劣る。

計算効率

• $10^5$ の広告主と100個の候補スロットを持つ合成実験において、VCGメカニズムはコンシューマーグレードのラップトップ（Apple M1）上で約 1.25秒 でクリアされた。
• 実行時間は広告主数とスロット数に対してほぼ線形にスケールするため、リアルタイム挿入の実現可能性が示唆されている。

コヒーレンス測定の整合性

• 人間との相関： 36人の参加者による研究において、LLM-as-a-Judge メソッドは、平均的な人間の評価に対して $\rho \approx 0.66$ のスピアマン相関係数を達成した。具体的には、DeepSeek-R1 と GPT-5 はそれぞれ 0.6650 と 0.6637 の相関を示し、GPT-4o は 0.6380 を記録した。
• 埋め込み手法に対する優位性： LLM-as-a-Judge は、文章埋め込み手法（$\rho \approx 0.28$ から $0.31$）を大幅に上回った。
• 評価者の等価性： GPT-5 ジャッジの予測は、Leave-one-out グループ平均よりも、36人の個々の人間による評価の 80.6% よりも強く相関していた。ジャッジの性能は、約2人の人間の評価者の平均と同等であった。

意義と主張

本論文は、文脈的整合性、計算効率、およびプライバシーを同時に解決する、LLM広告挿入のための初の包括的なフレームワークを提供すると主張している。

• プライバシー： 入札をリアルタイムのクエリから切り離すことで、広告主は機密性の高いユーザープロンプトではなく安定したカテゴリに対して入札することになり、プライバシーリスクを軽減する。
• 規制遵守： 生成と挿入を分離することで、明示的な広告開示と事前スクリーニングが容易になり、欺瞞的な広告に対するFTC（連邦取引委員会）のガイドラインに適合する。
• スケーラビリティ： 意図のプロキシとしてジャンルを使用することで、手に負えないリアルタイム入札問題を、有限のカテゴリに対する管理可能な最適化問題へと変換する。
• 将来の生存可能性： 基礎モデルが向上するにつれて、「LLM-as-a-Judge」によるコヒーレンス精度の向上により、メカニズムの近似保証がさらに強固になることが期待される。

結論として、本フレームワークは正確なコヒーレンス推定に依存し、固定されたジャンル分割を前提としているものの、ユーザー体験やプライバシーを損なうことなく、LLMの持続可能な収益化に向けた実現可能な道筋を提供するものである。