技術概要：補完的予測器として微調整された LLM が広告システムを改善する

問題定義

大規模言語モデル（LLM）は急速に進歩しているが、特に広告分野において、それらを本番規模の推薦システム（RecSys）に直接統合することは依然として課題となっている。産業レベルの広告システムは、ユーザー ID や広告主 ID といった疎で ID 中心の機能に大きく依存しており、これらはトークンベースのセマンティック表現とは自然に整合しない。さらに、RecSys における既存の LLM 応用は、一般的に生成型検索、後段の再ランク付け、または補助信号の強化の 3 つのカテゴリーに分類される。しかし、これらのアプローチは、厳格なレイテンシ制約、疎な機能の支配性、複雑なターゲティング制約とコンバージョン履歴のモデル化が必要であるという、広告システム特有の制約に直面すると、しばしば困難に陥る。本稿で扱われる核心的な問題は、既存の高度に最適化された産業用スタックを置き換えることなく、また過大な推論コストを発生させることなく、LLM の世界知識と予測能力を活用して、広告の検索とランク付けを改善する方法である。

手法

著者は、微調整されたオープンソース LLM を直接のランク付け器ではなく、広告固有の補助予測器として機能させる補完的なパラダイムを提案する。このシステムは、構造化されたユーザープロファイルとコンバージョン履歴を条件として、可能性のある広告主とユーザーの関心を予測する。これらの予測は、下流の検索およびランク付け段階に対する情報豊富な事前確率として機能する。

システムアーキテクチャ

パイプラインは 4 つの段階で構成される：

1. ユーザー選定: レイテンシとコストを管理するため、推論は高価値セグメント（直近のコンバージョンを有する活動的な米国ユーザー）に制限される。
2. 機能集約: 異種データ（オンサイト/オフサイトの検索、帰属/マッチングされたコンバージョン、URL、人口統計情報）が、コンパクトなテキスト表現に集約される。
3. プロンプトベースの広告主予測: LLM は、ユーザープロファイル、過去のコンバージョン、および事前設定された広告主プールを含む構造化されたプロンプトに基づいて、ランク付けされた広告主リストとユーザー関心を予測するように事後学習される。
4. 下流での消費: 予測された広告主は、検索段階（候補生成）におけるターゲティングフィルタとして、およびコンバージョンモデル（ランク付け）における機能として使用される。

事後学習戦略

本論文では、2 つの主要な事後学習アプローチを探求する：

• 教師あり微調整（SFT）: モデルは、ユーザープロファイル、過去のコンバージョン、および事前設定された広告主プールを含む構造化されたプロンプトに基づいて、単一の「次の広告主」を予測するように訓練される。
• GRPO（グループ相対方策最適化）: SFT に続き、モデルは強化学習を用いて最適化される。プロンプトは、20 の広告主と 5 つのユーザー関心のランク付けリストを要求する。報酬関数（$R_{total}$）は、真の広告主との一致（上位ランク位置に対するボーナスを含む）と、必要な出力形式（20 の広告主、5 つの関心）からの逸脱に対する長さペナルティとのバランスを取る。これにより、精度と、本番統合に必要な構造化された XML 出力形式への厳密な準拠の両方が促進される。

セマンティック ID（SID）の強化

テキストセマンティクスと ID ベースの広告システムの間のギャップを埋めるため、著者は RQ-VAE を介してマルチモーダル埋め込み（PinCLIP）から導出された**セマンティック ID（SID）**を組み込む。破滅的忘却を防ぐために、多段階の学習アプローチが採用される：

1. フェーズ 1: モデルの残りを凍結したまま SID 埋め込みのみを更新することで、SID トークンをテキスト空間に整合させる。
2. フェーズ 2: 一般ドメインデータを混ぜ込みながら、推薦知識を取り込むための全パラメータ事前学習。
3. フェーズ 3: プロンプトにテキスト機能と最近の SID シーケンスの両方を含む、タスク固有の微調整（SFT/GRPO）。

下流統合

• 検索: LLM によって予測された広告主は、候補生成器（CG）として補完的に機能し、高いコンバージョン意図を持つ広告主を優先するために検索空間をフィルタリングする。これは、既存のシグナルカバレッジが弱いユーザーに対して特に効果的である。
• ランク付け: 予測された広告主と関心は機能化され、下流のコンバージョンモデル（ctcvr、vtcvr）に供給される。

主要な結果

オフライン性能

• 予測品質: 本番トラフィックと整合した V1 データセットにおいて、1 つの広告主プロンプトによる SFT に GRPO を続けた組み合わせは、ゼロショットプロンプティングを大幅に上回った。セマンティック ID の組み込みは大幅な改善をもたらし、テキストのみのモデルと比較して Recall@1、Recall@5、および Recall@20 を 10% 以上向上させた。
• 機能アブレーション: 最も重要な入力機能は「過去のコンバージョンを有する活動的な広告主」であった。次に影響力が大きかったのは、オフサイト URL とオフサイト検索であった。興味深いことに、この特定の意図集約タスクにおいては、明示的な推論チェーンよりも、直接の SFT 型トレーニングの方が有用であることが判明した。
• コンバージョンモデル: LLM 由来の広告主機能をコンバージョンモデルに追加した結果、特に疎なコンバージョン設定において重要となる PR-AUC（Precision-Recall AUC）において、測定可能なオフラインの改善が見られた。

オンラインビジネスへの影響

• 検索: 米国のショッピング広告における A/B テストでは、LLM ベースの候補生成器が、一般的な処理スライスにおいて広告費対効果（RoAS）を4.94%、オプトインスライスにおいて**6.69%**向上させた。
• メカニズム: この改善は、標準的な協調フィルタリングチャネルによって以前は十分にカバーされていなかった、高いコンバージョン意図を持つ広告主からのトラフィックをシステムが表面化させたことにより引き起こされた。
• 運用制約: この研究は、候補生成器のクォータと学習目的（生インプレッションや疎なコンバージョンではなく、持続時間に基づく重み付けされたクリックを使用する）の慎重な調整が、ファネルの生存率とエンゲージメントのバランスを取るために不可欠であることを強調した。

意義と主張

本論文は、産業レベルの広告システムにおける LLM の役割を再定義することにより、大規模な LLM 強化型推薦のための実用的な道筋を実証していると主張している。既存の多段階検索およびランク付けスタックを置き換えようとするのではなく、また LLM を高価な再ランク付け器としてのみ使用するのでなく、著者は微調整された LLM が補完的予測器として機能し得ることを示している。

主な貢献点は以下の通りである：

1. パラダイムシフト: LLM の世界知識を活用して、広告におけるテキストセマンティクスと疎な ID 機能の間のギャップを埋める、広告主予測タスクの成功した定式化。
2. 実用的なレシピ: データ集約、プロンプト設計（SID 統合を含む）、および微調整（SFT + GRPO）の検証済みワークフローの提供。これにより、安定した低レイテンシのシグナルが生成され、広告パイプライン全体で使用可能となる。
3. エンドツーエンドの検証: これらの LLM 由来のシグナルが、コアインフラを混乱させることなく、検索カバレッジとランク付け精度の両方を改善することで、測定可能なビジネス価値（RoAS の改善）を解放し得ることを実証。

著者は、マルチモーダル SID 拡張は強力なオフライン結果を示したが、オンライン本番環境ではまだ完全に検証されていないため、主要な実証的主張からは除外されていると控えめに述べている。この研究は、このアプローチの成功が、補助的予測タスクの具体的な設計と、既存の産業制約との緊密な統合に依存していることを強調している。