OneSearch-V2: 潜在推論強化型自己蒸留生成検索フレームワークの技術的概要

本論文は、快手（Kuaishou）技術チームによって提案された、生成型検索（Generative Retrieval: GR）の新たなフレームワーク「OneSearch-V2」について詳述しています。既存の OneSearch（V1）が抱える複雑なクエリ理解の不足、潜在的なユーザー意図の活用不足、および狭い履歴データへの過学習という課題を解決するため、**「潜在推論（Latent Reasoning）」と「自己蒸留（Self-distillation）」**を統合した革新的なアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

生成型検索は、従来の多段階カスケード構造（リコール→リランキングなど）に代わり、エンドツーエンドでアイテムを生成するパラダイムとして注目されています。しかし、OneSearch V1 には以下の 3 つの重大な限界がありました。

1. 複雑なクエリ理解の不足: 「インドア用フィットネス機器」のように具体的なターゲットが不明確なクエリや、否定形・疑問形を含むロングテールクエリに対し、モデルは浅い意味的マッチングしか行えず、深い推論ができていませんでした。
2. ユーザーコンテキストに基づく意図推論の不足: ユーザーの过敏症や季節感など、ログの共起パターンを超えた「潜在的な意図」を推論する能力が不足していました。既存の Chain-of-Thought (CoT) を明示的に生成する方法は推論コストが高すぎてオンライン展開が困難です。
3. 脆弱な報酬システムと分布バイアス: 履歴ログに基づく報酬モデルに依存しているため、新しいクエリや意図への適応が遅く、報酬ハッキング（Reward Hacking）や情報バブル、ロングテールアイテムの希少化を招いていました。

2. 提案手法：OneSearch-V2 のアーキテクチャ

OneSearch-V2 は、推論コストを増加させることなく推論能力をモデルに内蔵させるための 3 つの主要な革新で構成されています。

(1) 思考増強型クエリ理解モジュール (Thought-Augmented Query Understanding)

• キーワードベースの CoT 抽出: 大規模言語モデル（LLM）を用いて、各クエリとユーザーのペアに対して明示的な推論（CoT）を生成し、それを「意図」「カテゴリ」「属性」「トピック」の 4 つの制約に基づいて高密度なキーワード集合に変換します。
• トレーニングと推論: このキーワード集合はトレーニング時に教師データとして使用されますが、推論時には直接入力として使用せず、モデルの重みに推論能力を埋め込むための「特権情報」として機能します。

(2) 推論内面化型自己蒸留トレーニングパイプライン (Reasoning-Internalized Self-Distillation)

• 情報非対称性を利用した自己蒸留: 教師モデルと学生モデルに同一の重みを使用します。
  • 教師: クエリにキーワードベースの CoT を追加した入力を受け取り、出力分布を生成。
  • 学生: 元のクエリ（キーワードなし）のみを受け取り、教師の出力分布に一致するように学習します。
• 安定化技術: 情報量の少ない入力から高精度な予測を行う際の不安定さを解消するため、以下の正則化を適用します。
  • R-Drop: ドロップアウトによる予測のばらつきを抑制し、一貫性を確保。
  • FGM (Fast Gradient Method): 入力埋め込みへの敵対的摂動を加え、入力空間のロバスト性を向上。
• 効果: 推論時に追加のトークン生成や計算を行わずとも、モデルの重み自体に「推論能力」が内面化（Intuition 化）されます。

(3) 行動フィードバックに基づく報酬アライメント最適化システム (Behavior Feedback Preference Alignment)

• 報酬モデルの排除: 別途学習した報酬モデル（RM）に依存せず、ユーザーの実際の行動（クリック、購入）とクエリ - アイテムの関連性を直接報酬として利用します。
• TPMA-GRPO (Token-Position Marginal Advantage):
  • 従来の GRPO はシーケンス全体に均一のアドバンテージを割り当てますが、SID（Semantic ID）生成は「カテゴリ→属性」という階層的な因果構造を持っています。
  • 本手法では、**接頭辞の正しさに基づいて勾配を制御する「プレフィックスゲート」と、各トークン位置ごとの限界貢献度（Marginal Advantage）**を計算するメカニズムを導入しました。これにより、上位カテゴリが間違っていれば下位カテゴリの学習を抑制するなど、効率的な学習を実現します。
• 複合報酬設計: 関連性（Relevance）、クリック率（CTR）、購入（Order）を統合した報酬関数を設計し、ビジネス目標と検索体験のバランスを取ります。

3. 主要な貢献

1. 推論コストゼロでの推論能力向上: 明示的な CoT 生成を伴わず、自己蒸留を通じてモデル重みに推論能力を埋め込むことで、オンライン推論レイテンシを増加させずに複雑なクエリ理解を可能にしました。
2. 情報非対称性に基づく自己蒸留の確立: 教師と学生で重みを共有しつつ、入力情報の差（キーワードの有無）のみで学習させることで、追加パラメータや特殊トークンなしに高性能な知識伝達を実現しました。
3. 階層的なクレジット割り当てメカニズム: 生成型検索の階層的構造（粗粒度→細粒度）を考慮した TPMA-GRPO を提案し、報酬信号の割り当てを最適化しました。
4. 動的なビジネス目標への適応: 別途の報酬モデルを不要とし、ストリーミング更新を可能にする設計により、新しいクエリやキャンペーンへの迅速な適応を実現しました。

4. 実験結果

快手のモール検索プラットフォームでの大規模なオフライン評価およびオンライン A/B テストが行われました。

• オフライン評価:
  • 複雑なクエリ理解とユーザープロファイリング能力が大幅に向上。
  • 注文（Order）における HitRate@10 で +2.68%、クリック（Click）で +3.37% の改善。
• オンライン A/B テスト結果:
  • アイテム CTR: +3.98%
  • PV CTR: +1.17%
  • 購入者転換率: +2.90%
  • 注文数: +2.11%
  • GMV (商品販売総額): +3.45%
• 人間による評価:
  • ページの「良さ」(Page Good Rate): +1.65%
  • クエリ - アイテムの関連性: +1.37%
• その他の効果:
  • 情報バブルやロングテールアイテムの希少化を軽減。
  • 追加の推論コストやレイテンシ増加なしに実現。
  • 新規アイテム（コールドスタート）やロングテールクエリ、低アクティブユーザーにおいて特に顕著な改善が見られました。

5. 意義と結論

OneSearch-V2 は、生成型検索において「推論能力」と「実用的な展開効率」の両立を達成した画期的なフレームワークです。

• 技術的意義: 明示的な推論プロセスをモデル内部に圧縮・内面化させることで、LLM の推論能力を低コストで検索システムに統合する新しいパラダイムを示しました。
• ビジネス的意義: 複雑で曖昧なユーザー意図を正確に捉え、パーソナライズされた検索体験を提供することで、直接的な売上（GMV）とユーザー満足度の向上に貢献しています。
• 将来展望: 本アプローチは、情報バブルの解消や、多様なコンテンツモーダリティ（動画、ライブ配信など）への対応、およびエージェント型検索システムへの発展に向けた基盤となります。

本論文は、大規模言語モデルを産業レベルの検索システムに実装する際の課題（レイテンシ、コスト、推論の質）を解決するための具体的なソリューションを提供しており、生成型検索分野における重要なマイルストーンと言えます。