技術要約：産業戦略イテレーションのための A/B Agent

1. 問題提起

産業用レコメンデーションシステムは、戦略を反復するために大規模な A/B テストに大きく依存していますが、このプロセスは現在、多大な労力と時間を要しています。そこでは、人間の専門家が繰り返し戦略を設計し、実験を設定し、結果を分析し、パラメータを調整する必要があります。決定的なボトルネックは、断片化された過去の知識です。貴重な洞察は、文書、コード、ログといった異種ソースに散在しており、統一された抽象化が存在しないため、体系的な再利用が困難になっています。

RAG（検索拡張生成）エージェントによる支援も提案されていますが、既存のアプローチには主に2つの制限があります。

1. フラットな知識構成： 従来の RAG システムは、意味的な類似性に基づいてテキストチャンクを検索しますが、ビジネスシナリオ、レコメンデーションの段階、最適化目標、および実験コンテキスト間の階層関係をモデル化できていません。これにより、検索のミスマッチやクロスシナリオでの転移性の低下を招きます。
2. 自己進化の欠如： 現在のエージェントは、通常、長期的な最適化フレームワークを持たないワンショットの推奨を提供します。これらは、連続的な A/B フィードバックに基づいて自律的に戦略を洗練したり、成功した慣行を知識ベースへと漸進的に集約したりすることができません。

その結果、業界では、断片的な過去の記録を構造化された転用可能な経験へと変換し、オンラインフィードバックループを通じて継続的に戦略を洗練できる自動化されたシステムが不足しています。

2. 手法

本論文では、産業用レコメンデーション戦略の最適化のために設計されたクローズドループ・フレームワークである A/B Agent を提案します。このフレームワークは、密接に結合された3つのコンポーネントで構成されています。

2.1 過去の戦略知識の組織化

知識の断片化に対処するため、本システムは過去の実験記録を 階層的経験ツリー（Hierarchical Experience Tree） として構造化します。

• 記録の構造化： 生の実験レポートを、ビジネス背景、シナリオ、段階、目標、戦略の説明、パラメータ、指標、およびリスクを網羅する統一されたスキーマに変換します。
• エージェントによる抽出： 戦略エージェントが、複数の視点（問題、シナリオ、メカニズム）から、記録を原子的で自己完結した「戦略チャンク」へと分解します。
• ツリーの構築： これらのチャンクは、ノードがカテゴリ（ドメイン、シナリオ、段階、目標）を表し、リーフが特定の戦略詳細を格納するツリー $T_E = (V_E, E_E)$ に整理されます。この構造により、一致するブランチ内での精密な検索と、関連するブランチ間での知識転移が可能になります。

2.2 自律的なターゲット認識型戦略生成

新しい最適化リクエストに対し、エージェントは マルチパス・ツリーRAG（Multi-Path Tree-RAG） を用いて実行可能な戦略を生成します。

• マルチパス検索： システムはリクエストを経験ツリー内の意味的なパスにマッピングし、疎な検索（正確な用語）と密な検索（意味的検索）の両方を用いて候補を検索します。
• コンテキスト認識型ブースティング： フラットな RAG とは異なり、このモジュールは、リクエストのシナリオ、段階、および目標と構造的に一致する候補をブーストします。これは、階層内におけるノード間の最短経路距離に基づくツリーパス関連度スコアを算出することで実現されます。
• リランキングと生成： リランカー（Qwen-Reranker）が、メカニズムと制約に基づいたきめ細かなスコアリングを行います。その後、戦略生成器は、エンジニアリング上の制約やデプロイ条件を考慮しながら、転用可能なメカニズムを対象タスクに適応させます。
• 判定： 生成された候補は、実行可能な A/B テスト構成に変換される前に、エージェントベースの判定器によって、コンテキストの関連性、根拠の一貫性、および安全性について評価されます。

2.3 実験ガイド型の戦略自己進化

デプロイ後、システムは自己進化ループに入ります。

• 実験ツリーの構築： 連続する実験バージョンは、ノードが戦略のバリアントを表し、エッジが変更を表す 実験ツリー（Experiment Tree） ($T^*_A$) に整理されます。
• 効用評価： システムは、コア指標の向上とガードレール指標の低下（ユーザー体験やプラットフォームの安定性への負の影響をペナルティ化する）のバランスを取る効用関数 $U(v)$ を定義します。
• 反復チューニング： エージェントは親ノードと子ノード、および兄弟ノードを比較して、効果的な変更を特定します。もしあるブランチが飽和するか、あるいはガードレールに抵触した場合、経験ツリーから代替のメカニズムを検索して新しいブランチを作成します。検証された結果は経験ツリーへと蒸留され、継続的な知識蓄積のためのループを閉じます。

3. 主な貢献

本論文は以下の貢献を概説しています。

1. A/B Agent フレームワーク： 過去の戦略をマイニングし、産業用レコメンデーションシステムにおけるクロスシナリオ転移、A/B 結果の分析、およびパラメータ最適化を可能にするクローズドループ・エージェント。
2. 階層的経験ツリー： 過去の戦略を転用可能なスキルへと分解し、構造化されたターゲット認識型の検索と生成をサポートする新しい構造。
3. 自己進化メカニクション： A/B チューニングのための実験ツリーガイド型アプローチであり、手動の介入なしに、共同指標分析、パラメータ最適化、および継続的な知識更新を可能にします。
4. 産業用データセット： 3つのeコマースシナリオにわたる310の過去のレコメンデーション戦略（構成、結果、および多次元指標を含む）を含むデータセットの構築。
5. 実証的検証： フレームワークの有効性を示す広範なオフラインおよびオンライン評価。

4. 実験結果

本論文では、Kuaishouプラットフォーム上の3つの産業用eコマースシナリオにおいて、A/B Agentを評価しています。

• オフライン性能：

  • A/B Agentは平均総合スコアで最高値の 7.244 を達成し、最強の汎用LLM（Claude-Sonnet-4.6, 7.151）を1.3%上回りました。
  • 各シナリオにおける最強のRAGベースラインと比較して、A/B Agentはそれぞれ 25.0%、31.7%、および23.5% 総合スコアを向上させました。
  • 正確性においてGPT-5.5を、新規性においてClaude-Sonnet-4.6を上回り、構造化された産業知識と転移性を考慮した検索が優れた結果をもたらすことを証明しました。

• オンライン A/B テスト：

  • 短尺動画eコマースレコメンデーションにおける実環境へのデプロイにおいて、A/B Agentは カートGMV（決済総額）を4.829%向上 させました。
  • 極めて重要な点として、エージェントによる初期の実験イテレーションではトレードオフが見られましたが、自己進化を通じて解決され、最終的にはすべてのガードレール指標（Live GMV、視聴時間、プラットフォーム注文数を含む）においてプラスの成果を維持しました。
  • エージェントはパレート境界を巧みにナビゲートし、ガードレールへのリスクを伴う初期構成から、ビジネス指標とプラットフォームの安全性の両方を改善する最終状態へと移行しました。

• アブレーション研究：

  • 知識ベースを除去すると、絶対スコアが 0.238 低下（総スコアの約3.3%）し、過去の経験の重要性が浮き彫りになりました。
  • 階層的Tree-RAGをフラットRAGに置き換えると、絶対スコアが 0.015 低下（総スコアの約0.2%）し、階層的組織化の価値が確認されました。
  • 検索の強化（例：シナリオ認識型ブースティング）を除去すると、絶対スコアが 0.070 から 0.122 の範囲で低下（総スコアの約1.0%〜1.7%）しました。

5. 重要性と主張

本論文は、A/B Agentが一般的なLLMエージェントと、産業界の複雑な戦略イテレーションの要求との間のギャップを埋めるものであると主張しています。その重要性は以下の点にあります。

• 断片化した知識の体系化： 非構造化された過去のデータを階層ツリーとして整理することで、フラットなRAGシステムでは達成できない、異なるビジネスコンテキスト間での信頼性の高い知識転移を可能にします。
• 自律的な継続的改善： 本フレームワークは、ワンショットの生成を超え、オンラインフィードバックから学習し、戦略とパラメータを自律的に洗練していく自己進化ループを実現しています。
• 最適化と安全性のバランス： 実験ガイド型の自己進化メカニズムは、コア指標の向上とガードレール制約の間のトレードオフを明示的にモデル化しており、人間の専門家が手動では見つけるのが困難なパレート最適解へのナビゲーションを可能にします。

著者らは、A/B Agentが過去の戦略知識を測定可能なオンラインビジネスの向上へと効果的に変換し、システムの健全性を維持しながら、産業用戦略最適化のためのスケーラブルなソリューションを提供すると結論付けています。今後の課題として、より強力な要件適合性と、自動化されたエンジニアリング実現可能性の検証に焦点を当てることが述べられています。