A Better Spur Should Start From Each Objective

デジタル市場において、製品ページはしばしば、技術的な仕様やマーケティング用語が詰め込まれた、情報の濃いテキストの壁となり、買い物客を圧倒してしまうことがあります。複雑な情報と人間の理解との間の溝を埋めるために、人工知能は、製品説明の中から最も重要な単語を特定し、それらに対する短く明快な説明を書くという二重の任務を課されることが増えています。これは単なるテキスト編集作業ではありません。それは一種のバランス調整です。システムは、抽出された単語が正確であり、製品機能の全範囲を網羅していることを保証するといった厳格なオフラインのルールを満たす一方で、ユーザーのクリック数を最大化し、低評価を最小限に抑えるといったオンラインの目標を追求しなければなりません。これらの目標は、しばしば相反する方向に引き合います。多くのクリックを生み出す特徴は、正確さという点では一般的すぎてしまう可能性があり、一方で、非常に正確な技術用語は、カジュアルな閲覧者にとって興味を引かないほど難解すぎる場合があります。コンピュータプログラムがこれらすべての相反する目標を同時に最適化しようとすると、しばしば躓き、激しく振動したり、ある指標を改善すると別の指標が崩壊するというループに陥ったりします。

ハルビン工業大学、JD.com、および中国科学院の研究者たちは、この特定の「相反する目標」の問題を解決するための新しい手法を開発しました。彼らはそのアプローチを「マルチ・マージナル・プリファレンス・オプティマイゼーション（多重周辺選好最適化）」と呼んでいます。これは、コンピュータがすべての目的を一つの乱雑な指示の塊として扱うのを防ぐために設計されたシステムです。この新しいフレームワークは、モデルにすべてにおいて妥協した唯一の「最善」の答えを見つけさせるのではなく、各目標を高速道路の別々のレーンのように扱います。まず、システムは受け取ったデータを整理し、クリックや「いいね」といった、そのまま受け取ると誤解を招く可能性のある、ノイズが多く疎な実際のユーザー行動からの信号を滑らかにします。これらの報酬の捉え方を調整することで、システムは、一般的な用語よりも出現頻度が低いからといって、希少だが価値のある情報が無視されないようにします。

核心となる革新は、学習プロセス自体の扱い方にあります。コンピュータがパフォーマンスを向上させようとする際、それは目標に基づいて数学的な更新を生成します。従来の手法では、これらの更新は単に足し合わされていました。そのため、ある目標に対する指示が、別の目標に対する指示を打ち消したり歪めたりすることがよくありました。新しい手法では、これらの更新を適用する前に分離します。学習信号のうち、どの部分が基本的な正確性に不可欠で、どの部分がユーザーの好みに特有のものであるかを特定し、その後、好みの信号を、コアとなるルールを妨害しない空間へと投影します。これにより、モデルは、正確さを失うことなく、ユーザーにとってより魅力的なものになるよう学習することができます。

さらに、研究者たちは、トレーニングの後半でシステムが過度に攻撃的になるのを防ぐための安全メカニズムを追加しました。モデルが向上するにつれ、一つの目標にあまりにも集中しすぎて他の目標を疎かにしてしまい、結果として全体の品質が急落することがあります。新しいシステムは、指示に従うモデル自身の能力を利用して、境界を設定します。モデルに対して、理想的な条件下での完璧な振る舞いの例を生成させ、それらの例を使用して、将来の更新のための「安全地帯」を定義します。もしモデルが一方の方向に押し進めすぎようとした場合、この内部ガイドが優しく引き戻し、進捗がすべての指標において着実かつバランスの取れた状態に保たれるようにします。

このアプローチの結果は、65,232件のトレーニング用製品と8,879件の評価用製品を含む、現実世界の電子商取引製品のデータセットを用いてテストされました。これには、過去3ヶ月間に収集されたユーザー行動データも含まれています。システムはいくつかの他の高度な手法と比較され、より安定しており効果的であることが判明しました。オフラインテストでは、補完性スコアで94.11パーセント、正確さで73.43パーセントを達成し、以前の手法を大幅に上回りました。決定的なことに、ターゲットとなるカバー率22.82パーセントを達成しましたが、これはほぼ完璧であり、他の手法は目標に届かないか、あるいは超過していました。これらの改善は単なる理論的なものではありませんでした。新しい手法によって駆動されるシステムを実際のオンラインテストに導入したところ、従来の標準と比較して、注文数は3.14パーセント増加し、注文の総額は5.07パーセント増加しました。

このフレームワークの成功は、オンラインショッピングにとどまりません。研究者たちは、複数の制約を同時に満たす必要があるツール利用やコンピュータコード生成のタスクにもこの手法を適用しました。これらのテストにおいて、この手法は、モデルが単一の簡単な解を見つけてそれを延々と繰り返す「モード崩壊」を回避することを含め、標準的なアプローチよりも一貫して優れた結果を出しました。相反する目標を切り離し、構造化されたバランスの取り方を提供することで、この研究は、複数の競合する目的が常態である複雑な現実世界の環境において、人工知能をより信頼性の高いものにするための実用的な解決策を提示しています。