MILCR: Mutual information and local consistency regularized flow matching for sequential recommendation

デジタル時代において、私たちのオンライン上の生活は、購入した本、視聴した動画、訪れたレストランといった選択の足跡を残します。コンピュータにとって、これらの足跡を理解することは「逐次推薦（シーケンシャル・レコメンデーション）」と呼ばれる分野の役割です。その目的は単純ですが、非常に困難です。ある人が過去に行った行動を見て、次に何を望むかを推測することです。長年、この仕事における最良のツールは、ユーザーの履歴をスキャンしてパターンを見つけ出し、次の論理的なステップを提案する、注意深い司書のようなものでした。しかし、よりクリエイティブなことを試みる新しい世代のツールが登場しました。単にパターンを見つけるのではなく、これらの生成モデルは、純粋なランダム性から出発し、それを特定の推奨へと徐々に形作っていくことで、ユーザーの将来の欲望の姿をゼロから構築しようと試みます。

友人の完璧な肖像画を描こうとしている場面を想像してください。ただし、あなたは空白の、砂嵐が流れる画面から強制的に描き始めなければなりません。あなたは、顔が現れるまで、ステップごとに砂嵐を取り除いていかなければなりません。これが現代の生成システムの仕組みです。彼らはランダムなノイズから始まり、一連の数学的なステップを通じて、その混沌を明確な予測へと変容させます。このアプローチは大きな有望性を示していますが、人間の行動という乱雑な現実に適用される際、特有の問題に直面します。人々のインタラクション履歴はしばしば短く、断片的であるため、これらのモデルは混乱してしまうことがあります。モデルは、ユーザーの実際の履歴よりも、最初に始まったランダムなノイズに依存しすぎてしまったり、あるいは異なるすべてのユーザーを一つのぼやけた平均値へと崩壊させてしまい、推奨を有用にするためのユニークな詳細を失ってしまうことがあります。

北京理工大学の研究チームは、この欠陥を修正するための新しい手法を開発し、そのシステムを「MILCR」と呼びました。彼らの研究は、生成モデルが疎なデータからどのように学習するかを洗練させることに焦点を当てています。研究者たちは、主な問題は二重であることを特定しました。すなわち、モデルが異なるユーザーの好みを区別することに苦労していること、そして初期のランダムなノイズが最終的な答えに影響を与えすぎていることです。これを解決するために、彼らはダブルチェック・システムとして機能するトレーニングプロセスを導入しました。まず、複雑な学習が始まる前に、モデルの基本的な構成要素がすでに整理されていることを保証することで、システムに構造化された基礎を準備させます。次に、メインのトレーニングフェーズにおいて、彼らは2つのタスクを交互に行う巧妙な戦略を用いました。一方のタスクは、モデルにランダムノイズを無視することを教え、ユーザーの実際の履歴に厳密に従うよう強制します。もう一方のタスクは、予測に至るまでのモデルの経路が滑らかで安定したものになるようにし、予測を行う際にシステムがよろめいたり、不規則に跳ねたりするのを防ぎます。

研究者たちは、オンラインの書籍レビューから映画の評価まで、5つの異なる実世界のデータセットを用いてこの新しいアプローチをテストしました。彼らは、このシステムを、古くから証明されている技術に基づくものや、新しい生成手法を含む、いくつかの強力な他のモデルと比較しました。結果として、彼らの新しい手法は、競合相手を一貫して上回りました。例えば、おもちゃの購入に関するデータセットでは、新しいシステムは、以前のベストモデルと比較して、次のアイテムを正しく予測する能力を17パーセント以上向上させました。また、ユーザーのインタラクションが非常に少ないシナリオにおいても、他のモデルがしばしば失敗する場面で、はるかに高い信頼性を示しました。システムの内部動作を分析することで、チームは、彼らの手法がモデルのランダムノイズへの依存を減少させ、異なるユーザーの表現を混ざり合うことなく、明確かつ個別のものとして維持することに成功したことを確認しました。

この研究の成功は、創造性と規律のバランスを取る能力にあります。生成的なアプローチはシステムに新しい可能性を想像することを許しますが、新しい正則化は、その想像力が実際のユーザーの履歴に基づいたものであることを保証するガードレールとして機能します。研究者たちは、開始時のノイズと最終的な結果との間の接続を最小限に抑えることで、モデルがランダムなスタートよりもユーザーの過去の行動を信頼することを学んだことを発見しました。同様に、予測プロセスのステップ間の整合性を強制することで、システムが計算の途中で迷子にならないようにしました。この手法の組み合わせにより、モデルは以前よりもはるかに上手く、現実世界のデータの疎で乱雑な性質を扱うことができました。

結局のところ、この研究は、コンピュータが人間の好みを理解するためのより明確な道筋を提示しています。それは、ランダム性から出発することが強力なアイデア生成の方法になり得る一方で、現実世界で役立つためには慎重な制約が必要であることを示しています。この新しいシステムは単に推測するのではなく、ユーザーの真の関心の「信号」と、それを見つけ出すために使用される数学的プロセスの「ノイズ」を区別することを学びます。オンライン上の相互作用がより複雑で多様になり続ける中で、ツールのようなものは、データが限られている場合でも、推奨がパーソナルで正確、かつ真に役立つものであることを保証するために不可欠となるでしょう。この研究は、レコメンデーションシステムの未来が、単により多くのデータを生成することではなく、人々が紡ぐユニークで、しばしば不完全な物語に対して深い敬意を持ちながら、より知的にデータを生成することにあることを示唆しています。