UniDot: A Unified Network for Sequence Modeling and Feature Interaction in Large-scale Recommendation

現代のコンテンツや広告における広大なデジタル風景の中で、レコメンデーションエンジンは私たちの日常生活の目に見えないキュレーターとして機能しています。それらは、次にどの動画を見せるか、どの製品を提案するか、あるいはどの記事を強調するかを決定し、しばしば瞬きをする間に数百万もの可能性を処理します。数十年にわたり、これらのシステムは、それらの決定を下すために2つの異なる思考方法に依存してきました。第一のアプローチは、ユーザーやアイテムの年齢、所在地、製品カテゴリといった静的な詳細に着目し、それら特定の属性がいかに重なり合うかのパターンを見出そうとするものです。第二のアプローチは、時間の流れを観察し、クリックや閲覧の履歴を分析することで、進化し続けるユーザーの関心を理解しようとするものです。どちらの手法も強力ですが、産業界のシステムは伝統的にこれらを別個のものとして扱い、両者の知恵が十分に組み合わさることを願いながら、並行して走らせてきました。この分離は、ある隔たりを生み出します。つまり、システムは、ユーザーの過去の行動が、リアルタイムで特定の新しいアイテムに対する反応をどのように直接的に形作っているのかを理解することに苦慮するのです。

Rongcheng Lin氏率いるMetaの研究チームは、UniDotと呼ばれる新しいアーキテクチャによって、この隔たりを埋めることに着手しました。彼らの目標は、静的な詳細と流動的なユーザー行動の履歴を、別々の問題として扱うのではなく、両方を同時に処理できる単一の統合されたシステムを構築することでした。彼らは、ユーザーのプロフィール、アイテムの詳細、さらには過去の行動のシーケンス（連続したデータ）のすべてを「トークン」——単にデータのデジタル表現のことです——というレンズを通して捉えることで、この課題に取り組みました。この新しいフレームワークでは、すべての情報がこれらのトークンへと変換されます。設計を突き動かしている核心的な洞察は、ユーザーとアイテムをマッチングさせるために用いられる数学的な演算は、過去の行動を現在の選択に対して重み付けするために用いられる演算と根本的に同じである、という点です。この共通のメカニズムを認識することで、研究者たちは、これら2種類の情報が直接的かつ継続的に相互作用できるモデルを構築しました。

結果として誕生したUniDotは、2つの異なるプロセスが共に移動し、絶えず情報を交換し合う「二車線の高速道路」のように機能します。一方のレーンである「トークン混合バス」は、ユーザーとアイテムの静的なプロフィール・データの融合に焦点を当てます。もう一方のレーンである「シーケンス・リトリーバル・バス」は、ユーザーの履歴をスキャンして関連する過去のイベントを見つけ出すことに焦点を当てます。これらのレーンを孤立させたり、最後にのみ統合したりするのではなく、Uniプトはそれらが共進化することを可能にします。処理のあらゆるステップにおいて、2つのレーンは状態を共有し、静的なプロフィールが履歴の読み取り方に影響を与え、履歴がプロフィールの理解を洗練させることを可能にします。この継続的な交換により、システムは単にユーザーの過去と現在の状況を別々に見るのではなく、それらがその瞬間にいかに互いを形作っているのかを捉えることができるのです。

システムが効率性と精度を維持できるように、研究者たちは「FMハイウェイ」と呼ばれる専用の経路を導入しました。この経路は、最も重要な相互作用のためのダイレクトな急行ルートとして機能します。多くのディープラーニング・モデルでは、最も基本的で重要な信号——具体的には、ユーザーとアイテムの特徴間の直接的な一致——が、複雑な処理レイヤーを通過する過程で希釈されたり消失したりすることがあります。FMハイウェイはこの複雑さを回避し、これらの直接的な一致を最終的な意思決定段階へと直接運びます。この設計上の選択は、最も基本的なつながりの明晰さを保持し、ユーザーのクリックや購入の決定をしばしば駆動する単純で直接的な関係性を見失わないようにするためのものです。

研究者たちは、厳格な制限時間内で最高のレコメンデーションシステムを構築することが求められた、TAAC × KDD Cup 2026として知られる主要な業界コンペティションにおいて、このアーキテクチャをテストしました。UniDotは、0.83217という高いスコアを獲得し、準優勝を果たしました。この結果は、手作業による複雑なルールや特徴量の作成によるものではなく、主にアーキテクチャ自体によって導き出されたものであるという点で重要でした。チームは、2つの伝統的なアプローチを単一の整合性のある構造へと統合することで、ユーザー行動のより微細なニュアンスを捉えられることを証明しました。さらに、彼らは2つのバージョンのモデルを同時に学習させて互いに学び合う手法を用い、ユーザーデータの保存に必要なメモリを倍増させることなく、より堅牢な解を見つけることに成功しました。

UniDotの成功は、レコメンデーションシステムの未来が、より多くの個別のコンポーネントを追加することではなく、それらをより密接に織り合わせることにあることを示唆しています。ユーザーの静的な詳細と、彼らの履歴のダイナミックな流れを、単一の統合されたプロセスの一部として扱うことで、システムはより正確な予測を行うことができます。研究者たちは、この改善の鍵は、モデルを単に大きくすることではなく、異なる種類の情報をどのように結びつけるかについて、よりスマートにすることであったことを見出しました。このシステムは、過去と現在を直接対話させることができれば、その結果として、ユーザーが真に何を求めているのかについてのより明確な理解が得られることを証明しました。このアプローチは、より速く、より効率的であり、かつ人間の行動の複雑な現実に即したレコメンデーションエンジンを構築するための、有望な道筋を提示しています。