技術概要：FLUID

問題定義

現代のレコメンデーションシステムは、主にユーザーのインタラクションから信号を蓄積する一意の ID 埋め込みによってアイテムを表現する、ID ベースの協調フィルタリングに依存しています。しかし、このパラダイムはライブストリーミングレコメンデーションにおいて根本的なミスマッチに直面しています。e コマースやショート動画ドメインの長寿命なアイテムとは異なり、ライブストリームルームは通常、約 45 分しか放送されず、その後陳腐化します。その結果、アイテム ID 埋め込みは永続的なコールドスタート状態に留まり、ルームの短い寿命内で収束することができません。

これにより、2 つの具体的な課題が生じます：

1. 信号の希少性：ルームが終了する前に ID 埋め込みテーブルが十分な協調信号を記憶できず、ID の汎化能力が失われます。
2. ID 支配効果：既存の産業システムでは、マルチモーダル特徴がアイテム ID に加えて補助信号として追加されることが多いです。しかし、ランキングモデルは ID 信号（記憶）をデフォルトとして優先し、マルチモーダル入力を十分に活用しません。ライブストリーミングでは ID 信号が短命でノイズが多いため、この「ID 支配」は急速に減衰する信号にモデルの容量を浪費し、マルチモーダル特徴が効果的にレコメンデーションを導くことを妨げます。

手法：FLUID フレームワーク

FLUID（Framework for Live Universal ID-free Recommendation）は、生産規模のライブストリーミングランカーから候補側のアイテム ID を完全に廃止し、完全にマルチモーダルセマンティックコードに置き換える最初のフレームワークです。パイプラインは 4 つの段階で構成されます：

1. クロスドメインマルチモーダルエンコーダ

ライブデータの希少性に対処するため、FLUID はショート動画とライブストリームの両方で共同学習されたシングルタワー型マルチモーダルエンコーダを採用します。

• アーキテクチャ：ビジョンモジュール（SigLIP2-base ViT）、テキストモジュール（タイトル、OCR、ASR、コメントなどのトークン化）、およびQwen3-Embedding-0.6Bに基づくフュージョンモジュールを組み合わせます。
• 学習：エンコーダは InfoNCE 損失を用いたクエリからアイテムへ（Q2I）のコントラスティブ目的で学習します。2 段階の学習レシピを使用します：(1) アライメント（プロジェクタのみを学習）で事前学習されたセマンティクスを保持し、(2) 共同微調整を行います。
• 目的：このクロスドメイン転移は、ショート動画からのより密でノイズの少ない教師信号を活用し、希少なライブドメインに対して堅牢なセマンティック表現を生成します。

2. 離散表現（LUCID）

エンコーダからの連続的な 128 次元埋め込み（$z$）は、残差量子化 K-Means（RQ-KMeans）を使用してLUCID（Live Universal Content IDentifier）コードに離散化されます。

• 構造：LUCID は、階層的な 4 レベルのコードワードタプル（$c_1, c_2, c_3, c_4$）です。
• 粒度：
  • スライスレベル LUCID：2 分間のコンテンツのダイナミクスを捉えます（例：ストリーマーが雑談から歌唱へ切り替えるなど）。
  • ルームレベル LUCID：セッション内のすべてのスライスに対してレベルごとの多数決によって取得されます。これにより、ルームに対して安定した永続的なアイデンティティが提供され、識別子が一時的なコンテンツ変化から切り離されます。

3. プレフィックス N-gram 埋め込み

LUCID タプルをランカーにマッピングするため、FLUID は単純なレベルごとのデコーディングではなく、プレフィックス N-gram 埋め込みスキームを使用します。

• メカニズム：各レベルの埋め込みは、完全なプレフィックスパス（$\bar{c}_l = \sum c_k \cdot N^{l-k}$）に条件付けられます。これにより、残差量子化に内在する曖昧さを解決し、深いレベルでの同じコードワードが親パスに応じて異なるセマンティック領域を表すことを保証します。
• 実装：スライスレベルとルームレベルの LUCID は、安定したルームセマンティクスと一時的なスライスのダイナミクスが混在しないよう、個別の埋め込みテーブルを使用します。

4. 後期融合 ID フリーランカーと段階的ウォームアップ

最終アーキテクチャでは、アイテム ID トークンが完全に LUCID トークンに置き換えられます。

• 後期融合：スライスとルームの LUCID は、独立したトークンとしてトランスフォーマーベースのランカーバックボーンに注入されます。これにより、モデルは安定したルームアイデンティティと一時的なスライスのダイナミクス間の相互作用を、それらを単一の表現に強制することなく学習できます。
• 段階的ウォームアップ：オンライン増分設定において ID ベースから ID フリーへの学習への移行を安定させるため、FLUID は 3 段階のウォームアップを採用します：
  1. スライス追加：収束したアイテム ID に加えて、スライス LUCID を新しいトークンとして追加します。
  2. アイテム ID の段階的廃止：アイテム ID を漸進的にゼロ化し、モデルがスライス LUCID に依存するように強制します。
  3. ルーム追加：ウォームアップされたスライステーブルから初期化されたルームレベル LUCID を導入し、永続的なアイデンティティの役割を引き継ぎます。

主要な貢献

1. 問題の枠組み設定：本論文は、短命なアイテムにおいて「ID 支配」効果は許容できる煩わしさではなく、根本的なボトルネックであると論じます。解決策はより良い融合トリックではなく、候補側のアイテム ID の完全な廃止であると提唱しています。
2. クロスドメインエンコーダ：ショート動画とライブストリームで共同学習されたマルチモーダルエンコーダを導入し、階層的なLUCIDコードを生成し、候補側のコンテンツ識別子としてのみ機能させます。
3. ID フリーアーキテクチャ：LUCID がアイテム ID に取って代わる後期融合ランカー設計であり、オンライン学習中の安全な移行を確保する段階的ウォームアップ手順によって安定化されています。

実験結果

FLUID は、合計ユーザー数が10 億人を超える産業用ライブストリーミングプラットフォームに展開されました。

オフライン指標（CTR AUC）：

• ベースライン（ID あり）にスライス LUCID を追加すると、AUC が +0.22% 向上しました。
• 代わりとなるものなしにアイテム ID を除去すると、大幅な低下（-0.47%）が生じ、モデルが ID 記憶に依存していることが確認されました。
• 最終的な FLUID 設定（ID なし + スライスおよびルーム LUCID）は、ベースラインに対して**+0.23%**の向上を達成しました。

オンライン A/B テスト結果：
生産用ベースラインと比較して、FLUID は複数の指標で大幅な向上をもたらしました：

• エンゲージメント品質：品質視聴時間が +0.55%、品質視聴セッションが +0.51% 向上。
• コールドスタートと多様性：コールドスタートルームの視聴数が +2.05%、ニッチルームの視聴数が +2.87%、ユニーク視聴タグ数が +1.63% 向上。
• リテンション：アクティブ時間が +0.05% 向上（リテンションのプラスの向上を達成した唯一の設定；LUCID による代替なしに ID を除去するとリテンションはマイナスとなりました）。

アブレーションの知見：

• 融合：ID と LUCID をマージする早期融合は、モデルが ID への依存に戻ってしまうため、性能向上には失敗しました。後期融合が不可欠でした。
• 学習：段階的ウォームアップなしの LUCID の素朴な学習は失敗しました。段階的ウォームアップは、移行中にモデルが ID 信号に収束するのを防ぐために重要でした。
• 埋め込み：プレフィックス N-gram 埋め込みはレベルごとのデコーディングを上回り、スライス/ルームコード用の独立したテーブルは共有テーブルを上回りました。

意義と主張

本論文は、FLUID が短命なレコメンデーションドメインにおける新しい原則を実証していると主張しています：アイテムが本質的に短命である場合、減衰する ID とマルチモーダル信号を融合しようとするよりも、アイテム ID を廃止する方がより原理的な解決策です。

マルチモーダルセマンティックコード（LUCID）で ID を正常に置き換え、段階的ウォームアップを通じて移行を安定させることで、FLUID は以下の成果を達成します：

1. 回復したマッチング品質：モデルは不十分な ID 履歴に依存することなく、ユーザーとコンテンツを効果的にマッチングできます。
2. 真の多様性：ニッチおよびコールドスタートの視聴数の向上は、単なる不適切なマッチングによるトラフィックの受動的な再分配ではなく、より良いコンテンツ理解によって駆動されています。
3. ユーザーリテンション：このフレームワークは、これらの多様性とエンゲージメントの向上を実際のユーザーリテンションに変換し、ライブストリーミングの文脈ではコンテンツに基づくランキングが ID ベースの記憶を上回ることを証明しています。

この研究は、アイテム寿命が従来の協調フィルタリングが機能するほど短くないドメインにおけるコンテンツに基づくランキングへの一歩として位置づけられています。