技術要約：アイテムIDを超えて – セマンティック・ネイティブな長系列モデリングによる短尺動画レコメンデンドのスケールアップ

1. 問題提起

短尺動画のレコメンデーションシステムは、超長大なユーザー行動シーケンス（長さ $L > 10^3$）をモデリングしようとする際、二重のボトルネックに直面する：

1. 表現のボトルネック： 従来の直交的なビデオIDは、意味論的に疎（スパーズ）である。これらはアイテムを独立したトークンとして扱うため、コンテンツ間の関係性を捉えることができず、コールドスタート・コンテンツに対する汎化性能が低くなる。さらに、コーパスのサイズに応じて無制限に拡大する埋め込みテーブルを必要とし、ストレージとスパース性の問題を引き起こす。
2. 計算のボトルネック： 標準的なTransformerアーキテクチャは、二次関数的な複雑性（$O(L^2)$）を持つ自己注意（セルフアテンション）メカニズムに依存している。これにより、厳格な産業レベルのレイテンシおよびリソース制約の下で、最大シーケンス長が制限される。その結果、信号を破棄するヒューリスティックなフィルタリングや、複雑なオフライン事前計算を必要とする階層的クラスタリングが必要となる。

2. 手法

著者らは、**セマンティック・ネイティブな表現（Semantic-Native Representations）とグローバル認識型圧縮Transformer（Global-Aware Compressed Transformer）**を相乗させることで、数十億ユーザー規模で $L=2000$ までのシーケンスをモデリングできる、プロダクション環境への導入が可能なフレームワークを提案している。

2.1 セマンティック・ネイティブ表現 (SIDs)

表現のボトルネックに対処するため、本システムは原子的なビデオIDを、残留量子化VAE（RQ-VAE）によって生成されたコンテンツ・ネイティブなセマンティック識別子（SIDs）に置き換える。

• 階層的量子化： RQ-VAEは、マルチモーダルなコンテンツ埋め込みを離散的かつ階層的な潜在空間に投影し、粗いものから細かいものへと至るセマンティック階層を表すタプル $(c_1, c_2, \dots, c_D)$ を生成する。
• 非対称グラニュラリティ戦略： 超長大なシーケンスにおける表現力と効率性のバランスを取るため、著者らは**深度限定バイグラム（Depth-Truncated Bi-gram）**戦略を採用している：
  • シーケンス側（粗粒度）： ユーザー履歴アイテムは、階層の最初の2レベル $(c_1, c_2)$ に制限される。これらは統一された整数ID（$ID_{seq} = c_1 \cdot |V| + c_2$）へと投影される。これにより、コーパスの拡大に関わらず埋め込みテーブルのサイズが制限され、共通のセマンティック・プレフィックスを通じてコールドスタート・アイテムへの汎化が自然に行われる。
  • ターゲット／非シーケンス側（細粒度）： 候補アイテムおよび重要なインタラクション特徴量（例：最後に視聴したビデオ）は、精密な識別マッチングを確保するために、フルデプス（完全な深さ）のセマンティック階層を保持する。

2.2 グローバル認識型圧縮Transformer

シーケンスのスケーリング障壁を克服するため、著者らは情報の損失を伴う集約を行わずに、計算複雑性を削減するTransformerアーキテクチャを導入している。

• パラメータフリーのテンポラル・フォールディング（Temporal Folding）： プーリングを行う代わりに、入力シーケンス $X \in \mathbb{R}^{L \times d}$ をサイズ $k$ のウィンドウに分割し、チャンネル方向にスタックして「スーパー・トークン」を形成する。この操作により、入力は $(L, d)$ から $(L/k, k \cdot d)$ へと変換される。この操作は、時間解像度を特徴量の次元数と明示的にトレードオフすることで、「スーパー・イベント」間の密な依存関係を捉えつつ、シーケンス長を $k$ 分の1に削減する。
• グローバル・ローカル表現融合： 学習可能なグローバル・クエリ・トークン（$G_{init}$）が、圧縮されたシーケンスの前に付加される。このトークンはユーザープロファイルに基づく初期化とは異なり、特徴量に依存しない（feature-agnostic）ものであり、アテンション機構に動的なインタラクションのみから表現を導出することを強制する。これは、最適化を安定させるためのアテンション・シンク（attention sink）として機能する。
• 統合されたマスク付き平均プーリング： 最終的なユーザー表現は、グローバルな状態と粒度の高いシーケンシャルな信号を、マスク付き平均プーリング操作を通じて融合することで算出され、グローバルな意図とローカルな詳細のバランスを取る。

2.3 システムアーキテクチャ

本フレームワークは、ハイブリッド同期・非同期フレームワーク内で動作する：

• 同期型ショートターム・モジュール： 即時的なインタラクションの末尾（$S_{short}$）をリアルタイムでエンコードする。
• 非同期型ロングターム・モジュール： 提案されたSIDと圧縮Transformerを用いて、超長大なシーケンス（$S_{long}$）をモデリングする。両モジュールは、表現が共通の潜在空間にマッピングされるよう、同一のバックボーンと最適化目的を共有し、特徴量の不整合を防ぐ。

3. 主な貢献

1. 大規模なセマンティック・ネイティブ表現： RQ-VAEベースのSIDsと深度限定バイグラム戦略を用いた、大規模な産業実装。これにより、埋め込みのストレージをコーパスサイズから切り離し、コールドスタート・コンテンツへの汎化性能を大幅に向上させた。
2. 高表現力かつ効率的なシーケンス・アーキテクチャ： 非パラメトリックなテンポラル・フォールディングを利用した、グローバル認識型圧縮Transformer。これにより、超長大なシーケンス内の複雑なローカル・インタラクションを捉えるための特徴量次元を拡張しつつ、計算複雑性を性能を損なうことなく削減した。
3. 大規模な産業的検証： 数十億のユーザーを擁する主要な短尺動画プラットフォームにおける厳格なオフラインおよびオンライン評価を実施し、メモリと計算コストの大幅な削減とともに、オンライン指標の顕著な向上を実証した。

4. 実験結果

本フレームワークは、シーケンス長 $L=2000$ のプロダクション・トラフィックにおいて、ビデオIDを用いた最新のSOTA（State-of-the-Art）ベースラインと比較評価された。

• Semantic IDの有効性： ビデオIDをバイグラムSIDs（$L=160$）に置き換えた結果、満足視聴数（Satisfied Views）で +0.86%、フレッシュネス（最近アップロードされたコンテンツに対する満足視聴）で +6.81% の上昇が見られ、コールドスタートへの汎化性能の向上が確認された。また、埋め込みパラメータを 38.07%、ストレージサイズを 39.33% 削減した。
• スケーラビリティ： オフラインAUCは、シーケンス長が400から2000へとスケールするにつれて、一貫した単調増加を示した。モデルは、幅（隠れ次元）と深さ（レイヤー）の増加から大きな恩恵を受けており、複雑なインタラクションパターンを捉える能力が検証された。
• 効率性とパフォーマンス： $k=4$ のテンポラル・フォールディングは、パレート改善を達成した：
  • 学習ステップ時間： 83.9% 削減（41.1ms $\to$ 6.6ms）。
  • ピーク活性化メモリ： 92.2% 削減（5758 MiB $\to$ 448 MiB）。
  • 精度： 圧縮にもかかわらず、AUCは（Task 1で）+0.06%、（Task 2で）+0.15% 向上した。これは、ローカルなデノイジングと拡張された特徴量の表現力によるものである。
• システム全体への影響： 包括的なアップグレード（SID + 圧縮 + $L=2000$）は、以下のオンライン上の利得をもたらした：
  • アクティブ・エンゲージメント・ユーザー： +0.52%
  • 満足視聴時間： +1.42%
  • 満足視聴数： +1.08%

5. 意義と主張

本論文は、次世代の無限コンテキスト・レコメンデーション・エンジンのための実用的なブループリントを提供すると主張している。セマンティック表現による語彙のボトルネック解消と、構造的再編成（テンポラル・フォールディング）による計算のボトルネック解消を通じて、著者らは、膨大なリソースコストをかけることなく、数十億ユーザー規模での超長大なシーケンス・モデリングが可能であることを示した。

本研究は、コンテンツ・ネイティブな表現と効率的な圧縮の相乗効果により、従来のベースラインモデルでは到達できなかった、より豊かで長期的なユーザー・インタレスト・シグナルを捉えられることを断言している。著者らはこれを、**大規模レコメンデーションモデル（LRM）**への一歩として位置づけており、将来的にはシーケンスのスケーリング則やハードウェア・アルゴリズムの協調設計（hardware-algorithm co-design）についてさらなる調査を行うとしている。