Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale

「大規模推薦システムにおける超長系列トレーニングのためのバージョン管理付き遅延マテリアライゼーション」という論文の詳しい技術的サマリーを以下に示す。

1. 問題定義：「太い行（Fat Row）」のボトルネック

現代の深層学習推薦モデル（DLRM）は、モデルの品質がユーザー相互作用履歴（UIH）の系列長（$10^4$ から $10^5+$ イベントへ）の増加に伴い単調に向上するというスケーリング則に従う。しかし、このデータを処理するための業界標準のアプローチは、「太い行（Fat Row）」問題と呼ばれる重要なインフラのボトルネックを生み出している。

• 事前マテリアライゼーションの冗長性: 現在のシステムは、オンラインからオフライン（O2O）の一貫性を確保するために、UIH 全体を物理的に複製（事前マテリアライゼーション）し、トレーニング例のそれぞれに格納している。
• K 倍増幅: ユーザーが $N$ 日間の履歴を持ち、ルックバックウィンドウ内で $K$ 件のランキングリクエストを生成する場合、同じ履歴データが $K$ 回保存される。これにより、膨大なストレージと I/O の冗長性が生じる。
• リソースの壁: 系列長が増加するにつれ、データ支援サービス（ストレージ、取り込み、前処理）のリソース消費量が GPU トレーニングクラスターの容量を超えてしまう。これにより、「収穫逓減」の罠が生じ、インフラコストが系列長の拡張能力を制限し、HSTU や ULTRA-HSTU といった次世代アーキテクチャの採用を実質的に阻害している。
• マルチテナントのペナルティ: 複数のモデルテナント（例：異なる系列長要件を持つ検索モデルとランキングモデル）にサービスを提供する共有ユニオンデータセットにおいて、「太い行」パラダイムは、すべてのモデルに最大系列長での読み取りを強制し、短い系列のモデルにとって不要な I/O 増幅を引き起こす。

2. 手法：バージョン管理付き遅延マテリアライゼーション

著者らは、ストレージ集約型の事前マテリアライゼーションから、計算中心の遅延マテリアライゼーションアプローチへのパラダイムシフトを提案する。核心的な洞察は、UIH が付加のみで、時間的に順序付けられ、不変の系列であるという点にある。したがって、推論時点 $t$ におけるユーザー履歴の正確な状態は、物理的なスナップショットを保存することなく、決定論的に再構築可能である。

A. プロトコル

システムは、O2O 一貫性を確保し、将来のリークを防ぐために二分されたプロトコルを採用している。

1. 推論時のスナップショット化:
   • 完全な UIH をログに記録する代わりに、システムは可変（最近の）UIH 部分 alongside に、軽量なバージョンメタデータ（時間的境界 start_ts、end_ts、系列長、およびチェックサム）のみをログに記録する。
   • これにより、ログ書き込みの増幅を総系列長から切り離す（$O(seq\_length)$ のデータに対し、$O(1)$ のメタデータ）。
2. トレーニング時の再構築:
   • トレーニングデータの前処理中に、システムは「タイムトラベル」による再構築を行う。
   • トレーニング例から最近の可変 UIH を取得し、ログされた時間的境界を用いて正規化された不変 UIH ストアに対して範囲スキャンを限定して発行する。
   • この 2 つのコンポーネントを連結し、推論時の状態を正確に再構築する。

B. ストレージアーキテクチャ

• ハイブリッドストレージ:
  • 可変 UIH: 最近のイベント（秒レベルの鮮度）のためのリアルタイムストア。推論時のみアクセスされる。
  • 不変 UIH: 長期的な履歴のための正規化された読み取り最適化ストア。単一レベルのレイアウトを使用し、事前にソートされた時系列順のファイルを用いることで、範囲スキャン中の純粋な逐次 I/O を保証する。
• 多次元投影: 不変ストアは、user_id、feature_group、subsequence_timestamp によってデータを整理する。これにより、ストレージ層で投影をプッシュダウンすることが可能になる。
  • 系列長投影: 短い系列のモデルは、必要な時間的ストライプのみをスキャンする。
  • 特徴グループ投影: モデルは関連する特徴列のみを読み取る。
• 特性認識型エンコーディング: 疎な特徴と密な特徴を処理するためにカラムナエンコーディング（デルタエンコーディング、ビットマップ、辞書圧縮）を使用し、バイトレベルでの選択的デコードを可能にする。

C. トレーニングパイプラインの最適化

再構築プロセスが GPU トレーニングを停止（GPU スターベーション）させないよう、システムは以下の機能を実装している。

• 分離型データ前処理（DPP）: 重い I/O とデコードを、独立して弾力的にスケーリング可能な前処理ワーカーのクラスターにオフロードする。
• パイプライン化された I/O プリフェッチ: 次のトレーニングバッチの読み取りと、現在のバッチの系列検索を重畳させ、レイテンシを隠蔽する。
• データ親和性シャディング: トレーニング例とそれに対応する UIH データが同一のストレージシャードに存在するように保証する（同一のハッシュパーティショニングによる）。これにより、ネットワークのファンアウトを最小化し、バッチジョブのキャッシュヒット率を最大化する。

3. 主な貢献

1. 太い行問題の形式化: 事前マテリアライズされた UIH の冗長性が、データインフラの使用量を GPU トレーニング容量を超えて駆動し、モデルのスケーリングを制限することを定量的に分析して示した。
2. バージョン管理付き遅延マテリアライゼーションプロトコル: ストリーミングおよびバッチトレーニングの両方に対する統一ソリューションであり、軽量なバージョンメタデータと時間的述語を用いて O2O 一貫性を保証し、将来のリークを防ぐ。
3. プロダクショングレードのアーキテクチャ: 読み取り最適化された不変ストレージ、マルチテナント投影プッシュダウン、再構築レイテンシを隠蔽するための分離型前処理を組み合わせたシステムにより、トレーニングスループットを GPU 束縛状態に保つ。
4. 大規模展開: Meta の本番環境 DLRM での成功した展開により、インフラリソース使用量を削減しつつ、攻撃的な系列長の拡張（最大 $10^5$ イベント）を可能にした。

4. 結果

このシステムは、ユニオンデータセットを共有する 3 つのモデルテナントと、2 つの本番環境推薦プラットフォームで評価された。

• システム効率:

  • 書き込み帯域幅: $K$ 倍の冗長性を排除することで、プライマリ書き込み帯域幅を**46.2%**削減。
  • 読み込み帯域幅: ジョブあたりの読み込み帯域幅を**47〜70%**削減。投影プッシュダウンにより、短い系列のモデル（B と C）はさらに大きな改善（最大 70% の削減）を達成した。
  • レイテンシ: 系列検索を追加したにもかかわらず、システムは低いレイテンシを維持した。長い系列のモデル A は、データ読み込みレイテンシが**9.7%増加したが、これは弾力的な DPP スケーリングによって吸収された。モデル B と C は、投影プッシュダウンにより26〜36%**のレイテンシ改善を達成した。
  • スループット: 不変ストレージは、ベースラインの付加専用ストレージと比較して、ホストリソース単位あたり3.4 倍の高い読み込みスループットを提供した。

• モデル性能:

  • スケーリングの突破口: システムは「太い行の壁」（データコストが約 4K 系列長で GPU コストを上回る地点）を突破した。
  • 品質の向上:
    • プラットフォーム A: 4K から 64K イベントへのスケーリングにより、累積正規化エントロピー（NE）で**1.2%**の追加向上を達成（合計 5% 超の向上）。
    • プラットフォーム B: 4K から 10K イベントへのスケーリングにより、**0.65%**の NE 向上を達成。
  • オンライン影響: A/B テストにより、系列長をスケーリングした際にエンゲージメント指標（トップライン、消費、明示的エンゲージメント）が大幅に改善することが確認された。これは「太い行」パラダイム下では以前は不可能であった成果である。

5. 意義

この論文は、データインフラが推薦システムにおける第一級のスケールレバーであり、モデルアーキテクチャの進歩を補完するものであることを確立している。UIH を静的なスナップショットではなく、不変でバージョン管理された系列として扱うことで、著者らは業界が超長系列でのトレーニングを以前は阻んでいたストレージおよび I/O の壁を排除した。このパラダイムは、生成型推薦フレームワークやトリリオンパラメータのシーケンシャルトランスデューサーの実用的な展開を可能にし、以前はコスト的に実行不可能であったモデル品質の大幅な向上を解き放つ。