Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale

1. Énoncé du problème : Le goulot d'étranglement de la « ligne épaisse »

Les modèles modernes de recommandation par apprentissage profond (DLRM) suivent des lois d'échelle où la qualité du modèle s'améliore de manière monotone avec des séquences d'historique des interactions utilisateur (UIH) plus longues (passant de $10^4$ à $10^5+$ événements). Cependant, l'approche industrielle standard pour gérer ces données crée un goulot d'étranglement infrastructurel critique connu sous le nom de problème de la « ligne épaisse ».

• Redondance de pré-matérialisation : Les systèmes actuels dupliquent physiquement (pré-matérialisent) toute la séquence UIH dans chaque exemple d'entraînement individuel pour assurer la cohérence en ligne-vers-hors ligne (O2O).
• Amplification K-fold : Si un utilisateur dispose de $N$ jours d'historique et génère $K$ requêtes de classement dans une fenêtre de rétrospection, les mêmes données historiques sont stockées $K$ fois. Cela entraîne une redondance massive de stockage et d'E/S.
• Le mur des ressources : À mesure que les longueurs de séquence augmentent, la consommation de ressources des services de support des données (stockage, ingestion, prétraitement) dépasse la capacité des clusters d'entraînement GPU. Cela crée un piège de « rendements décroissants » où les coûts d'infrastructure limitent la capacité à augmenter les longueurs de séquence, empêchant efficacement l'adoption d'architectures de nouvelle génération comme HSTU et ULTRA-HSTU.
• Pénalité multi-locataire : Dans des ensembles de données d'union partagés servant plusieurs locataires de modèles (par exemple, modèles de récupération vs modèles de classement avec des besoins de longueur de séquence différents), le paradigme de la « ligne épaisse » force tous les modèles à lire la longueur de séquence maximale, provoquant une amplification d'E/S inutile pour les modèles à séquences plus courtes.

2. Méthodologie : Matérialisation tardive versionnée

Les auteurs proposent un changement de paradigme, passant d'une pré-matérialisation lourde en stockage à une approche de matérialisation tardive centrée sur le calcul. L'idée centrale est que l'UIH est une séquence append-only, ordonnée temporellement et immuable. Par conséquent, l'état exact de l'historique d'un utilisateur à tout moment d'inférence $t$ peut être reconstruit de manière déterministe sans stocker de snapshots physiques.

A. Le protocole

Le système emploie un protocole bifurqué pour assurer la cohérence O2O et prévenir les fuites futures :

1. Instantanéisation au moment de l'inférence :
   • Au lieu de journaliser l'UIH complet, le système ne journalise que des métadonnées de version légères (limites temporelles start_ts, end_ts, longueur de séquence et somme de contrôle) à côté de la partie UIH mutable (récente).
   • Cela découple l'amplification des écritures de journalisation de la longueur totale de la séquence (métadonnées $O(1)$ vs données $O(seq\_length)$).
2. Reconstruction au moment de l'entraînement :
   • Lors du prétraitement des données d'entraînement, le système effectue une reconstruction de type « voyage dans le temps ».
   • Il récupère l'UIH mutable récente de l'exemple d'entraînement et émet un scan de plage borné contre un magasin UIH immuable et normalisé en utilisant les limites temporelles journalisées.
   • Les deux composants sont concaténés pour recréer l'état exact du moment de l'inférence.

B. Architecture de stockage

• Stockage hybride :
  • UIH mutable : Un magasin temps réel pour les événements récents (fraîcheur au niveau de la seconde), accessible uniquement lors de l'inférence.
  • UIH immuable : Un magasin normalisé, optimisé pour la lecture, pour l'historique à long terme. Il utilise une disposition à niveau unique avec des fichiers prétriés et ordonnés chronologiquement pour garantir des E/S purement séquentielles lors des scans de plage.
• Projection multidimensionnelle : Le magasin immuable organise les données par user_id, feature_group et subsequence_timestamp. Cela permet au système de pousser les projections au niveau du stockage :
  • Projection de longueur de séquence : Les modèles plus courts ne scannent que le nombre requis de bandes temporelles.
  • Projection de groupe de fonctionnalités : Les modèles ne lisent que les colonnes de fonctionnalités pertinentes.
• Encodage conscient des traits : Utilise un encodage en colonnes (encodage delta, bitmaps, compression de dictionnaire) pour gérer les fonctionnalités rares par rapport aux denses, permettant un décodage sélectif au niveau du byte.

C. Optimisation du pipeline d'entraînement

Pour empêcher le processus de reconstruction de bloquer l'entraînement GPU (famine de GPU), le système met en œuvre :

• Prétraitement des données disjonctif (DPP) : Délègue les E/S lourdes et le décodage à un cluster séparé et élastiquement extensible de travailleurs de prétraitement.
• Préchargement pipeliné des E/S : Fait chevaucher la lecture du prochain lot d'entraînement avec la recherche de séquence du lot actuel pour masquer la latence.
• Partitionnement par affinité des données : Garantit que les exemples d'entraînement et leurs données UIH correspondantes résident sur le même fragment de stockage (via un partitionnement par hachage identique), minimisant le fanout réseau et maximisant les taux de succès du cache pour les tâches par lots.

3. Contributions clés

1. Formalisation du problème de la ligne épaisse : Analyse quantitative démontrant que la redondance de l'UIH pré-matérialisée entraîne une utilisation de l'infrastructure de données au-delà de la capacité d'entraînement GPU, limitant la mise à l'échelle des modèles.
2. Protocole de matérialisation tardive versionnée : Une solution unifiée pour l'entraînement en streaming et par lots garantissant la cohérence O2O et empêchant les fuites futures grâce à des métadonnées de version légères et des prédicats temporels.
3. Architecture de niveau production : Un système combinant un stockage immuable optimisé pour la lecture, une poussée de projections multi-locataires et un prétraitement disjonctif pour masquer la latence de reconstruction, maintenant le débit d'entraînement limité par le GPU.
4. Déploiement à grande échelle : Déploiement réussi sur les DLRM de production de Meta, permettant une mise à l'échelle agressive de la longueur de séquence (jusqu'à $10^5$ événements) tout en réduisant l'utilisation des ressources d'infrastructure.

4. Résultats

Le système a été évalué sur trois locataires de modèles partageant un ensemble de données d'union et deux plateformes de recommandation de production.

• Efficacité du système :

  • Bande passante d'écriture : Réduction de la bande passante d'écriture principale de 46,2 % en éliminant la redondance K-fold.
  • Bande passante de lecture : Réduction de la bande passante de lecture par tâche de 47 à 70 %. Les modèles à séquences plus courtes (B et C) ont enregistré des gains supplémentaires (jusqu'à 70 % de réduction) grâce à la poussée de projections.
  • Latence : Malgré l'ajout de recherches de séquences, le système a maintenu une faible latence. Le modèle A (longue séquence) n'a enregistré qu'une augmentation de 9,7 % de la latence de chargement des données, absorbée par la mise à l'échelle élastique du DPP. Les modèles B et C ont vu des améliorations de latence de 26 à 36 % grâce à la poussée de projections.
  • Débit : Le stockage immuable a délivré un débit de lecture 3,4 fois plus élevé par unité de ressource hôte par rapport au stockage append-only de base.

• Performance du modèle :

  • Perçage de la mise à l'échelle : Le système a percé le « mur de la ligne épaisse » (où les coûts de données dépassent les coûts GPU à une longueur de séquence d'environ 4K).
  • Gains de qualité :
    • Plateforme A : A atteint un gain supplémentaire de 1,2 % d'entropie normalisée cumulée (NE) en passant de 4K à 64K événements (gain total >5 %).
    • Plateforme B : A atteint un gain de 0,65 % de NE en passant de 4K à 10K événements.
  • Impact en ligne : Les tests A/B ont confirmé des améliorations significatives des métriques d'engagement (Topline, Consumption, Explicit Engagement) lors de l'augmentation des longueurs de séquence, des gains qui étaient auparavant impossibles sous le paradigme de la ligne épaisse.

5. Importance

Ce papier établit que l'infrastructure de données est un levier de mise à l'échelle de premier ordre pour les systèmes de recommandation, complémentaire aux avancées de l'architecture des modèles. En traitant l'UIH comme une séquence immuable et versionnée plutôt que comme un snapshot statique, les auteurs ont éliminé les murs de stockage et d'E/S qui empêchaient auparavant l'industrie d'entraîner sur des séquences ultra-longues. Ce paradigme permet le déploiement pratique de cadres de recommandation génératifs et de transducteurs séquentiels à trillion de paramètres, débloquant des améliorations significatives de la qualité des modèles qui étaient auparavant prohibitives en termes de coûts.