💻 computer science

Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale

Dieser Beitrag stellt ein versioniertes Paradigma der späten Materialisierung vor, das Datenredundanz beim Training mit ultralangen Sequenzen eliminiert, indem es die Benutzerinteraktionshistorie einmalig speichert und Sequenzen just-in-time rekonstruiert, wodurch Speicher- und E/A-Engpässe überwunden werden, um skalierbare, hochwertige Deep-Learning-Empfehlungsmodelle zu ermöglichen.

Ursprüngliche Autoren: Liang Guo, Ge Song, Litao Deng, Jianhui Sun, Chufeng Hu, Lu Zhang, Zhen Ma, Shouwei Chen, Weiran Liu, Sarang Masti Sreeshylan, Xiaoxuan Meng

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Liang Guo, Ge Song, Litao Deng, Jianhui Sun, Chufeng Hu, Lu Zhang, Zhen Ma, Shouwei Chen, Weiran Liu, Sarang Masti Sreeshylan, Xiaoxuan Meng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige Bibliothek, in der Sie einem superschlauen Roboter (dem KI-Modell) beibringen möchten, jedem einzelnen Besucher den perfekten Film zu empfehlen.

Dafür muss der Roboter die gesamte Historie eines Nutzers kennen: was er in den letzten Jahren gesehen, gemocht oder übersprungen hat. Dies wird als User Interaction History (UIH) bezeichnet.

Der alte Weg: Das Problem der „dicken Zeile"

In der Vergangenheit organisierte die Bibliothek dies auf sehr ineffiziente Weise. Jedes Mal, wenn der Roboter einen Nutzer studieren musste, kopierten die Bibliothekare die gesamte Historie dieses Nutzers und klebten sie für diese spezifische Lernsession auf ein einziges Blatt Papier.

Wenn der Roboter 1.000 verschiedene Nutzer studieren musste und jeder Nutzer eine Historie von 10.000 Ereignissen hatte, mussten die Bibliothekare 1.000 separate Blätter erstellen, die jeweils 10.000 wiederholte Fakten enthielten.

Das Problem: Dies erzeugte eine „dicke Zeile" (Fat Row) an Daten. Der Bibliothek ging der Regalplatz (Speicher) aus, und die Bibliothekare verbrachten ihre ganze Zeit damit, Papiere zu kopieren (I/O), anstatt dem Roboter tatsächlich beizubringen.
Der Engpass: Die Kosten für das Kopieren und Speichern dieser massiven, redundanten Historien wurden so hoch, dass sie tatsächlich mehr kosteten als die Computer (GPUs), die zum Trainieren des Roboters verwendet wurden. Es war, als würde man mehr Geld für Fotokopierpapier ausgeben als für den Lehrer.

Die neue Lösung: Versionierte späte Materialisierung

Die Autoren bei Meta erkannten, dass sie die Historie nicht jedes Mal neu kopieren mussten. Sie stellten fest, dass die Historie eines Nutzers wie eine Einbahnstraße ist: Man fügt neue Ereignisse am Ende hinzu, geht aber nie zurück und ändert die Vergangenheit.

Sie entwickelten ein neues System namens Versioned Late Materialization. So funktioniert es anhand einer einfachen Analogie:

1. Das einzelne Master-Buch (Normalisierter Speicher)
Anstatt die Historie für jeden Schüler zu fotokopieren, führt die Bibliothek ein einziges, perfektes Master-Buch mit der Historie jedes Nutzers. Dieses Buch wird einmal täglich aktualisiert und danach nie mehr verändert (es ist „unveränderlich").

2. Die winzige Indexkarte (Versionierte Zeiger)
Wenn der Roboter einen bestimmten Nutzer zu einem bestimmten Zeitpunkt studieren muss (zum Beispiel: „Was wusste Nutzer A am Dienstag um 14 Uhr?"), kopieren die Bibliothekare nicht das ganze Buch. Stattdessen schreiben sie eine winzige Indexkarte für diese Trainingssession.

Die Karte besagt lediglich: „Gehen Sie zum Master-Buch, schauen Sie auf die Seiten 100 bis 500 und stoppen Sie beim Eintrag um 14 Uhr."
Diese Karte ist winzig (leichtgewichtiges Metadaten) im Vergleich zum ganzen Buch.

3. Just-in-Time-Rekonstruktion
Wenn der Roboter bereit ist zu lernen, blättert das System mithilfe der Indexkarte schnell genau zu den richtigen Seiten im Master-Buch und stellt die Historie genau dann und dort zusammen. Dies ist „Late Materialization" – die Daten werden erst erstellt, wenn sie tatsächlich benötigt werden, nicht vorher.

Warum dies ein Game-Changer ist

Lösung des „Future Leak" (Das Zeitreiseproblem)
Bei Empfehlungssystemen müssen Sie darauf achten, dass der Roboter nicht „schummelt", indem er Ereignisse sieht, die nach dem Moment stattfanden, zu dem er eine Entscheidung treffen sollte.

Das neue System verwendet ein „Zeitreise"-Protokoll. Die Indexkarte sperrt die Zeit. Selbst wenn das Master-Buch später mit neuen Ereignissen aktualisiert wird, sieht der Roboter nur die Version des Buches, die zu diesem spezifischen Moment in der Vergangenheit existierte. Es stellt sicher, dass der Roboter genau das lernt, was ein Mensch in Echtzeit gesehen hätte.

Der Multi-Tenant-Vorteil (Unterschiedliche Klassengrößen)
Stellen Sie sich vor, die Bibliothek bedient zwei Arten von Schülern:

Schüler A muss die letzten 10.000 Seiten lesen (ein komplexes Modell).
Schüler B benötigt nur die letzten 100 Seiten (ein einfaches Modell).
Der alte Weg: Beide Schüler erhielten eine Fotokopie der vollen 10.000 Seiten. Schüler B verschwendete Zeit damit, Seiten zu lesen, die er nicht brauchte.
Der neue Weg: Die Indexkarte von Schüler B besagt einfach: „Lesen Sie Seiten 100 bis 200." Das System holt nur diese spezifischen Seiten. Dies spart eine enorme Menge an Energie und Zeit.

Die Ergebnisse

Durch den Wechsel vom „Fotokopieren von allem" zum „Verwenden von Indexkarten zum Abrufen spezifischer Seiten" erreichte Meta:

Riesige Einsparungen: Sie reduzierten die Menge der zu speichernden und zu bewegenden Daten um fast 50 %.
Schnelleres Training: Die Computer (GPUs) warteten nicht mehr auf Daten und begannen schneller zu lernen.
Bessere Roboter: Da sie sich endlich leisten konnten, dem Roboter viel längere Historien zu geben (bis zu 64.000 Ereignisse statt nur 4.000), wurde der Roboter erheblich besser darin, Inhalte zu empfehlen.

Kurz gesagt: Sie hörten auf, Geld und Zeit damit zu verschwenden, dieselbe Historie immer wieder zu kopieren. Stattdessen bauten sie ein intelligentes, zeitreisendes Ablagesystem, das der KI erlaubt, genau das zu lesen, was sie braucht, genau dann, wenn sie es braucht, was zu besseren Empfehlungen führt, ohne die Bank zu sprengen.

1. Problemstellung: Die „Fat Row"-Engpass

Moderne Deep-Learning-Empfehlungsmodelle (DLRMs) folgen Skalierungsgesetzen, bei denen sich die Modellqualität mit längeren Sequenzen der Nutzerinteraktionshistorie (UIH) monoton verbessert (von $10^4$ auf $10^5+$ Ereignisse). Der branchenübliche Ansatz zur Handhabung dieser Daten erzeugt jedoch einen kritischen Infrastruktur-Engpass, der als „Fat Row"-Problem bekannt ist.

Redundanz durch Vor-Materialisierung: Aktuelle Systeme duplizieren die gesamte UIH-Sequenz physisch (vor-materialisieren) in jedes einzelne Trainingsbeispiel, um Online-zu-Offline (O2O)-Konsistenz sicherzustellen.
K-Fold-Verstärkung: Wenn ein Nutzer $N$ Tage Historie hat und innerhalb eines Lookback-Fensters $K$ Ranking-Anfragen generiert, werden dieselben historischen Daten $K$ -mal gespeichert. Dies führt zu massiver Speicher- und I/O-Redundanz.
Die Ressourcenmauer: Mit zunehmender Sequenzlänge übersteigt der Ressourcenverbrauch der datenunterstützenden Dienste (Speicher, Erfassung, Vorverarbeitung) die Kapazität von GPU-Trainingsclustern. Dies erzeugt eine Falle mit abnehmenden Erträgen, bei der Infrastrukturkosten die Fähigkeit zur Skalierung der Sequenzlängen begrenzen und die Einführung neuer Architekturen wie HSTU und ULTRA-HSTU effektiv verhindern.
Multi-Tenant-Strafe: In geteilten Union-Datensätzen, die mehrere Modell-Mandanten bedienen (z. B. Retrieval- vs. Ranking-Modelle mit unterschiedlichen Sequenzlängenbedürfnissen), zwingt das „Fat Row"-Paradigma alle Modelle, die maximale Sequenzlänge zu lesen, was zu unnötiger I/O-Verstärkung für Modelle mit kürzeren Sequenzen führt.

2. Methodik: Versionierte späte Materialisierung

Die Autoren schlagen einen Paradigmenwechsel von der speicherintensiven Vor-Materialisierung zu einem rechenzentrierten Ansatz der späten Materialisierung vor. Die Kernidee ist, dass UIH eine append-only, zeitlich geordnete, unveränderliche Sequenz ist. Daher kann der exakte Zustand der Historie eines Nutzers zu jedem Inferenzzeitpunkt $t$ deterministisch rekonstruiert werden, ohne physische Snapshots zu speichern.

A. Das Protokoll

Das System verwendet ein bifurziertes Protokoll, um O2O-Konsistenz sicherzustellen und zukünftige Datenlecks zu verhindern:

Snapshot-Bildung zur Inferenzzeit:
- Anstatt die gesamte UIH zu protokollieren, erfasst das System nur leichtgewichtige Versionsmetadaten (zeitliche Grenzen start_ts, end_ts, Sequenzlänge und eine Prüfsumme) neben dem veränderlichen (aktuellen) UIH-Anteil.
- Dies entkoppelt die Schreibverstärkung beim Protokollieren von der gesamten Sequenzlänge ( $O(1)$ Metadaten vs. $O(seq\_length)$ Daten).
Rekonstruktion zur Trainingszeit:
- Während der Vorverarbeitung der Trainingsdaten führt das System eine „Time-Travel"-Rekonstruktion durch.
- Es ruft den aktuellen veränderlichen UIH aus dem Trainingsbeispiel ab und führt einen begrenzten Bereichsscan gegen einen normalisierten, unveränderlichen UIH-Speicher unter Verwendung der protokollierten zeitlichen Grenzen durch.
- Die beiden Komponenten werden verkettet, um den exakten Zustand zur Inferenzzeit neu zu erstellen.

B. Speicherarchitektur

Hybrider Speicher:
- Veränderlicher UIH: Ein Echtzeitspeicher für aktuelle Ereignisse (Aktualität auf Sekundenebene), der nur während der Inferenz abgerufen wird.
- Unveränderlicher UIH: Ein normalisierter, leseoptimierter Speicher für die langfristige Historie. Er verwendet ein einstufiges Layout mit vorsortierten, chronologisch geordneten Dateien, um rein sequenzielle I/O während Bereichsscans zu gewährleisten.
Mehrdimensionale Projektion: Der unveränderliche Speicher organisiert Daten nach user_id, feature_group und subsequence_timestamp. Dies ermöglicht es dem System, Projektionen auf der Speicherschicht nach unten zu drücken (Push-Down):
- Sequenzlängen-Projektion: Kürzere Modelle scannen nur die erforderliche Anzahl zeitlicher Streifen.
- Feature-Gruppen-Projektion: Modelle lesen nur relevante Featurespalten.
Merkmalsbewusste Kodierung: Verwendet spaltenorientierte Kodierung (Delta-Kodierung, Bitmaps, Wörterbuchkomprimierung), um mit spärlichen versus dichten Features umzugehen und eine selektive Dekodierung auf Byte-Ebene zu ermöglichen.

C. Optimierung der Trainingspipeline

Um zu verhindern, dass der Rekonstruktionsprozess das GPU-Training zum Stillstand bringt (GPU-Verhungern), implementiert das System:

Disaggregierte Datenvorverarbeitung (DPP): Verlagert schwere I/O- und Dekodierungsaufgaben auf einen separaten, elastisch skalierbaren Cluster von Vorverarbeitungs-Workern.
Gepipelinede I/O-Vorabholung: Überlappt das Lesen des nächsten Trainingsbatches mit der Sequenzsuche des aktuellen Batches, um Latenz zu maskieren.
Datenaffinitäts-Sharding: Stellt sicher, dass Trainingsbeispiele und ihre entsprechenden UIH-Daten auf demselben Speicher-Shard liegen (durch identische Hash-Partitionierung), wodurch das Netzwerk-Fanout minimiert und die Cache-Trefferquote für Batch-Jobs maximiert wird.

3. Hauptbeiträge

Formalisierung des Fat-Row-Problems: Quantitative Analyse, die zeigt, dass die Redundanz durch vor-materialisierte UIH die Nutzung der Dateninfrastruktur über die GPU-Trainingskapazität hinaus treibt und die Skalierung von Modellen begrenzt.
Protokoll zur versionierten späten Materialisierung: Eine einheitliche Lösung für sowohl Streaming- als auch Batch-Training, die O2O-Konsistenz garantiert und zukünftige Datenlecks mittels leichtgewichtiger Versionsmetadaten und zeitlicher Prädikate verhindert.
Produktionsreife Architektur: Ein System, das leseoptimierten unveränderlichen Speicher, Multi-Tenant-Projektions-Push-Down und disaggregierte Vorverarbeitung kombiniert, um Rekonstruktionslatenz zu maskieren und den Trainingsdurchsatz GPU-bedingt zu halten.
Skaleneinsatz: Erfolgreicher Einsatz in Meta's produktiven DLRMs, der eine aggressive Skalierung der Sequenzlängen (bis zu $10^5$ Ereignisse) ermöglicht und gleichzeitig die Nutzung von Infrastrukturressourcen reduziert.

4. Ergebnisse

Das System wurde über drei Modell-Mandanten, die einen Union-Datensatz teilen, und zwei produktive Empfehlungsplattformen hinweg evaluiert.

Systemeffizienz:
- Schreibbandbreite: Reduzierung der primären Schreibbandbreite um 46,2 % durch Eliminierung der K-Fold-Redundanz.
- Lesebandbreite: Reduzierung der pro-Job-Lesebandbreite um 47–70 %. Modelle mit kürzeren Sequenzen (B und C) erzielten weitere Gewinne (bis zu 70 % Reduktion) durch Projektions-Push-Down.
- Latenz: Trotz hinzugefügter Sequenzsuchen behielt das System eine niedrige Latenz bei. Modell A (lange Sequenz) verzeichnete nur eine 9,7 %ige Erhöhung der Datenlade-Latenz, die durch elastisches DPP-Skalieren absorbiert wurde. Modelle B und C verzeichneten 26–36 %ige Latenzverbesserungen durch Projektions-Push-Down.
- Durchsatz: Der unveränderliche Speicher lieferte 3,4× höheren Lesedurchsatz pro Einheit Host-Ressource im Vergleich zum Basis-Append-Only-Speicher.
Modellleistung:
- Skalierungsdurchbruch: Das System durchbrach die „Fat-Row-Mauer" (bei der die Datenkosten bei ca. 4K Sequenzlänge die GPU-Kosten übersteigen).
- Qualitätsgewinne:
  - Plattform A: Erzielte einen zusätzlichen 1,2 %igen kumulierten Gewinn der Normalisierten Entropie (NE) durch Skalierung von 4K auf 64K Ereignisse (Gesamtgewinn >5 %).
  - Plattform B: Erzielte einen 0,65 %igen NE-Gewinn durch Skalierung von 4K auf 10K Ereignisse.
- Online-Auswirkung: A/B-Tests bestätigten signifikante Verbesserungen bei Engagement-Metriken (Topline, Consumption, Explicit Engagement) beim Skalieren der Sequenzlängen, Gewinne, die unter dem Fat-Row-Paradigma zuvor unmöglich waren.

5. Bedeutung

Dieses Papier etabliert, dass Dateninfrastruktur ein Skalierungshebel ersten Ranges für Empfehlungssysteme ist, der ergänzend zu Fortschritten in der Modellarchitektur wirkt. Indem die Autoren die UIH als unveränderliche, versionierte Sequenz und nicht als statischen Snapshot behandeln, eliminierten sie die Speicher- und I/O-Wände, die der Industrie zuvor das Training mit ultra-langen Sequenzen verwehrten. Dieses Paradigma ermöglicht die praktische Bereitstellung generativer Empfehlungsrahmenwerke und sequenzieller Transducer mit Billionen von Parametern und erschließt signifikante Verbesserungen der Modellqualität, die zuvor aufgrund der Kosten unerschwinglich waren.