💻 computer science

Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale

Dit artikel introduceert een versieerde late materialisatieparadigma dat data-redundantie in training met ultra-lange sequenties elimineert door gebruikersinteractiegeschiedenis één keer op te slaan en sequenties just-in-time te reconstrueren, waardoor opslag- en I/O-flessenhalsen worden overwonnen om schaalbare, hoogwaardige Deep Learning-aanbevelingsmodellen mogelijk te maken.

Oorspronkelijke auteurs: Liang Guo, Ge Song, Litao Deng, Jianhui Sun, Chufeng Hu, Lu Zhang, Zhen Ma, Shouwei Chen, Weiran Liu, Sarang Masti Sreeshylan, Xiaoxuan Meng

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Liang Guo, Ge Song, Litao Deng, Jianhui Sun, Chufeng Hu, Lu Zhang, Zhen Ma, Shouwei Chen, Weiran Liu, Sarang Masti Sreeshylan, Xiaoxuan Meng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek runt waar je een super slimme robot (het AI-model) wilt leren hoe hij de perfecte film moet aanbevelen aan elke persoon die binnenkomt.

Hiervoor moet de robot de volledige geschiedenis van een gebruiker kennen: wat ze hebben bekeken, leuk vonden of hebben overgeslagen in de afgelopen paar jaar. Dit heet de Gebruikersinteractiegeschiedenis (UIH).

De Oude Manier: Het "Dikke Rij" Probleem

In het verleden had de bibliotheek een zeer inefficiënte manier om dit te organiseren. Elke keer als de robot een gebruiker moest bestuderen, kopieerden de bibliothecarissen die volledige geschiedenis van de gebruiker en plakte deze op één enkel vel papier voor die specifieke studiesessie.

Als de robot 1.000 verschillende gebruikers moest bestuderen, en elke gebruiker een geschiedenis had van 10.000 gebeurtenissen, moesten de bibliothecarissen 1.000 aparte vellen maken, elk met 10.000 herhaalde feiten.

Het Probleem: Dit creëerde een "Dikke Rij" aan data. De bibliotheek raakte zijn plankruimte (opslag) kwijt en de bibliothecarissen besteedden al hun tijd aan het kopiëren van papieren (I/O) in plaats van de robot daadwerkelijk te onderwijzen.
De Bottleneck: De kosten voor het kopiëren en opslaan van deze enorme, redundante geschiedenissen werden zo hoog dat het eigenlijk meer kostte dan de computers (GPU's) die werden gebruikt om de robot te trainen. Het was alsof je meer geld uitgeeft aan fotokopieerpapier dan aan de leraar.

De Nieuwe Oplossing: Versiebeheerde Late Materialisatie

De auteurs bij Meta realiseerden zich dat ze niet elke keer de geschiedenis hoefden te fotokopiëren. Ze beseften dat de geschiedenis van een gebruiker lijkt op een eenrichtingsstraat: je voegt nieuwe gebeurtenissen toe aan het einde, maar je gaat nooit terug om het verleden te veranderen.

Ze bedachten een nieuw systeem genaamd Versiebeheerde Late Materialisatie. Hier is hoe het werkt met een eenvoudige analogie:

1. Het Enige Meesterboek (Genormaliseerde Opslag)
In plaats van de geschiedenis voor elke student te fotokopiëren, houdt de bibliotheek één enkel, perfect Meesterboek bij van de geschiedenis van elke gebruiker. Dit boek wordt één keer per dag bijgewerkt en daarna nooit meer veranderd (het is "onveranderlijk").

2. Het Kleine Indexkaartje (Versiegebonden Pointers)
Wanneer de robot een specifieke gebruiker op een specifiek moment moet bestuderen (bijvoorbeeld: "Wat wist Gebruiker A op dinsdag om 14:00 uur?"), kopiëren de bibliothecarissen niet het hele boek. In plaats daarvan schrijven ze een klein Indexkaartje voor die trainsessie.

Het kaartje zegt alleen: "Ga naar het Meesterboek, kijk naar pagina's 100 tot 500, en stop bij het item voor 14:00 uur."
Dit kaartje is klein (lichtgewicht metadata) in vergelijking met het hele boek.

3. Net-Tijd Reconstructie
Wanneer de robot klaar is om te leren, slaat het systeem snel de exacte pagina's in het Meesterboek om met behulp van het Indexkaartje en stelt de geschiedenis op dat moment samen. Dit is "Late Materialisatie"—het bouwen van de data alleen wanneer deze daadwerkelijk nodig is, niet van tevoren.

Waarom Dit Een Game-Changer Is

Het Oplossen van "Toekomstlekkage" (Het Tijdreizen Probleem)
In aanbevelingssystemen moet je oppassen dat de robot niet "valt" door gebeurtenissen te zien die na het moment plaatsvonden waarop hij een beslissing moest nemen.

Het nieuwe systeem gebruikt een "Tijdreizen"-protocol. Het Indexkaartje vergrendelt de tijd. Zelfs als het Meesterboek later wordt bijgewerkt met nieuwe gebeurtenissen, ziet de robot alleen de versie van het boek die op dat specifieke moment in het verleden bestond. Het zorgt ervoor dat de robot precies leert wat een mens in real-time zou hebben gezien.

Het Multi-Tenant Voordeel (Verschillende Klasgroottes)
Stel je voor dat de bibliotheek twee soorten studenten bedient:

Student A moet de laatste 10.000 pagina's lezen (een complex model).
Student B heeft alleen de laatste 100 pagina's nodig (een simpel model).
De Oude Manier: Beide studenten kregen een fotokopie van de volledige 10.000 pagina's. Student B verloor tijd met het lezen van pagina's die ze niet nodig hadden.
De Nieuwe Manier: Het Indexkaartje van Student B zegt alleen "Lees pagina's 100 tot 200". Het systeem haalt alleen die specifieke pagina's op. Dit bespaart een enorme hoeveelheid energie en tijd.

De Resultaten

Door over te stappen van "alles fotokopiëren" naar "indexkaartjes gebruiken om specifieke pagina's op te halen", bereikte Meta:

Enorme Besparingen: Ze verlaagden de hoeveelheid data die ze moesten opslaan en verplaatsen met bijna 50%.
Snellere Training: De computers (GPU's) stopten met wachten op data en begonnen sneller te leren.
Betere Robots: Omdat ze eindelijk de robot veel langere geschiedenissen konden voeden (tot wel 64.000 gebeurtenissen in plaats van slechts 4.000), werd de robot aanzienlijk beter in het aanbevelen van content.

Kortom: Ze stopten met het verspillen van geld en tijd door steeds weer dezelfde geschiedenis te kopiëren. In plaats daarvan bouwden ze een slim, tijdreizend archiefsysteem dat de AI precies laat lezen wat het nodig heeft, precies wanneer het het nodig heeft, wat leidt tot slimmere aanbevelingen zonder de bank te breken.

1. Probleemstelling: De "Fat Row"-bottleneck

Moderne Deep Learning Recommendation Models (DLRM's) volgen schaalwetten waarbij de modelkwaliteit monotoon verbetert met langere User Interaction History (UIH)-sequenties (van $10^4$ naar $10^5+$ events). De industriestandaard voor het verwerken van deze data creëert echter een kritieke infrastructuur-bottleneck, bekend als het "Fat Row"-probleem.

Pre-Materialisatie-redundantie: Huidige systemen dupliceren fysiek (pre-materialiseren) de volledige UIH-sequentie in elk enkel trainingsvoorbeeld om Online-naar-Offline (O2O)-consistentie te waarborgen.
K-voudige versterking: Als een gebruiker $N$ dagen geschiedenis heeft en $K$ ranking-verzoeken genereert binnen een terugkijkvenster, wordt dezelfde historische data $K$ keer opgeslagen. Dit leidt tot enorme opslag- en I/O-redundantie.
De resourcemuur: Naarmate sequentielengtes toenemen, overschrijdt het resourceverbruik van data-ondersteunende diensten (opslag, inname, voorverwerking) de capaciteit van GPU-trainingclusters. Dit creëert een val van "afnemende meeropbrengst" waarbij infrastructuurkosten de mogelijkheid om sequentielengtes te schalen beperken, wat de adoptie van next-generation architecturen zoals HSTU en ULTRA-HSTU effectief verhindert.
Multi-tenantstraf: In gedeelde union-datasets die meerdere model-tenants bedienen (bijv. retrieval- versus ranking-modellen met verschillende behoeften qua sequentielengte), dwingt het "Fat Row"-paradigma alle modellen om de maximale sequentielengte te lezen, wat onnodige I/O-versterking veroorzaakt voor modellen met kortere sequenties.

2. Methodologie: Versioned Late Materialization

De auteurs stellen een paradigma-shift voor van opslag-zware pre-materialisatie naar een rekenkracht-gerichte late materialisatie-aanpak. De kerninzicht is dat UIH een append-only, temporair geordende, onveranderlijke sequentie is. Daarom kan de exacte staat van de geschiedenis van een gebruiker op elk inferentiemoment $t$ deterministisch worden gereconstrueerd zonder fysieke snapshots op te slaan.

A. Het protocol

Het systeem hanteert een bifurceerd protocol om O2O-consistentie te waarborgen en toekomstige lekken te voorkomen:

Snapshotting op inferentiemoment:
- In plaats van de volledige UIH te loggen, logt het systeem alleen lichtgewicht versiemetadata (temporele grenzen start_ts, end_ts, sequentielengte en een checksum) naast het mutabele (recente) UIH-gedeelte.
- Dit ontkoppelt de schrijfgroei bij logging van de totale sequentielengte ( $O(1)$ metadata versus $O(seq\_length)$ data).
Reconstructie op trainingsmoment:
- Tijdens de voorverwerking van trainingsdata voert het systeem een "Time-Travel"-reconstructie uit.
- Het haalt het recente mutabele UIH uit het trainingsvoorbeeld op en voert een begrende range-scan uit tegen een genormaliseerde, onveranderlijke UIH-opslag met behulp van de gelogde temporele grenzen.
- De twee componenten worden samengevoegd om de exacte staat op het inferentiemoment te reconstrueren.

B. Opslagarchitectuur

Hybride opslag:
- Mutabele UIH: Een real-time opslag voor recente events (freshness op secondenniveau), die alleen tijdens inferentie wordt opgeroepen.
- Onveranderlijke UIH: Een genormaliseerde, lees-geoptimaliseerde opslag voor lange-termijn geschiedenis. Het gebruikt een single-level lay-out met vooraf gesorteerde, chronologisch geordende bestanden om puur sequentiële I/O tijdens range-scans te waarborgen.
Meerdimensionale projectie: De onveranderlijke opslag organiseert data op basis van user_id, feature_group en subsequence_timestamp. Dit stelt het systeem in staat projecties op de opslagslaag door te schuiven:
- Projectie van sequentielengte: Korte modellen scannen alleen het vereiste aantal temporele strepen.
- Projectie van feature-groep: Modellen lezen alleen de relevante feature-kolommen.
Trait-bewuste codering: Gebruik van kolommatige codering (delta-encoding, bitmaps, dictionary-compressie) om om te gaan met spaarzame versus dichte features, wat selectieve decoding op byte-niveau mogelijk maakt.

C. Optimalisatie van de trainingspijplijn

Om te voorkomen dat het reconstructieproces GPU-training stopt (GPU-starvation), implementeert het systeem:

Gedissocieerde data-voorverwerking (DPP): Zware I/O en decoding worden uitbesteed aan een apart, elastisch schaalbaar cluster van voorverwerkingsworkers.
Gepipelined I/O-prefetching: Het lezen van de volgende trainingsbatch overlapt met de sequentie-opzoeking van de huidige batch om latentie te maskeren.
Data-affiniteit-sharding: Zorgt ervoor dat trainingsvoorbeelden en hun bijbehorende UIH-data op dezelfde opslag-shard wonen (via identieke hash-partitionering), wat netwerk-fanout minimaliseert en de cache-hit-rates voor batch-taken maximaliseert.

3. Belangrijkste bijdragen

Formalisatie van het Fat Row-probleem: Kwantitatieve analyse die aantoont dat redundantie door pre-materialisatie van UIH het gebruik van data-infrastructuur drijft buiten de capaciteit van GPU-training, waardoor modelschaling wordt beperkt.
Protocol voor Versioned Late Materialization: Een uniforme oplossing voor zowel streaming- als batch-training die O2O-consistentie garandeert en toekomstige lekken voorkomt met behulp van lichtgewicht versiemetadata en temporele predicaten.
Productie-klaar architectuur: Een systeem dat lees-geoptimaliseerde onveranderlijke opslag, multi-tenant projectie-pushdown en gedissocieerde voorverwerking combineert om reconstructielatentie te maskeren, waardoor de trainingsdoorvoer GPU-beperkt blijft.
Schaal-implementatie: Succesvolle implementatie op Meta's productie-DLRM's, waardoor agressieve schaling van sequentielengte (tot $10^5$ events) mogelijk is met een vermindering van het gebruik van infrastructuurresources.

4. Resultaten

Het systeem werd geëvalueerd over drie model-tenants die een union-dataset delen en twee productie-recommendatieplatforms.

Systeem-efficiëntie:
- Schrijfbandbreedte: De primaire schrijfbandbreedte is met 46,2% verminderd door $K$ -voudige redundantie te elimineren.
- Leesbandbreedte: De leesbandbreedte per taak is met 47–70% verminderd. Modellen met kortere sequenties (B en C) zagen verdere winst (tot 70% reductie) door projectie-pushdown.
- Latentie: Ondanks het toevoegen van sequentie-opzoekingen, behield het systeem een lage latentie. Model A (lange sequentie) zag slechts een 9,7% toename in laadlatentie voor data, wat werd opgevangen door elastische DPP-schaling. Modellen B en C zagen 26–36% verbetering in latentie door projectie-pushdown.
- Doorvoer: De onveranderlijke opslag leverde 3,4× hogere leesdoorvoer per eenheid host-resource in vergelijking met de baseline append-only opslag.
Modelprestaties:
- Doorbraak in schaling: Het systeem brak door de "Fat Row-muur" (waarbij datakosten de GPU-kosten overstijgen bij een sequentielengte van ~4K).
- Kwaliteitswinst:
  - Platform A: Bereikte een extra 1,2% cumulatieve Normalized Entropy (NE)-winst door schaling van 4K naar 64K events (totaal >5% winst).
  - Platform B: Bereikte 0,65% NE-winst bij schaling van 4K naar 10K events.
- Online impact: A/B-tests bevestigden significante verbeteringen in engagement-metrics (Topline, Consumption, Explicit Engagement) bij schaling van sequentielengtes, winsten die voorheen onmogelijk waren onder het Fat Row-paradigma.

5. Betekenis

Dit paper stelt vast dat data-infrastructuur een eerste klas schaalhefboom is voor recommendation systems, complementair aan vooruitgang in modelarchitectuur. Door UIH te behandelen als een onveranderlijke, versie-gecontroleerde sequentie in plaats van een statisch snapshot, hebben de auteurs de opslag- en I/O-muren geëlimineerd die de industrie eerder verhinderden om te trainen op ultra-lange sequenties. Dit paradigma maakt de praktische implementatie van generatieve recommendation frameworks en sequentiële transducers met biljoenen parameters mogelijk, waardoor aanzienlijke verbeteringen in modelkwaliteit worden ontsloten die voorheen kostenprohibitief waren.