🤖 machine learning

Lakestream: A Consistent and Brokerless Data Plane for Large Foundation Model Training

Lakestream is een brokerloze, objectopslag-natieve dataplane voor de training van grote fundamentele modellen die Transactionele Globale Batches en een Gedecentraliseerd Adaptief Commit-algoritme introduceert om ACID-achtige consistentie, foutisolatie en opname met hoge doorvoer te bieden met een lagere latentie dan bestaande berichtwachtrij- of colocalisatieoplossingen.

Oorspronkelijke auteurs: Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een reusachtige, superintelligente robot (een Large Foundation Model) te leren de wereld te begrijpen. Om dit te doen, moet je enorme hoeveelheden data, zoals video's, afbeeldingen en tekst, één "batch" per keer aan de robot voeren.

In het verleden was het voeren van deze robot vergelijkbaar met een simpele transportband in een fabriek. De data was al voorverpakt in dozen, en de band verplaatste ze met een constant tempo naar de robot. Maar moderne AI is anders. De data is rommelig, enorm en verandert van grootte afhankelijk van wat erin zit. Soms moet een enkel videobestand worden uitgepakt en uitgerekt tot iets dat 1.000 keer groter is voordat de robot het kan gebruiken.

De oude transportbanden (bestaande systemen) konden hier niet mee omgaan. Ze raakten ofwel verstopt, of als één arbeider een doos liet vallen, stopte de hele fabriek.

Maak kennis met Lakestream: het "slimme, brokerloze" datavlak.

De auteurs van dit artikel hebben een nieuw systeem gebouwd dat Lakestream heet. Denk hierbij aan een revolutionaire manier om de datalevering voor deze gigantische AI-modellen te organiseren. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het probleem met de oude methoden

Het "Colocated"-probleem (De keuken in de sportschool): Stel je voor dat de robot (de trainer) gewichten tilt, en de persoon die het eten bereidt (de data-lader) direct naast hem staat in dezelfde kleine ruimte. Als de etenbereiding te lang duurt, moet de robot stoppen met tillen. Als de etenbereider struikelt en valt, stopt de robot voorgoed. Ze zijn te verstrengeld met elkaar.
Het "Message Queue"-probleem (De verwarde koerier): Stel je voor dat je een centraal postkantoor (zoals Kafka) gebruikt om data te bezorgen. Het postkantoor behandelt elk stuk papier als een aparte brief. Maar de robot heeft een volledige maaltijd (een batch) tegelijk nodig. Als het postkantoor het "kip"-gedeelte van de maaltijd op een ander tijdstip naar de ene robotarm stuurt dan het "rijst"-gedeelte naar de andere arm, raakt de robot in de war en leert het verkeerde dingen. Bovendien is het postkantoor een enkel punt van falen; als de postmeester ziek wordt, krijgt niemand te eten.

2. De Lakestream-oplossing: Een gedeelde digitale magazijn

Lakestream doet het centrale postkantoor en de benauwde keuken uit de weg. In plaats daarvan maakt het gebruik van een enorm, gedeeld Object Storage-systeem (zoals een gigantisch, oneindig digitaal magazijn, bijvoorbeeld Amazon S3) en een Versie-manifest (een hoofdkladboek).

Hier zijn de drie magische trucs die Lakestream gebruikt:

A. De "Transactionele Globale Batch" (De perfecte maaltijd)

In de oude dagen was data gewoon een stroom van individuele records. Lakestream behandelt een hele "batch" data als één ondeelbare eenheid, genaamd een Transactionele Globale Batch (TGB).

De Analogie: Stel je een chef voor die een volledig banket bereidt. Het eten is gaar en op tafel gezet, maar het is bedekt met een deksel. Het deksel is vergrendeld. Niemand kan het eten nog zien.
De Magie: Wanneer de chef zeker weet dat het hele banket klaar is, schakelt hij een schakelaar op het hoofdkladboek (het Manifest) om. Plotseling tilt het deksel zich op, en ziet elke robotarm de volledige, perfecte maaltijd op precies hetzelfde moment. Als de chef een bord laat vallen voordat hij de schakelaar omzet, blijft het deksel gesloten en ziet niemand de rommel. Dit zorgt ervoor dat iedereen altijd met dezelfde data werkt.

B. De "Decentraliseerde Adaptieve Commit" (De slimme verkeerslicht)

Wanneer veel chefs (producenten) proberen tegelijk het hoofdkladboek bij te werken, kunnen ze proberen op dezelfde pagina te schrijven, wat een conflict veroorzaakt.

De Oude Manier: Ze zouden gewoon blijven bonken op de deur tot iemand hen binnenliet, wat tijd kostte.
De Lakestream-manier (DAC): De chefs hebben een slim, zelfgeleerd ritme. Ze kijken hoe druk het kladboek is. Als het kladboek enorm wordt en updates traag verlopen, wachten ze automatisch een heel klein beetje langer voordat ze opnieuw proberen te schrijven. Als het rustig is, schrijven ze sneller. Ze doen dit zonder met elkaar te praten, alleen door naar het kladboek te kijken. Dit houdt het verkeer soepel, zelfs wanneer honderden chefs tegelijk werken.

C. De "Checkpoint-uitgelijnde Levenscyclus" (De tijdsreiskluis)

AI-modellen moeten vaak hun voortgang opslaan (checkpoint) en soms terugkeren naar een eerdere opslag om een ander pad te proberen.

Het Probleem: In oude systemen is data, zodra het opgegeten is, weg. Als je terug wilt gaan, kan dat niet.
De Lakestream-manier: Het systeem houdt een geschiedenis bij van elke geserveerde maaltijd, gekoppeld aan het specifieke "opslagpunt" van de robot. Wanneer de robot zijn voortgang opslaat, schrijft het ook een "watermerk" (een veiligheidslijn) in het kladboek. Het systeem weet dat het alle data voor die lijn veilig en wel moet houden. Het verwijdert de oude data pas wanneer het zeker weet dat geen enkel robot-opslagpunt het meer nodig heeft. Dit betekent dat je de tijd perfect kunt terugspoelen zonder je data te verliezen, en je hoeft niet te betalen voor het opslaan van data die niemand nodig heeft.

3. De resultaten

Het artikel testte dit systeem uit op 64 krachtige GPU's met enorme video- en afbeeldingsdatasets.

Snelheid: Het was 2,7 tot 7,7 keer sneller dan de beste bestaande "colocated"-systemen (waar data-bereiding en training samen plaatsvinden).
Betrouwbaarheid: Het ging veel beter om met storingen. Als een data-bereidingsarbeider crashte, bleef de robot trainen zonder te stoppen.
Efficiëntie: Het was veel sneller dan het gebruik van een centrale message queue (zoals Kafka), die moeite had om bij te blijven met de grootte en complexiteit van de data.

Samenvatting

Lakestream is vergelijkbaar met het vervangen van een chaotische, éénbaansweg door een slim, gedecentraliseerd autosnelwegsysteem. Het maakt gebruik van een gedeeld magazijn en een hoofdkladboek om ervoor te zorgen dat:

Iedereen op hetzelfde moment precies dezelfde "batch" data ontvangt.
Het systeem snel blijft bewegen, zelfs wanneer het verkeer zwaar wordt.
Je het trainingsproces kunt terugspoelen naar elk punt in de geschiedenis zonder je data te verliezen.

Het bereikt dit alles zonder dat er een centrale manager (broker) nodig is om iedereen te vertellen wat hij moet doen, waardoor het sneller, goedkoper en betrouwbaarder wordt voor het trainen van 's werelds grootste AI-modellen.

Technische Samenvatting: Lakestream

Probleemstelling

De training van moderne Large Foundation Models (LFM) heeft de vereisten voor datapipelines fundamenteel veranderd. In tegenstelling tot traditionele deep learning-werklasten die vertrouwen op statische, voorverwerkte datasets, omvat LFM-training dynamische, runtime-gekoppelde data-generatie. Deze verschuiving introduceert drie kritieke uitdagingen die bestaande systemen niet aanpakken:

Onvoorspelbaar Datavolume: Bij multimodale training (bijv. video, verweven afbeelding-tekst) en versterkingsleer ondergaan ruwe invoer zware runtime-voorverwerking (decoderen, herschalen, token-packing). Dit resulteert in data-expansiefactoren variërend van 62× tot meer dan 9.000×, waardoor statische resource-toewijzing en vooraf partitioneren onuitvoerbaar worden.
Dynamische Batch-lidmaatschap: Bij werklasten met online token-packing of modelafhankelijke steekproefselectie wordt de exacte samenstelling van een trainingsbatch pas bepaald nadat de voorverwerking is voltooid. Statische partitioneringsschema's kunnen deze grenzen niet vastleggen, waardoor een mechanisme nodig is om volledige batches atomair bloot te leggen aan alle trainingsranks.
Checkpoint-uitlijning: LFM-pipelines wisselen vaak voortraining, fine-tuning en versterkingsleer af, wat noodzakelijk maakt dat men kan terugkeren naar specifieke checkpoints en exacte batch-volgorde kan herhalen. Ephemere leveringsystemen kunnen de persistentie en versiebeheer niet garanderen die vereist zijn voor deterministisch herstel.

Bestaande oplossingen schieten tekort:

Colocated Dataloaders: Bieden semantische uitlijning maar missen falingsisolatie. Een crash in de voorverwerking blokkeert de hele taak, en gedeelde CPU/geheugen-resources creëren doorvoercapaciteitsplafonds.
Disaggregated Dataloaders (Gecentraliseerd): Koppelen voorverwerking los, maar vertrouwen op ephemere RPC-levering. Ze missen persistente geschiedenis, batch-niveau atomiciteit en mechanismen voor het herhalen van specifieke batches na fouten.
Berichtenwachten (bijv. Kafka): Opereren op een record/offset-abstractie in plaats van batch-semantiek. Ze dwingen óf uit de volgorde geleverde shards af (wat gradient-aggregatie corrumpeert) óf vereisen het downloaden van volledige batches voor elke rank (wat enorme leesversterking veroorzaakt).

Methodologie

Lakestream is een brokerloze, object-store-native trainingsdata-plane die is ontworpen om deze problemen op te lossen door principes van lakehouse-architectuur toe te passen op de trainingslus. De kernfilosofie van het ontwerp is dat de object-store het enige coördinatiemedium moet zijn, waardoor brokers, wachtrijen of centrale diensten worden geëlimineerd.

Kernabstractie: Transactionele Globale Batch (TGB)

Het systeem introduceert de Transactionele Globale Batch (TGB), een primaire persistente entiteit die elke trainingsbatch behandelt als een atomaire eenheid met duurzaamheid en globaal consistente ordening.

Materialisatie: TGB's worden geschreven als onveranderlijke objecten naar de object-store.
Manifest-gestuurde Zichtbaarheid: Het schrijven van data-objecten maakt ze niet zichtbaar. Een TGB wordt pas zichtbaar voor consumenten wanneer een gecommitteerde, versie-beheerde manifest ernaar verwijst. Dit zorgt ervoor dat alle data-parallelle ranks gelijktijdig een volledige, consistente batch waarnemen.
Indeling: TGB's zijn georganiseerd in dataslices die overeenkomen met het apparaat-mesh (Data Parallelism en Context Parallelism). Elke rank leest alleen zijn specifieke slice via gerichte range-lezingen, waardoor leesversterking wordt geëlimineerd.

Control Plane: Gedecentraliseerde Coördinatie

Lakestream bereikt coördinatie zonder centrale server via twee sleutelmecanismen:

Optimistische Concurrency Control (OCC) via Manifesten: Producenten commiten TGB's door een conditionele schrijfbewerking (bijv. If-None-Match) van een nieuwe manifestversie te proberen. Als de versienaam al is geclaimd, mislukt de schrijfbewerking en baseert de producent zijn lokale staat opnieuw op de laatst gecommitteerde manifest voordat hij het opnieuw probeert. Dit lineariseert de globale batch-volgorde zonder communicatie tussen producenten.
Gedecentraliseerde Adaptieve Commit (DAC): Om hoge doorvoer te handhaven naarmate de manifest groeit, hanteert Lakestream het DAC-algoritme. In plaats van vaste intervallen passen producenten hun commit-frequentie dynamisch aan op basis van realtime schattingen van manifest I/O-tijd en conflictfrequenties. DAC onderhoudt een expliciet "overhead-budget" en "conflict-budget", waarbij een optimale wachttijd tussen commit-pogingen wordt berekend om versheid te maximaliseren terwijl verspilde retries worden geminimaliseerd.

Lifecycle-beheer

Exact-Once Semantiek: De staat van de producent (stream-offsets) is inline opgenomen in de per-producent staatmap van de manifest. Bij een herstart kan een producent zijn exacte positie herstellen zonder data opnieuw te verwerken.
Checkpoint-uitgelijnde Herwinning: Data-retentie is direct gekoppeld aan de voortgang van gedistribueerde checkpoints. Een globale watermerk ( $W_{global}$ ) wordt afgeleid van de minimale watermerk van alle consumenten. Alle TGB's of manifestversies onder deze watermerk komen in aanmerking voor verwijdering, waardoor opslagkosten gebonden blijven terwijl wordt gegarandeerd dat data die nodig is voor elke live checkpoint niet voortijdig wordt herwonnen.

Belangrijkste Bijdragen

Brokerloze, Object-Store-Native Architectuur: Het systeem vestigt de object-store als het enige coördinatiemedium. Er zijn geen server-processen in het kritieke pad; een nieuwe trainingsrun vereist alleen een nieuw namespace-voorvoegsel.
Transactionele Globale Batch (TGB): Een nieuwe abstractie die data-zichtbaarheid verenigt met trainingsstap-semantiek, en atomische zichtbaarheid voor alle ranks, globale ordening en exact-once levering biedt, volledig via object-store-primitieven.
Gedecentraliseerde Adaptieve Commit (DAC): Een algoritme dat stabiele ingestie-doorvoer handhaaft naarmate de manifest groeit, en commit-intervallen dynamisch aanpast zonder communicatie tussen producenten.
Checkpoint-uitgelijnd Lifecycle: Een mechanisme dat data-retentie koppelt aan de voortgang van gedistribueerde checkpoints, waardoor veilige rollbacks en gebonden opslagoverhead mogelijk zijn zonder een persistente coördinatie-service.

Evaluatieresultaten

De auteurs hebben Lakestream geëvalueerd op grote schaal multimodale voortraining en Supervised Fine-Tuning (SFT) werklasten met gebruik van tot 64 GPU's (NVIDIA H200).

Doorvoer vs. Colocated Pipelines: Lakestream presteerde 2,68× tot 7,73× beter in end-to-end doorvoer dan door experts geoptimaliseerde colocated pipelines. Deze winst wordt toegeschreven aan de eliminatie van structurele resource-concurrentie (CPU/geheugen-bandbreedte-deling) tussen voorverwerking en training.
Doorvoer vs. Kafka: Lakestream presteerde aanzienlijk beter dan Apache Kafka in de ingestie-doorvoer van producenten, vooral naarmate het aantal producenten groeide. Kafka slaagde er niet in strikte TGB-semantiek te handhaven voor grote payloads (bijv. video) vanwege limieten in berichtgrootte en backpressure van de broker.
Latentie: Lakestream bereikte een lagere leslatentie voor consumenten dan Kafka. Bijvoorbeeld, in video SFT-werklasten verlaagde Lakestream de P95-latentie van ~42,7s (Lokaal) en ~9,5s (Kafka) naar 367ms.
Schalbaarheid: Het DAC-algoritme handhaafde succesvol hoge commit-succespercentages (96,3%) en doorvoer (431,9 MB/s) tijdens 5-uurs runs met 32 producenten, terwijl vaste-interval en heuristische baselines (AIMD, INCR) significant degradeerden naarmate de manifest groeide.
Leesversterking: Lakestream bereikte een leesversterking van bijna 1×, ongeacht de wereldgrootte, aangezien elke rank alleen zijn specifieke dataslice leest. In tegenstelling hiermee vertoonden Kafka en baselines met dichte lezingen een versterking die lineair schaalt met het aantal ranks (bijv. 128×).
Opslagefficiëntie: Checkpoint-gedreven herwinning verlaagde de piek-opslagcapaciteit met 72,0% (van 34,85 GiB naar 9,76 GiB) in vergelijking met runs zonder fysieke verwijdering, wat bevestigt dat watermerken opslagkosten effectief begrenzen.

Betekenis

Het artikel stelt dat Lakestream aantoont dat objectopslag, wanneer gecombineerd met versiebeheerde metadata en gedecentraliseerde coördinatie, een voldoende substraat is voor een trainingsbewuste data-plane. Door de Globale Batch te behandelen als een persistente, transactionele entiteit in plaats van een ephemere leveringsartefact, adresseert Lakestream de specifieke semantische vereisten van LFM-training—dynamisch batch-lidmaatschap, checkpoint-uitlijning en falingsisolatie—die bestaande record-gebaseerde streaming-systemen niet kunnen vervullen. Het systeem bewijst dat een brokerloze architectuur hoge doorvoer en lage latentie data-levering kan handhaven voor training van foundation modellen op grote schaal, zonder de overhead en falingsdomeinen van gecentraliseerde diensten.