Scalable and Performant Data Loading

Dit paper introduceert SPDL, een open-source bibliotheek die de prestaties van GPU-data-laden aanzienlijk verbetert door de Python GIL te omzeilen, wat resulteert in een 74% snellere verwerking van ImageNet en een lagere CPU- en geheugengebruik vergeleken met PyTorch DataLoader.

De kern

Stel je voor dat je een enorme, super-snelle keuken hebt (de GPU), waar je gerechten (AI-modellen) bereidt. Deze keuken kan eten bereiden met de snelheid van een bliksemschicht. Maar er is een groot probleem: de bezorgdienst (Data Loading) is traag.

De kok (de AI) staat de hele tijd te wachten op ingrediënten. Zolang de bezorging traag is, blijft de super-snelle keuken stil staan. Dit is precies het probleem dat het onderzoek van Meta oplost met hun nieuwe tool, SPDL.

Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Verkeersopstopping" in de Keuken

In het verleden probeerden AI-ontwikkelaars dit op te lossen door meer bezorgers aan te nemen. Maar in Python (de programmeertaal die ze gebruikten) was er een vreemde regel: er mocht maar één bezorger tegelijk de keuken in om de deur te openen. Dit heet de GIL (Global Interpreter Lock).

• De oude oplossing (Multi-processing): Omdat ze niet tegelijk mochten werken, stuurden ze bezorgers in aparte, afgesloten busjes (processen) naar de keuken.
  • Het nadeel: Elke keer als een bezorger iets binnenbracht, moest hij eerst zijn busje verlaten, de deur openen, en dan weer terug. Dit kostte veel tijd en energie (CPU-gebruik). Het was alsof je een vrachtwagen moet parkeren, uitstappen, en dan pas de goederen overhandigt.
• Het nieuwe probleem: Zelfs als ze probeerden om bezorgers in dezelfde ruimte te houden (multi-threading), blokkeerde de "één-deur-regel" (GIL) hen vaak. Ze kwamen vast te zitten in een wachtrij.

2. De Oplossing: SPDL (De Slimme Regisseur)

Meta heeft SPDL bedacht. Dit is geen nieuwe bezorger, maar een slimme regisseur die de workflow volledig herontwerpt.

Hoe werkt het?
Stel je voor dat de regisseur de bezorgers in twee groepen verdeelt:

1. De "Vrije" Bezorgers: Deze groep doet het zware werk (zoals het openen van pakketten en het snijden van groenten). De regisseur zorgt ervoor dat deze groep de "één-deur-regel" negeert en gewoon tegelijkertijd kan werken.
2. De "Regisseur" (Scheduler): Deze persoon houdt toezicht. Hij zorgt dat de bezorgers niet op elkaar gaan trappen en dat de deur niet te vaak open en dicht gaat.

De Analogie van de "Vrije Hand":
In de oude systemen moesten bezorgers wachten tot de deur open ging. Met SPDL hebben de bezorgers een magische sleutel. Zodra ze aan het werk zijn (bijvoorbeeld het decoderen van een video), mogen ze de deur open laten staan en gewoon doorgaan. Ze hoeven niet te wachten op toestemming.

3. Waarom is dit zo snel?

Het onderzoek toont aan dat SPDL drie grote voordelen heeft:

• Geen Busjes meer (Geen IPC): Omdat alles in dezelfde ruimte gebeurt (multi-threading in plaats van multi-processing), hoeven de bezorgers niet meer heen en weer te reizen tussen busjes. Ze geven de ingrediënten direct door. Dit bespaart enorm veel tijd en geheugen.
• Slimme Planning: SPDL gebruikt een systeem dat lijkt op een treinnetwerk. Als de trein (de data) klaar is, wordt hij direct naar het volgende station gestuurd. Als het station vol zit, wacht de trein even, maar de volgende trein wordt alvast voorbereid. Hierdoor stopt de kok (GPU) nooit met werken.
• Toekomstbestendig: Er komt een nieuwe versie van Python (versie 3.13t) waarbij de "één-deur-regel" helemaal wordt afgeschaft. SPDL is al klaar voor die toekomst. Je hoeft de code niet eens aan te passen; het werkt al sneller zodra die nieuwe Python-versie beschikbaar is.

4. De Resultaten in Eenvoudige Getallen

De onderzoekers hebben SPDL getest tegen de standaard tool van PyTorch (de huidige marktleider) met de ImageNet-dataset (een enorme bibliotheek van foto's):

• Snelheid: SPDL is 74% sneller. De kok krijgt continu ingrediënten, dus hij kan 74% meer gerechten per uur bereiden.
• Efficiëntie: Het gebruikt 38% minder CPU-kracht. De bezorgers zijn minder moe en maken minder ruzie over de deur.
• Geheugen: Het gebruikt 50 GB minder geheugen. Je hoeft geen enorme voorraadruimte meer aan te leggen voor de busjes.
• Toekomst: Op de nieuwe Python-versie (zonder de deur-regel) wordt het zelfs nog 33% sneller.

Conclusie

Kortom: SPDL is als het overzetten van een chaotische, traag werkende bezorgdienst met veel busjes en wachtlijnen, naar een hoog-efficiënte, gestroomlijnde assemblagelijn.

De AI-modellen hoeven niet meer te wachten. Ze krijgen hun data net zo snel als ze kunnen verwerken. En het beste van alles? Het werkt al nu, en het wordt alleen maar sneller als de programmeertaal Python in de toekomst nog verder wordt verbeterd.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Scalable and Performant Data Loading" (SPDL) in het Nederlands.

Titel: Scalable and Performant Data Loading (SPDL)

Auteurs: Moto Hira et al. (Meta Platforms, Inc.)

---

1. Het Probleem

Het trainen van ML-modellen wordt steeds vaker beperkt door de data-loading-pijplijn in plaats van door de rekenkracht van de GPU's. Naarmate modellen groter worden en datasets omvangrijker, moet data sneller van opslag naar de GPU worden getransporteerd. De huidige uitdagingen zijn:

• Coördinatiecomplexiteit: Data-loading vereist de synchronisatie van netwerkaanroepen, CPU-gebonden taken (zoals decodering en pre-processing) en GPU-overdracht.
• De GIL (Global Interpreter Lock): In Python verhindert de GIL effectief multi-threading. Dit maakt het moeilijk om prestaties te verbeteren door meerdere threads tegelijkertijd te draaien, omdat threads om de GIL concurreren.
• Nadelen van Multi-processing: Om de GIL te omzeilen, gebruiken veel oplossingen (zoals de standaard PyTorch DataLoader) multi-processing. Dit introduceert echter aanzienlijke overhead:
  • Launch time: Het starten van subprocess-workers duurt lang en vereist initialisatie van bibliotheken.
  • Inter-process communication (IPC): Data moet worden geserialiseerd en gedeserialiseerd tussen processen, wat tijd kost en geheugenverspilling veroorzaakt.
  • Geheugenconsumptie: Grote datasets (zoals lijsten met bestandspaden) worden gekopieerd naar elke worker, wat leidt tot excessief geheugengebruik.
  • Synchronisatieproblemen: Het is moeilijk om objecten tussen processen te synchroniseren of overlapvrije steekproeven te garanderen.

2. Methodologie en Ontwerp van SPDL

De auteurs introduceren SPDL, een open-source, framework-agnostische bibliotheek die is ontworpen om multi-threading effectief te benutten, zelfs onder de huidige beperkingen van Python (versies 3.12 en lager).

Kernprincipes:

• GIL-vrije Functies: SPDL leunt zwaar op functies die de GIL volledig vrijgeven tijdens de uitvoering (bijvoorbeeld in C/C++ extensies voor I/O en media-decodering).
• Geavanceerde Parallelisatie: In plaats van de hele pijplijn in subprocesses te draaien, gebruikt SPDL een thread pool voor de GIL-vrije taken.
• Schedulering en GIL-beperking:
  • Een speciale scheduler-thread (die draait in een achtergrondthread met een asynchrone event loop) deelt taken uit aan de thread pool.
  • Hierdoor wordt de concurrentie om de GIL beperkt tot slechts twee threads: de main thread en de scheduler thread. Dit minimaliseert de blokkering.
• Asynchrone Ondersteuning: SPDL maakt gebruik van Python-coroutines voor netwerkaanroepen (data acquisition). Omdat asynchrone operaties de GIL niet blokkeren, kunnen ze naadloos worden geïntegreerd.
• Architectuur:
  • Queues: De verschillende stadia (data acquisition, pre-processing, batching, transfer) zijn verbonden via queues. Dit zorgt voor back-pressure; als de downstream (GPU-training) traag is, blokkeren de upstream-taken automatisch, wat geheugenoverschrijding voorkomt.
  • Geheugenbeheer: SPDL vermijdt onnodige geheugenkopieën. Het gebruikt page-locked memory voor directe overdracht naar de GPU en bouwt batches direct in dit geheugen op.
  • Framework-agnostisch: De bibliotheek is niet gebonden aan PyTorch en werkt met TensorFlow, JAX, etc.

3. Belangrijkste Bijdragen

1. SPDL Library: Een nieuwe, open-source bibliotheek die multi-threading gebruikt in plaats van multi-processing voor data-loading, waardoor IPC-overhead en geheugenkopieën worden geëlimineerd.
2. GIL-Strategie: Een bewezen architectuur die toont dat het vrijgeven van de GIL in kritieke I/O- en verwerkingstaken, gecombineerd met een gespecialiseerde scheduler, leidt tot schaalbaarheid die dicht bij multi-processing ligt, maar zonder de nadelen daarvan.
3. Toekomstbestendigheid: De code is volledig compatibel met Free-Threaded Python (Python 3.13t). Omdat de code geen wijzigingen vereist, profiteert SPDL direct van de verdere prestatieverbeteringen die FT-Python biedt.
4. Uitgebreide Benchmarking: Een grondige vergelijking met PyTorch DataLoader, NVIDIA DALI en FFCV op ImageNet met een ViT-B/16 model.

4. Resultaten

De benchmarks zijn uitgevoerd op een AWS p4d.24xlarge instance (96 CPU cores, 8 A100 GPUs) met de ImageNet dataset.

• Snelheid: SPDL is 74% sneller dan de PyTorch DataLoader bij het itereren door ImageNet.
• CPU-efficiëntie: SPDL gebruikt 38% minder CPU dan PyTorch. Dit komt omdat PyTorch veel CPU-cycles verliest aan IPC-serialisatie, terwijl SPDL deze cycles gebruikt voor daadwerkelijke data-verwerking.
• Geheugen: SPDL gebruikt 50 GB minder geheugen dan PyTorch DataLoader, voornamelijk door het vermijden van het dupliceren van dataset-informatie in subprocessen.
• Trainingssnelheid: Bij het trainen van een ViT-B/16 model levert SPDL data aan de GPU met een snelheid die de training niet vertraagt (geen "starvation").
• Invloed van Python-versies:
  • SPDL op Python 3.12 is al aanzienlijk sneller dan PyTorch op 3.12.
  • Wanneer SPDL wordt uitgevoerd op Python 3.13t (Free-Threaded Python), verbetert de doorvoer met een extra 33% ten opzichte van Python 3.12, zonder enige code-aanpassing.
  • Totaal gezien is SPDL op 3.13t 2,1 keer sneller dan PyTorch DataLoader op 3.12.

5. Betekenis en Conclusie

Dit paper demonstreert dat data-loading niet noodzakelijkerwijs een bottleneck hoeft te zijn, zelfs niet in Python. Door slim gebruik te maken van multi-threading en het vrijgeven van de GIL in C/C++ extensies, kan SPDL de beperkingen van multi-processing (IPC, geheugen, starttijd) overwinnen.

De belangrijkste implicatie is dat ML-practitioners nu al significant betere prestaties kunnen behalen met bestaande Python-versies, en dat de weg vrij is gemaakt voor nog grotere snelheidswinsten zodra Free-Threaded Python productieklaar is. SPDL biedt een schaalbare, flexibele en geheugenefficiënte oplossing die de kloof tussen data-acquisitie en GPU-computatie dicht.

Beschikbaarheid: De bibliotheek is open-source beschikbaar op GitHub: https://github.com/facebookresearch/spdl.