Stel je voor dat je een superintelligente robot probeert te leren hoe hij de wereld moet begrijpen. Om dit te doen, voer je de robot enorme hoeveelheden data, zoals duizenden uren video, miljoenen pagina's tekst, of complexe wetenschappelijke modellen. De robot leert door naar deze "sequenties" informatie te kijken. Maar hier zit de crux: niet alle sequenties zijn even lang. Sommige zijn kort, zoals een snelle tweet, terwijl andere ongelooflijk lang zijn, zoals een hele film of een heel boek.

Wanneer je deze robots traint, verdeel je het werk meestal over vele krachtige computers (genaamd GPU's) die samenwerken. Denk aan een team van chefs in een gigantische keuken. Als elke chef een recept van dezelfde grootte krijgt, zijn ze allemaal tegelijk klaar en kunnen ze samen aan het volgende gerecht beginnen. Maar in de echte wereld variëren de recepten enorm. De ene chef krijgt misschien een klein hapje, terwijl de andere chef een enorm banket van 10 gangen krijgt. De chef met het kleine hapje is in enkele seconden klaar en moet dan stilstaan en niets doen, wachtend tot de chef met het banket klaar is. Dit wordt "workload imbalance" (onbalans in de werklast) genoemd, en het verspilt een enorme hoeveelheid tijd en energie. De uitdaging waar wetenschappers voor staan, is uitzoeken hoe ze de keuken soepel draaiende kunnen houden wanneer de bestellingen zo verschillend zijn, zonder dat het systeem zo ingewikkeld wordt dat niemand het meer kan gebruiken.

Dit is precies het probleem dat wordt aangepakt door een nieuwe methode genaamd Data-Centric Parallel (DCP), geïntroduceerd door onderzoekers van de National University of Singapore. In plaats van alle data in een rigide, eenheidsformaat te dwingen, laat DCP de data zelf bepalen hoe het werk wordt gedaan. Stel je een slimme keukenmanager voor die naar elke bestelling kijkt zodra deze binnenkomt en direct beslist: "Oké, voor dit kleine hapje gebruiken we slechts één chef en laten we hem snel koken. Voor dit enorme banket brengen we een heel team van chefs samen om gelijktijdig te snijden en te koken."

Het onderzoek stelt vast dat door het teamformaat en de kookstrategie voor elke batch data dynamisch aan te passen, het trainingsproces veel sneller kan verlopen. In hun tests met 32 krachtige H200 GPU's maakte deze aanpak de training tot wel 2,88 keer sneller dan de oude methoden. Ze lieten ook zien dat dit systeem ongelooflijk flexibel is; het kan aan bijna elk nieuw AI-model worden toegevoegd met slechts 10 regels code, wat het een eenvoudige maar krachtige tool maakt voor de toekomst van AI.

Het Probleen: De "Afwachtende" Keuken

Om te begrijpen waarom dit zo'n grote zaak is, moeten we kijken naar hoe het vroeger ging. In het verleden probeerden onderzoekers het "ongelijke bestelling"-probleem op twee manieren op te lossen, en beide hadden serieuze gebreken.

De eerste manier was als een strikte hoofdchef die zei: "We gebruiken altijd 8 chefs voor elke bestelling, ongeacht hoe groot of klein deze is." Als de bestelling een klein hapje was, stonden 7 chefs gewoon toe te kijken hoe de 8e chef kookte. Dit wordt Bucket Parallel genoemd. Het is simpel, maar het is ongelooflijk verspillend. De chefs met de kleine bestellingen zijn direct klaar, maar de hele keuken moet wachten tot de traagste chef met de grote bestellingen klaar is voordat ze allemaal aan de volgende ronde kunnen beginnen. Dit leidt tot veel stilstand.

De tweede manier was om de werklast te balanceren door de chefs met grote bestellingen minder ingrediënten te geven om tegelijkertijd te koken. Dit is alsof je de chef met het banket van 10 gangen vertelt om slechts één gang tegelijk te koken, terwijl de chef met het hapje het hele ding in één keer kookt. Hoewel dit hels bij de chefs om tegelijk klaar te zijn, creëert het een nieuw probleem: de keuken moet veel meer keren naar de voorraadkast om alle ingrediënten te halen. In computertermen betekent dit een enorme toename in communicatiekosten, wat alles vertraagt.

De onderzoekers voerden aan dat de kern van het probleem was dat deze oude methoden vertrouwden op statische instellingen — regels die werden besloten voordat het koken überhaupt begon. Ze lieten de data de plannen niet in real-time veranderen.

De Oplossing: Een Dynamische, Datagestuurde Manager

De nieuwe methode, Data-Centric Parallel (DCP), verandert het spel door de data de runtime te laten aansturen. In plaats van een vast regelboek, fungeert het systeem als een slimme, adaptieve manager die naar de lengte van de sequentie (de bestelling) kijkt en direct de instellingen aanpast.

De onderzoekers deelden dit op in twee slimme strategieën:

1. DCP-inter (De "Teamwerk"-strategie):
   Deze strategie richt zich op het balanceren van de werklast zonder ingrediënten te verspillen. Als een batch data een zeer lange sequentie heeft (een grote bestelling), gebruikt het systeem in plaats van de batchgrootte te verkleinen (wat de eerder genoemde communicatieoverhead veroorzaakt), gradient accumulation. Denk hierbij aan het laten koken van de grote bestelling in verschillende kleinere stappen door de chef, terwijl het teamformaat hetzelfde blijft. Het vult de "lege tijd" van de snelle werkers op door hen te laten helpen bij de grote bestellingen op een manier die de hele keuken niet vertraagt. Het balanceert de tijd die iedereen besteedt aan werken zonder de efficiëntie van de korte bestellingen te verminderen.

2. DCP-intra (De "Geheugen"-strategie):
   Deze strategie pakt het geheugenprobleem aan. Bij het trainen op lange sequenties moeten computers vaak veel "tussenliggende aantekeningen" (activaties) opslaan om later te kunnen berekenen hoe het uiteindelijke antwoord eruitziet. Dit neemt veel geheugen in beslag. Om ruimte te besparen, gebruiken ze vaak een truc genaamd gradient checkpointing, wat betekent dat ze de aantekeningen weggooien en ze later opnieuw berekenen. Dit bespaart geheugen, maar kost extra tijd om de berekeningen opnieuw uit te voeren.
   De onderzoekers merkten op dat voor korte sequenties de computer eigenlijk genoeg reservegeheugen heeft. Dus zegt DCP-intra: "Hé, voor deze korte bestellingen hoeven we de aantekeningen niet weg te gooien! Laten we ze bewaren en de herberekening overslaan." Dit maakt de korte bestellingen nog sneller. Als de computer bij een lange bestelling echt zonder geheugen komt te zitten, past het simpelweg het teamformaat aan (sequence parallelism) om ruimte te maken, zonder dat dit de boel vertraagt.

De Resultaten: Snelheid en Eenvoud

De onderzoekers testten deze nieuwe methode op twee verschillende soorten AI-modellen (één voor 1D-data zoals tekst, en één voor 2D-data zoals video) met behulp van drie verschillende soorten datasets: korte sequenties, gebalanceerde sequenties en lange sequenties. Ze voerden deze tests uit op een cluster van 32 NVIDIA H200 GPU's.

De resultaten waren indrukwekkend. Vergeleken met de oude "bucket"-methode maakte DCP-inter alleen al de training 1,68 tot 2,70 keer sneller. Toen ze de tweede strategie (DCP-intra) toevoegden om het geheugengebruik te optimaliseren, steeg de snelheid zelfs nog verder, tot wel 2,88 keer sneller op de meest uitdagende datasets.

Misschien wel het belangrijkste is dat de onderzoekers ontdekten dat dit systeem ongelooflijk gemakkelijk te gebruiken is. Ze lieten zien dat je DCP in bijna elk bestaand AI-model kunt integreren met een wijziging van slechts 10 regels code. Dit suggereert dat de methode niet alleen een theoretisch idee is, maar een praktisch hulpmiddel dat breed toegepast kan worden.

Wat dit Betekent

Het paper suggereert dat door af te stappen van rigide, vooraf ingestelde regels en de data zelf te laten bepalen hoe de training verloopt, we het eeuwenoude probleem van inefficiëntie bij AI-training kunnen oplossen. De onderzoekers maten deze versnellingen in real-world simulaties op krachtige hardware, waarmee ze aantoonden dat de methode goed werkt bij verschillende modelgroottes en datadistributies.

Hoewel de huidige methode beperkt is tot Transformer-gebaseerde modellen (het type AI dat wordt gebruikt voor de meeste moderne tekst- en beeldgeneratie), geloven de auteurs dat deze aanpak een nieuwe standaard zet. Het bewijst dat je niet hoeft te kiezen tussen een systeem dat gemakkelijk te gebruiken is en een systeem dat zeer efficiënt is. Met Data-Centric Parallel kun je beide hebben, wat de weg vrijmaakt voor het trainen van nog grotere en complexere AI-modellen in de toekomst.