A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

In de wereld van kunstmatige intelligentie komen de meest zichtbare doorbraken vaak voort uit software, maar de motor die hen aandrijft is hardware. Om een computer te leren een kat in een foto te herkennen of een zin naar een andere taal te vertalen, moeten ingenieurs complexe wiskundige modellen trainen. Dit trainingsproces is ongelooflijk veeleisend en vereist dat de computer miljarden berekeningen uitvoert in een zeer korte tijd. Om deze werklast aan te kunnen, vertrouwen onderzoekers op gespecialiseerde chips die graphics processing units, of GPU's, worden genoemd, die zijn ontworpen om veel taken gelijktijdig te verwerken. Het toevoegen van meer van deze krachtige chips maakt het werk echter niet altijd sneller. Net zoals een groot team van werkers een project kan vertragen als het kantoor te klein is of de gereedschappen slecht worden gedeeld, kan het toevoegen van meer GPU's soms knelpunten creëren waarbij de chips meer tijd doorbrengen met wachten op data dan met daadwerkelijk werken. De uitdaging voor wetenschappers en ingenieurs is om het ideale punt te vinden waar de hardware efficiënt wordt gebruikt, waarbij snelheid wordt afgewogen tegen de kosten en de complexiteit van het systeem.

Een team van onderzoekers van de Universiteit van de Balearen heeft een nieuwe manier ontwikkeld om dit puzzelstuk op te lossen. Ze hebben een methode ontwikkeld om verschillende computeropstellingen te analyseren die worden gebruikt voor het trainen van een populair beeldherkenningsmodel genaamd ResNet-50. In plaats van alleen te kijken naar welk systeem de klus het snelst volbracht, wilden ze begrijpen welke systemen het meest efficiënt waren. Ze behandelden de prestaties van deze machines als een landschap en zochten naar patronen in hoe de trainingstijd, snelheid en het hulpbronnenverbruik veranderden naarmate het aantal chips toenam. Door vergelijkbare systemen bij elkaar te groeperen en ze te vergelijken, ontdekten ze dat de krachtigste opstellingen niet altijd de opstellingen zijn met de meeste chips.

De onderzoekers begonnen met het verzamelen van gegevens uit een breed gebruikte industriestandaard genaamd de MLPerf Training benchmark. Deze dataset bevat de resultaten van vele verschillende organisaties die hun hardware hebben getest op dezelfde beeldherkenningsopdracht. Het team keek naar specifieke details voor elk systeem, zoals het type grafische chips dat werd gebruikt, hoeveel er waren geïnstalleerd, hoe lang de training duurde en hoeveel afbeeldingen het systeem per seconde kon verwerken. Vervolgens gebruikten ze een computerechniek om te meten welke van deze details het belangrijkst waren. Door de beschikbare gegevens te analyseren, identificeerden ze een reeks variabelen die een significante impact hadden op de systeemprestaties en de efficiëntie, waarbij ze zich concentreerden op de belangrijkste drijvers van schaalbaarheid die meetbaar waren. Ze ontdekten dat de relatie tussen het aantal chips en de gewonnen snelheid geen rechte lijn was. In een ideale wereld zou het verdubbelen van het aantal chips de trainingstijd met de helft verminderen. In de werkelijkheid observeerden de onderzoekers dat naarmate systemen groter werden, de extra snelheid die met elk nieuw chip werd verkregen, begon af te nemen.

Om deze complexe data begrijpelijk te maken, groepeerden de onderzoekers de verschillende computeropstellingen in vijf duidelijke categorieën op basis van hun prestaties. Ze vonden dat één specifieke groep eruit sprong als de meest effectieve. Deze systemen gebruikten een gemiddeld aantal van de nieuwste generatie grafische chips, doorgaans tussen de vier en zestien eenheden, gekoppeld aan krachtige centrale processoren. Deze configuraties bereikten een opmerkelijke balans: ze trainden het model zeer snel terwijl ze hun hulpbronnen met een hoge efficiëntie gebruikten. In contrast hiermee waren de systemen met het grootste aantal chips, waarvan sommige duizenden eenheden gebruikten, de absoluut kortste tijd voor de taak, maar waren ze veel minder efficiënt. In deze enorme opstellingen werkten de chips niet zo hard als ze zouden kunnen omdat ze wachtten op data of op elkaar, wat betekende dat een groot deel van de dure hardware ongebruikt bleef.

De studie suggereert dat de beste aanpak voor het trainen van kunstmatige intelligentiemodellen niet simpelweg het probleem is om meer hardware tegen het probleem aan te gooien. In plaats daarvan zijn de meest effectieve systemen die systemen waarbij de verschillende componenten in harmonie samenwerken. De onderzoekers ontdekten dat de optimale opstellingen gebruik maakten van snelle verbindingen tussen de chips en krachtige processors om data zonder vertraging aan hen te leveren. Dit stelde de grafische chips in staat om druk en productief te blijven. De bevindingen wijzen erop dat een kleiner, goed afgestemd systeem vaak een enorm, ongebalanceerd systeem kan overtreffen. Voor organisaties die deze systemen bouwen, betekent dit dat investeren in een zorgvuldig geselecteerd aantal top-tier chips en het ervoor zorgen dat ze correct verbonden zijn, een slimmere keuze kan zijn dan het kopen van de grootste mogele cluster van hardware. Het onderzoek biedt een duidelijke gids voor het selecteren van de juiste instrumenten, waarbij het laat zien dat efficiëntie en prestaties het best worden bereikt door balans in plaats van louter schaal.