DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

De wereld van kunstmatige intelligentie raast momenteel vooruit, gevoed door enorme computerchips die GPU's worden genoemd, die fungeren als de motoren voor het trainen en draaien van complexe taalmodellen. Deze modellen kunnen verhalen schrijven, problemen oplossen en gesprekken voeren, maar ze vereisen enorme hoeveelheden rekenkracht. Om bij te blijven, upgraden datacentra hun hardware voortdurend, waarbij functionele chips worden uitgefaseerd om plaats te maken voor snellere, nieuwere exemplaren. Deze cyclus laat een groeiende stapel van capabele maar "oude" versnellers achter, wat een secundaire markt creëert waar deze weggegooide componenten worden verkocht voor een fractie van hun oorspronkelijke prijs. De vraag waarmee onderzoekers en ingenieurs worden geconfronteerd, is of deze gepensioneerde machines een productief tweede leven kunnen krijgen om moderne AI-taken te dienen, of dat hun ouderdom hen te inefficiënt en verspillend maakt om nuttig te zijn.

Een team van onderzoekers zette zich in om dit te beantwoorden door een massieve computingcluster volledig vanaf nul op te bouwen met behulp van uitsluitend tweedehands onderdelen. Ze kochten niet alleen gebruikte grafische kaarten; ze voorzagen zich van gebruikte processors, geheugen, moederborden en netwerkapparatuur om een systeem van 128 uitgefaseerde NVIDIA V100-GPU's te construeren. Deze collectie, die zij een "DumpsterCluster" noemden, werd ontworpen om te testen of oude hardware de zware werklast van het draaien van grote taalmodellen, specifiek een model met 70 miljard parameters bekend als LLaMA-70B, aan kon. Het team besteedde een jaar aan het draaien van deze cluster in een echte omgeving, waarbij daadwerkelijke gebruikersverzoeken werden afgehandeld, om te zien of de aanpak economisch levensvatbaar en milieuvriendelijk duurzaam was. Hun bevindingen onthullen een verhaal van verrassend potentieel dat gepaard gaat met een strikte reeks voorwaarden: hoewel de hardware kan werken, hangt het succes volledig af van waar het wordt geplaatst en hoe het wordt beheerd.

Het economische argument voor deze aanpak is opvallend. De onderzoekers stelden hun volledige 128-GPU-systeem samen voor ongeveer $ 22.000, een prijs die gedurende hun studie is gedaald van $ 32.000 door marktdepreciatie. In contrast hiermee kost een modern systeem met slechts acht GPU's van de nieuwste generatie rond de $ 600.000. Dit enorme verschil in de initiële kosten betekent dat, hoewel de oudere chips individueel minder krachtig zijn, het enorme aantal van hen de cluster in staat stelt om een aanzienlijk volume aan gegevens te verwerken. Door het systeem een jaar lang te laten draaien, bewezen de onderzoekers dat ze het grote taalmodel effectief konden bedienen, waarbij een snelheid van tekstgeneratie werd bereikt die, hoewel trager dan die van de nieuwste superchips, voldoende was voor veel praktische toepassingen. De sleutel tot het laten slagen hiervan was niet alleen het kopen van de onderdelen, maar het herschrijven van de software die ze aanstuurt.

Standaardsoftware voor het draaien van deze modellen is ontworpen voor de nieuwste hardware, die beschikt over zeer snelle verbindingen tussen chips. De oudere V100-chips in de DumpsterCluster hebben tragere verbindingen en minder geheugen, wat er normaal gesproken voor zou zorgen dat ze vastlopen bij grote modellen. Om dit op te lossen, ontwikkelden de onderzoekers een aangepaste engine die verandert hoe de taken worden verdeeld. In plaats van te proberen de chips constant met elkaar te laten communiceren, arrangeerden ze het model zo dat elke chip een specifiek deel van de berekening afhandelt in een lange keten, waarbij de resultaten naar beneden worden doorgegeven. Ze optimaliseerden het systeem ook zodat de centrale processor van de computer de gegevensoverdracht op de achtergrond afhandelt terwijl de grafische kaarten doorwerken, waardoor het systeem niet stilstaat. Deze strategie stelde de 128 oudere chips in staat om te functioneren als een enkele, samenhangende eenheid die in staat is een model te draaien dat helemaal niet op een enkele chip zou passen.

De studie onthult echter dat deze oplossing geen universele oplossing is voor de energie- en milieuproblemen van de AI-industrie. De onderzoekers ontdekten dat hoewel de initiële kosten laag zijn, de kosten voor het draaien van de machines over een langere periode sterk afhangen van de elektriciteitsprijs en de bron van die stroom. Oudere chips zijn minder energie-efficiënt dan moderne chips, wat betekent dat ze meer stroom verbruiken om dezelfde hoeveelheid tekst te genereren. Als deze cluster wordt gedraaid in een regio waar elektriciteit afkomstig is van fossiele brandstoffen, kan de totale CO2-uitstoot per gegenereerd woord tientallen malen hoger zijn dan bij het gebruik van een nieuw, efficiënt systeem. Het milieuvoordeel van het hergebruik van de hardware wordt volledig tenietgedaan als de elektriciteit die gebruikt wordt om het aan te drijven "vies" is. Het systeem wordt pas echt duurzaam wanneer het zich in gebieden bevindt met een overvloed aan goedkope en schone energie, zoals regio's die worden aangedreven door wind of waterkracht. In die specifieke locaties compenseert de lage kosten van elektriciteit de inefficiëntie van de oude chips, waardoor de totale eigendomskosten laag en de CO2-voetafdruk beheersbaar blijven.

Ook de betrouwbaarheid van de hardware vormde uitdagingen die het team moest beheren. Gedurende het jaar ondervond de cluster talrijke technische problemen, maar de overgrote meerderheid waren softwarefouten die met een eenvoudige herstart konden worden opgelost in plaats van een fysieke reparatie. Echte hardwaredefecten, waarbij een chip of component daadwerkelijk kapot ging, waren zeldzaam en kwamen in minder dan 14 procent van de incidenten voor. Dit suggereert dat met zorgvuldige tests en een beetje extra capaciteit ingebouwd om defecten op te vangen, gebruikt hardware betrouwbaar genoeg kan zijn voor productiegebruik. De onderzoekers merkten op dat het systeem het best geschikt is voor het beantwoorden van vragen en het genereren van tekst, in plaats van voor het trainen van nieuwe modellen vanaf nul, wat een ander soort rekenkracht en stabiliteit vereist.

Uiteindelijk demonstreert het artikel dat het geven van een tweede leven aan verouderde technologie mogelijk is, maar dat het niet simpelweg een kwestie is van het inpluggen van oude onderdelen. Het succes van een dergelijke "DumpsterCluster" rust op een delicaat evenwicht tussen engineering, economie en geografie. Het vereist gespecialiseerde software om de beperkingen van de verouderde hardware te overwinnen, een locatie met goedkope en schone elektriciteit om de operationele kosten en emissies laag te houden, en een tolerantie voor een iets hogere mate van onderhoud vergeleken met gloednieuwe systemen. Wanneer aan deze voorwaarden wordt voldaan, biedt de aanpak een levensvatbaar pad om de AI-capaciteit uit te breiden zonder de enorme financiële en milieukosten van het constant fabriceren van nieuwe chips. Het suggereert een toekomst waarin de levenscyclus van computerhardware wordt verlengd, mits we bereid zijn de juiste instrumenten te matchen met de juiste energiebronnen.