Stencil Computations on Cerebras Wafer-Scale Engine
Dit artikel introduceert CStencil, een raamwerk dat tweedimensionale stencilberekeningen succesvol in kaart brengt op de Cerebras Wafer-Scale Engine (WSE-3), waarbij snelheidswinsten tot 342x worden bereikt ten opzichte van een aangepaste GPU-baseline door gebruik te maken van het enorme on-chip geheugen en het mesh-interconnect van de chip om traditionele geheugenknelpunten te overwinnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een gigantische, complexe puzzel op te lossen waarbij elk enkel stukje afhankelijk is van de stukjes die er direct aan grenzen. In de wereld van de wetenschap heet dit een stencil-berekening. Het is de wiskunde die wordt gebruikt om dingen te simuleren zoals hoe warmte zich door een metalen plaat verspreidt, hoe wind om een vliegtuig stroomt, of hoe klimaatpatronen zich over decennia veranderen.
Gedurende het afgelopen decennium zijn de beste hulpmiddelen voor het oplossen van deze puzzels GPU's (de krachtige chips in videokaarten en supercomputers). Maar er is een probleem: GPU's zijn als een vloot van ongelooflijk snelle bezorgvrachtwagens die heen en weer moeten rijden naar een ver magazijn (het hoofdgeheugen) om elk enkel stukje van de puzzel op te halen. Hoewel de vrachtwagens snel zijn, brengen ze het grootste deel van hun tijd door in de file, wachtend op het magazijn. Dit staat bekend als de "Memory Wall" (geheugenspiegel).
De nieuwe uitdager: de Cerebras Wafer-Scale Engine
Maak kennis met de Cerebras Wafer-Scale Engine (WSE-3). In plaats van een vloot vrachtwagens, stel je een enorme fabrieksvloer voor die is gebouwd op één enkel gigantisch stuk silicium (een hele wafer). Op deze fabrieksvloer werken 900.000 kleine werknemers (processors), en elke één heeft zijn eigen persoonlijke gereedschapskist (geheugen) direct naast zich staan. Ze hoeven niet naar een magazijn te rijden; ze geven gewoon notities door aan hun directe buren.
Het artikel stelt een simpele vraag: Kunnen we deze voor AI ontworpen fabriek gebruiken om deze wetenschappelijke puzzels sneller op te lossen dan de traditionele GPU-vrachtwagens?
Het experiment: CStencil versus ConvStencil
Om dit uit te vinden, bouwden de onderzoekers een nieuw programma genaamd CStencil om op de Cerebras-fabriek te draaien. Ze vergeleken dit met het huidige gouden standaardprogramma voor GPU's, genaamd ConvStencil.
Om de race eerlijk te houden, moesten ze de regels iets aanpassen. De Cerebras-fabriek is geoptimaliseerd voor "snelle, ruwe schattingen" (rekenen met lagere precisie), terwijl wetenschappelijke simulaties meestal "zeer nauwkeurige berekeningen" nodig hebben (dubbele precisie). Omdat Cerebras dubbele precisie niet goed uitvoert, pasten de onderzoekers het GPU-programma aan zodat het op enkele precisie draaide, net als de Cerebras-chip, zodat ze appels met appels konden vergelijken.
Hoe ze het deden: de "Halo"-uitwisseling
Het lastige deel van deze puzzels zijn de randen. Wanneer een werknemer in het midden van het rooster zijn stukje bijwerkt, moet hij weten wat de buren doen.
- Op de GPU: De werknemers moeten over de hele ruimte schreeuwen naar een centraal magazijn om de gegevens van de buren te krijgen. Dit kost tijd.
- Op Cerebras: De werknemers geven notities direct door aan de persoon die direct naast hen staat.
De onderzoekers moesten de Cerebras-werknemers twee verschillende manieren leren om notities door te geven:
- Sterpatroon: Gewoon notities doorgeven aan de vier mensen direct Noord, Zuid, Oost en West.
- Dozenpatroon: Notities doorgeven aan de vier directe buren plus de vier mensen die diagonaal staan. Omdat de werknemers alleen met directe buren kunnen praten, moesten ze een "relais"-systeem gebruiken: geef de diagonale notitie door aan de buur, die hem vervolgens doorgeeft aan de diagonale vriend.
De resultaten: Een enorme overwinning
De resultaten waren verbijsterend.
- De snelheid: Bij de grootste geteste puzzels was de Cerebras-chip 342 keer sneller dan de GPU.
- De reden: De GPU zat vast in de file (wachtend op het geheugen). De Cerebras-chip verliet de fabrieksvloer nooit. Omdat elke werknemer zijn eigen geheugen direct naast zich had, konden ze zo snel rekenen als hun hersenen konden denken, zonder ooit te hoeven wachten op een levering.
- Schalen: Naarmate de puzzel groter werd, werd de GPU trager omdat het verkeer erger werd. De Cerebras-chip werd sneller (of bleef even snel) omdat er gewoon meer werknemers aan de fabrieksvloer werden toegevoegd, en ze allemaal perfect samenwerkten.
De haken en ogen: Het is moeilijk te programmeren
Het artikel geeft toe dat de Cerebras-chip, hoewel een snelheidsdemon, veel moeilijker te besturen is.
- GPU: Je kunt hoogwaardige hulpmiddelen gebruiken (zoals CUDA) die het verkeer voor je regelen. Het is als het rijden in een automatische auto.
- Cerebras: Je moet elke werknemer handmatig precies vertellen wanneer hij een notitie moet doorgeven en wanneer hij moet beginnen met rekenen. Het is alsof je de dirigent bent van een orkest waarbij je 900.000 musici precies moet vertellen wanneer ze moeten klappen. Als je een fout maakt, stopt het hele proces.
De conclusie
Dit artikel bewijst dat hardware die is gebouwd voor Kunstmatige Intelligentie (die data tussen buren liefst uitwisselt), kan worden hergebruikt om traditionele wetenschappelijke problemen op te lossen. Voor enorme simulaties zoals klimaatmodelleren of stromingsdynamica biedt de Cerebras Wafer-Scale Engine een manier om door de "Memory Wall" te breken die supercomputers al jaren tegenhoudt, en levert snelheden die eerder onmogelijk waren. Echter, zolang de programmeertools niet makkelijker te gebruiken worden, blijft het een gespecialiseerd hulpmiddel voor experts in plaats van een vervanging voor dagelijkse computers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.