Stencil Computations on Cerebras Wafer-Scale Engine
Dieser Beitrag stellt CStencil vor, ein Framework, das zweidimensionale Stencil-Berechnungen erfolgreich auf den Wafer-Scale Engine (WSE-3) von Cerebras abbildet und durch Ausnutzung des massiven On-Chip-Speichers und des Mesh-Interconnects des Chips zur Überwindung traditioneller Speicherengpässe Beschleunigungen von bis zu 342-fach gegenüber einer angepassten GPU-Baseline erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen, bei dem jedes einzelne Stück von den angrenzenden Stücken abhängt. In der Welt der Wissenschaft nennt man dies eine Stencil-Berechnung. Es ist die Mathematik, die verwendet wird, um Phänomene wie die Ausbreitung von Wärme durch eine Metallplatte, den Windfluss um ein Flugzeug oder die Verschiebung von Klimamustern über Jahrzehnte hinweg zu simulieren.
In den letzten zehn Jahren waren die besten Werkzeuge zur Lösung dieser Puzzles GPUs (die leistungsstarken Chips in Grafikkarten und Supercomputern). Doch es gibt ein Problem: GPUs sind wie eine Flotte unglaublich schneller Lieferwagen, die hin und her zu einem entfernten Lagerhaus (dem Hauptspeicher) fahren müssen, um jedes einzelne Puzzleteil abzuholen. Obwohl die LKWs schnell sind, verbringen sie die meiste Zeit im Stau und warten auf das Lagerhaus. Dies ist als „Memory Wall" (Speicherbarriere) bekannt.
Der neue Herausforderer: Der Cerebras Wafer-Scale Engine
Hier kommt die Cerebras Wafer-Scale Engine (WSE-3) ins Spiel. Anstelle einer Flotte von LKWs stellen Sie sich einen riesigen Fabrikboden vor, der auf einem einzigen riesigen Stück Silizium (einem ganzen Wafer) gebaut ist. Auf diesem Fabrikboden gibt es 900.000 winzige Arbeiter (Prozessoren), und jeder hat sein eigenes persönliches Werkzeugkasten (Speicher) direkt neben sich. Sie müssen nicht zu einem Lagerhaus fahren; sie geben einfach Notizen an ihre unmittelbaren Nachbarn weiter.
Die Studie stellt eine einfache Frage: Können wir diese für KI entworfene Fabrik nutzen, um diese wissenschaftlichen Puzzles schneller zu lösen als die traditionellen GPU-LKWs?
Das Experiment: CStencil vs. ConvStencil
Um dies herauszufinden, entwickelten die Forscher ein neues Programm namens CStencil, das auf der Cerebras-Fabrik laufen sollte. Sie verglichen es mit dem aktuellen Goldstandard-Programm für GPUs, das ConvStencil heißt.
Um das Rennen fair zu gestalten, mussten sie die Regeln leicht anpassen. Die Cerebras-Fabrik ist für „schnelle, grobe Schätzungen" (Rechnungen mit niedriger Genauigkeit) optimiert, während wissenschaftliche Simulationen normalerweise „hochpräzise Berechnungen" (Doppelgenauigkeit) benötigen. Da Cerebras Doppelgenauigkeit nicht gut beherrscht, passten die Forscher das GPU-Programm so an, dass es mit Einfachgenauigkeit läuft, genau wie der Cerebras-Chip, damit sie Äpfel mit Äpfeln vergleichen konnten.
Wie sie es taten: Der „Halo"-Austausch
Der knifflige Teil dieser Puzzles sind die Ränder. Wenn ein Arbeiter in der Mitte des Gitters sein Teil aktualisiert, muss er wissen, was die Nachbarn tun.
- Auf der GPU: Die Arbeiter müssen quer durch den Raum zu einem zentralen Lagerhaus rufen, um die Daten des Nachbarn zu erhalten. Das kostet Zeit.
- Auf Cerebras: Die Arbeiter geben Notizen direkt an die Person weiter, die direkt neben ihnen steht.
Die Forscher mussten die Cerebras-Arbeiter zwei verschiedene Arten des Notizweitergebens beibringen:
- Sternmuster: Nur das Weitergeben von Notizen an die vier Personen direkt im Norden, Süden, Osten und Westen.
- Kastenmuster: Das Weitergeben von Notizen an die vier direkten Nachbarn plus die vier Personen, die diagonal stehen. Da die Arbeiter nur mit direkten Nachbarn sprechen können, mussten sie ein „Relais"-System verwenden: Sie geben die diagonale Notiz an den Nachbarn weiter, der sie dann an den diagonalen Freund weitergibt.
Die Ergebnisse: Ein massiver Sieg
Die Ergebnisse waren atemberaubend.
- Die Geschwindigkeit: Bei den größten getesteten Puzzles war der Cerebras-Chip 342-mal schneller als die GPU.
- Der Grund: Die GPU steckte im Stau fest (wartete auf den Speicher). Der Cerebras-Chip verließ den Fabrikboden nie. Da jeder Arbeiter seinen eigenen Speicher direkt neben sich hatte, konnten sie so schnell berechnen, wie ihre Gehirne denken konnten, ohne jemals auf eine Lieferung warten zu müssen.
- Skalierung: Je größer das Puzzle wurde, desto langsamer wurde die GPU, weil der Stau schlimmer wurde. Der Cerebras-Chip wurde schneller (oder blieb genauso schnell), weil einfach mehr Arbeiter auf den Fabrikboden kamen und alle perfekt zusammenarbeiteten.
Der Haken: Es ist schwer zu programmieren
Die Studie gibt zu, dass der Cerebras-Chip zwar ein Geschwindigkeitsdämon ist, aber viel schwieriger zu steuern ist.
- GPU: Sie können High-Level-Tools (wie CUDA) verwenden, die den Stau für Sie regeln. Es ist wie das Fahren eines Automatikwagens.
- Cerebras: Sie müssen jedem einzelnen Arbeiter manuell genau sagen, wann er eine Notiz weitergeben und wann er mit der Berechnung beginnen soll. Es ist wie das Dirigieren eines Orchesters, bei dem Sie 900.000 Musikern genau sagen müssen, wann sie klatschen sollen. Wenn Sie einen Fehler machen, stoppt das ganze System.
Das Fazit
Diese Studie beweist, dass Hardware, die für Künstliche Intelligenz gebaut wurde (die das Weitergeben von Daten zwischen Nachbarn liebt), umfunktioniert werden kann, um traditionelle wissenschaftliche Probleme zu lösen. Für massive Simulationen wie Klimamodellierung oder Strömungsdynamik bietet die Cerebras Wafer-Scale Engine einen Weg, die „Memory Wall" zu durchbrechen, die Supercomputer seit Jahren zurückgehalten hat, und liefert Geschwindigkeiten, die zuvor unmöglich waren. Solange die Programmierwerkzeuge jedoch nicht einfacher zu bedienen werden, bleibt sie ein spezialisiertes Werkzeug für Experten und kein Ersatz für Alltagscomputer.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.