ThAME: 3D Memory-Enabled Heterogeneous Accelerator for LLM Mixture of Experts

Stellen Sie sich vor, das Internet wäre eine riesige Bibliothek, in der die Bücher jeden Tag klüger werden. Diese „smarten Bücher“ werden Large Language Models (LLMs) genannt, und sie können Geschichten schreiben, Matheaufgaben lösen und wie Menschen chatten. Aber um wirklich klug zu werden, müssen diese Modelle massiv sein und Milliarden von Fakten in ihrem Gedächtnis speichern. Kürzlich entdeckten Wissenschaftler einen cleveren Trick namens „Mixture of Experts“ (MoE). Anstatt eines einzigen riesigen Gehirns, das versucht, sich an alles zu erinnern, baut MoE ein Team aus kleineren Spezialisten auf. Wenn Sie eine Frage stellen, wird nicht das ganze Team geweckt, sondern es werden nur die wenigen Experten aufgerufen, die die Antwort kennen. Es ist, als würde man einen Bibliothekar bitten, ein Buch zu holen: Anstatt das gesamte Bibliothekspersonal zu wecken, läutet man einfach die Glocke für die Geschichtsabteilung.

Es gibt jedoch einen Haken. In der realen Welt ist das Aufrufen dieser Spezialisten chaotisch. Die Experten sind überall verstreut, und der Bibliothekar muss ständig hin- und herlaufen, um die richtigen Bücher zu holen und dann zurückzurennen, um die Antworten zusammenzuführen. Dieses „Hin- und Herrennen“ erzeugt einen Stau. Der Computer verbringt mehr Zeit damit, auf die Ankunft von Daten zu warten, als tatsächlich darüber nachzudenken. Dies ist die „Memory Wall“ (Speicherwand), ein Flaschenhals, der selbst die schnellsten Supercomputer ausbremst. Die Frage ist: Wie bauen wir eine Bibliothek, in der die Bücher direkt neben den Lesern liegen und die Läufer ein perfektes Autobahnsystem haben, um Verkehrsstaus zu vermeiden?

---

Das Problem: Ein Stau im Gehirn

Die Arbeit stellt eine neue Architektur namens ThAME (3D Memory-Enabled Heterogeneous Accelerator) vor, um genau dieses Problem zu lösen. Die Autoren erklären, dass aktuelle Computer wie eine geschäftige Stadt sind, in der der „Denkpart“ (die CPU oder GPU) weit entfernt vom „Speicherteil“ (wo die Daten leben) liegt. Wenn ein Large Language Model den Mixture-of-Experts-Trick verwendet, erzeugt dies eine chaotische Situation.

Stellen Sie sich eine Schulkantine vor, in der Schüler (Tokens) Essen von verschiedenen Essensständen (Experten) bekommen müssen. In einer normalen Kantine gehen alle in dieselbe Schlange. Aber in einem MoE-System wird jeder Schüler basierend auf dem, was er essen möchte, zu einem anderen, zufälligen Stand geschickt. Einige Stände bekommen eine riesige Menge an Menschen, während andere niemanden haben. Die Schüler müssen die Kantine durchqueren, um ihr Essen zu bekommen, und dann zurück zu einem zentralen Tisch laufen, um ihre Mahlzeiten zu mischen. Dies erzeugt ein „Scatter-Gather“-Verkehrsmuster (Verteilen und Sammeln): ein chaotisches Gemisch von Schülern, die in alle Richtungen rennen, was zu Kollisionen und langen Wartezeiten führt. Das Papier argumentt, dass Standard-Computerchips nicht für diese Art von unvorhersehbarem, chaotischem Verkehr gebaut sind. Sie bleiben im Stau stecken, und das gesamte System verlangsamt sich.

Die Lösung: Eine 3D-Stadt mit einer speziellen Autobahn

Um dies zu beheben, schlagen die Autoren ThAME vor, was wie der Bau einer brandneuen, hochtechnologischen Stadt für diese KI-Modelle ist. Sie nutzen drei Hauptideen, um es zum Laufen zu bringen:

1. Die richtigen Werkzeuge für den richtigen Job (Heterogene Speicher):
   Das Paper weist darauf hin, dass nicht alle Speicher gleich sind. Einige Teile der KI müssen sehr oft beschrieben werden (wie ein Whiteboard), während andere Teile nur von einem riesigen Bücherregal gelesen werden müssen.

• Für die „Whiteboard“-Teile (den Attention-Mechanismus) verwenden sie DRAM, der schnell und leicht zu beschreiben ist, aber viel Platz einnimmt.
• Für die „riesigen Bücherregal“-Teile (die Experten-Gewichte) verwenden sie FeFET-NAND, eine Art von 3D-Speicher, der unglaublich dicht ist und nicht oft neu geschrieben werden muss.
• Denken Sie an eine Bibliothek, in der die Nachschlagewerke in einem massiven, hochdichten Turm gestapelt sind, während die aktiven Arbeitsstationen einen anderen, schnelleren Deskt des Typs verwenden (DRAM). Durch das vertikale Stapeln dieser Schichten (3D) können sie eine massive Menge an Daten direkt neben den Prozessoren unterbringen, sodass die „Läufer“ nicht weit reisen müssen.

2. Die spezielle Autobahn (Das NoC):
   Dies ist die wichtigste Innovation des Papers. Selbst wenn der Speicher nah bei ist, müssen sich die „Läufer“ (Daten) immer noch zwischen den verschiedenen Expertenständen bewegen. Die Autoren erkannten, dass Standard-Straßennetze (wie ein einfaches Gitter oder ein Ring) versagen, wenn der Verkehr unvorhersehbar ist.

• Sie entwarfen ein hierarchisches Network-on-Chip (NoC). Stellen Sie sich eine Stadt vor, in der lokale Stadtteile kleine, private Straßen (Crossbars) haben, um den lokalen Verkehr schnell abzuwickeln. Dann sind diese Stadtteile durch ein intelligentes, baumartiges Autobahnsystem verbunden, das die großen Verkehrsströme zwischen verschiedenen Gebieten bewältigen kann.
• Dieses System wurde mit einer komplexen mathematischen Methode optimiert, um sicherzustellen, dass Verkehrsstaus minimiert werden, egal wie die Schüler verteilt sind (welche Experten gerade beschäftigt sind). Es ist wie ein Verkehrsleitsystem, das Autos automatisch umleitet, um Unfälle zu vermeiden, bevor sie passieren.

3. Der intelligente Dispatcher:
   Das System enthält einen Scheduler, der wie ein intelligenter Verkehrspolizist funget. Er beobachtet die Menge und entscheidet genau, wie viele „Läufer“ (Rechenkerne) jedem Expertenstand zugewiesen werden sollen, damit alle etwa zur gleichen Zeit fertig werden. Dies verhindert, dass ein langsamer Experte die gesamte Gruppe aufhält.

Was sie herausgefunden haben

Die Autoren haben dies nicht nur auf dem Papier gebaut; sie haben detaillierte Simulationen durchgeführt, um zu sehen, wie es abschneidet. Sie verglichen ThAME mit den besten bestehenden Systemen (wie Stratum und H3D-T) und Standard-GPUs.

• Geschwindigkeit: In ihren Simulationen war ThAME unglaublich schnell. Es war bis zu 15,7-mal schneller als die beste bestehende Hardware bei der Generierung von Text. Das bedeutet, wenn ein Standardcomputer 10 Sekunden braucht, um einen Absatz zu schreiben, könnte ThAME dies in weniger als einer Sekunde erledigen.
• Energie: Es war auch viel effizienter und verbrauchte bis zu 9,8-mal weniger Energie für die gleiche Aufgabe. Das ist enorm wichtig, da das Ausführen dieser massiven Modelle normalerweise sehr viel Strom verschlingt.
• Robustheit: Das Paper zeigt, dass ThAME auch dann gut funktioniert, wenn die Speichertechnologie nicht perfekt ist (zum Beispiel, wenn die Lesegeschwindigkeit langsamer als erwartet ist), da es über eine enorme zusätzliche Bandbreite verfügt.

Was sie nicht getan haben

Es ist wichtig anzumerken, was dieses Paper nicht behauptet. Die Autoren haben keinen physischen Chip in einer Fabrik gebaut und ihn in einem realen Serverfarm getestet. Alle ihre Ergebnisse stammen aus zyklusgenauen Simulationen – sehr detaillierten Computermodellen, die das Verhalten der Hardware nachahmen. Sie haben auch nicht behauptet, jedes Problem der KI gelöst zu haben; sie haben sich spezifisch auf die „Decode“-Phase konzentriert (das Generieren von Text Wort für Wort), die der schwierigste Teil für aktuelle Computer ist. Sie räumten ein, dass die „Prefill“-Phase (das Lesen des ursprünglichen Prompts) von einem Standard-, leistungsstarken Prozessor (einem TPU) gehandhabt wird, und ihre Innovation bezieht sich spezifisch auf den chaotischen, speicherintensiven Teil, der darauf folgt.

Das Fazit

Das Paper legt nahe, dass wir durch die Kombination verschiedener Speicherarten und den Bau eines maßgeschneiderten, verkehrssmarte Autobahnsystems innerhalb des Chips die Mixture-of-Experts-Modelle endlich schnell und effizient zum Laufen bringen können. Obwohl es sich derzeit um eine Simulation handelt, sind die Ergebnisse vielversprechend genug, um darauf hindeuten, dass dieser Ansatz einer „3D-Stadt mit einer smarten Autobahn“ der Schlüssel zur Freisetzung der nächsten Generation superintelligenter KI sein könnte, ohne unser Stromnetz zu überlasten.