Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising

Stellen Sie sich die Welt der künstlichen Intelligenz als eine riesige, hyperaktive Bibliothek vor, in der ein Roboter-Bibliothekar die Aufgabe hat, eine Geschichte zu schreiben, Wort für Wort. In der aktuellen Generation dieser „Großen Sprachmodelle“ (LLMs) ist der Bibliothekar unglaublich gründlich, aber auch unglaublich tollpatschig. Um jedes einzelne neue Wort zu schreiben, muss der Bibliothekar den ganzen Weg bis zum Ende der Bibliothek rennen, das gesamte Lexikon der Regeln (die Parameter des Modells) herausholen, es durchlesen und dann zurück an den Schreibtisch kehren, um nur ein einziges Wort zu schreiben. Dieses ständige Hin- und Herrennen ist erschöpfend; es verbraucht eine enorme Menge an Energie und dauert viel Zeit, was den Bibliothekar langsam und teuer in der Unterhaltung macht.

Wissenschaftler haben versucht, dies zu beheben, indem sie den Bibliothekar lehren, einen ganzen Absatz auf einmal zu schreiben, anstatt nur ein Wort nach dem anderen. Dies wird als „Diffusion“ bezeichnet und hilft deshalb, weil der Bibliothekar nur diesen langen Weg zum Ende der Bibliothek einmal machen muss, um viele Wörter zu schreiben. Es gibt jedoch einen Haken: Selbst wenn er einen Absatz schreibt, muss der Bibliothekar immer noch jede einzelne Seite des Lexikons lesen, auch die Seiten, die für diesen spezifischen Satz gar nicht benötigt werden. Es ist, als würde man ein ganzes Kochbuch lesen, nur um herauszufinden, dass man lediglich Salz braucht. Dieses Papier stellt einen neuen, superintelligenten Bibliothekar vor, der nicht nur in Absätzen schreibt, sondern auch lernt, die Seiten des Buches zu ignorieren, die nicht wichtig sind. Durch die Kombination des Tricks „viele Wörter auf einmal schreiben“ mit dem Trick „nutzlose Seiten überspringen“, verspricht dieses neue System, viel schneller und energiesparender zu sein, selbst auf den leistungsstarken Computern, die wir heute besitzen.

---

Das Paper: Eine neue Art von intelligentem Bibliothekar

Die Forscher hinter dieser Studie, die mit Institutionen in London zusammenarbeiten, gehen einem großen Problem in der Welt der KI auf den Grund: wie man diese riesigen Sprachmodelle schneller und günstiger macht, ohne ihre Intelligenz zu verlieren. Sie schlagen ein neues System vor, das Neuromorphic Masked Diffusion Language Models oder kurz N-MDLM genannt wird.

Um zu verstehen, wie N-MDLMs funktionieren, schauen wir uns die zwei Tricks an, die sie kombinieren. Erstens gibt es den Diffusion-Teil. Stellen Sie sich vor, Sie versuchen, ein geheimes Wort zu erraten. Anstatt Buchstaben einzeln zu raten, beginnen Sie mit einem Block aus leeren Feldern und füllen diese nach und nach aus, indem Sie Ihre Vermutung über mehrere Runden hinweg verfeinern. Dies ermöglicht es dem Modell, einen ganzen Block von Wörtern (sagen wir 4 oder 8 auf einmal) zu generieren, wobei es denselben Aufwand an „Bibliothekstouren“ (Speicherzugriff) benötigt, den ein Standardmodell für nur ein Wort aufwendet. Das ist großartig für die Geschwindigkeit, hat aber immer noch ein Problem: Das Modell prüft immer noch jeden einzelnen Teil seines Gehirns für jedes Wort, das es generiert, selbst wenn der Großteil dieses Gehirns gerade ruhig ist.

Hier kommt der zweite Trick, die Neuromorphe Sparsity (Dünnbesetztheit), ins Spiel. Betrachten Sie einen Standardcomputer als eine Glühbirne, die immer leuchtet und Strom verbraucht, egal ob sie einen Raum beleuchtet oder einfach nur im Dunkeln steht. Ein „neuromorphes“ System ist eher wie ein Bewegungsmelder-Licht. Es schaltet sich nur ein (feuert einen „Spike“), wenn tatsächlich etwas passiert. Im N-MDLM erledigt das Modell die schwere Arbeit des Lesens und Berechnens nur dann, wenn es absolut notwendig ist. Wenn ein Teil des Modells nicht aktiv ist, bleibt er still, was Energie spart und unnötige Arbeit überspringt.

Die Autoren entwickelten ein mathematisches Modell, um vorherzusagen, wie gut diese Kombination funktionieren würde. Sie erstellten eine „Roofline“-Karte – eine Methode, um zu messen, ob ein Computer durch seine Rechengeschwindigkeit begrenzt ist (compute-bound) oder durch die Geschwindigkeit, mit der er Daten aus dem Speicher abrufen kann (memory-bound). Ihre Analyse deutet darauf hin, dass der „viele Wörter auf einmal schreiben“-Trick auf älteren Computern, die langsam beim Abrufen von Daten sind, zwar gut funktioniert, auf modernen, superschnellen Computern, die durch ihre Rechengeschwindigkeit begrenzt sind, jedoch nicht viel bewirkt. Sobald man jedoch die „Bewegungssensor“-Sparsity hinzufügt, ändert sich das Spiel. Sie reduziert die benötigte Denkleistung so stark, dass das neue Modell selbst auf diesen modernen, schnellen Computern unglaublich effizient wird.

Was sie herausgefunden haben

Um ihre Ideen zu testen, haben die Forscher keinen völlig neuen Roboter-Verstand von Grund auf neu gebaut. Stattdessen nahmen sie ein bestehendes, gut trainiertes Modell, das bereits Deutsch in Englisch übersetzen konnte, und wandelten es in ihren neuen N-MDLM-Stil um. Sie simulierten den Betrieb dieses neuen Modells auf einer leistungsstarken Grafikkarte (einer NVIDIA DGX Spark), um zu sehen, wie es abschneidet.

Die Ergebnisse waren vielversprechend. Als sie Simulationen auf einem System durchführten, das moderne, Hochgeschwindigkeits-Computerchips imitiert (das sie ein „In-Chip-Speichersystem“ nennen), wurde das Standard-„viele Wörter auf einmal schreiben“-Modell (MDLM) nicht wesentlich schneller als das alte „ein Wort nach dem anderen“-Modell. Es steckte fest, weil es zu viel „denken“ musste. Aber das neue N-MDLM, mit seiner Fähigkeit, inaktive Teile zu überspringen, schoss förmlich davon.

In diesen Simulationen gelang es dem N-MDLM, Token (Wörter) viel schneller zu generieren und deutlich weniger Energie pro Wort zu verbrauchen als die Standardmodelle. Die Forscher fanden einen „Sweet Spot“: Wenn sie die Wortblöcke zu groß machten, wurde das System durch die schiere Menge der erforderlichen Rechenleistung ausgebremst. Wenn sie die Blöcke jedoch auf eine moderate Größe (wie 4 Wörter) hielten und die „Sparsity“ erhöhten (das Modell also selektiver darin machten, worauf es achtet), erhielten sie das Beste aus beiden Welten.

Insbesondere beobachteten sie, dass sie durch die Verwendung eines Parameters namens K, der steuert, wie „sparse“ das Modell ist, die höchste Energieeffizienz erreichen konnten, wenn K = 1 (die sparsamste Einstellung) war. In diesem Modus sparte das Modell Energie, indem es seine „Neuronen“ nur bei Bedarf feuerte. Der Nachteil war ein winziger, fast unsichtbarer Rückgang der Übersetzungsqualität (gemessen an einem Score namens BLEU), aber die Gewinne an Geschwindigkeit und Energie waren erheblich.

Das Fazit

Das Paper legt nahe, dass wir durch die Kombination der Fähigkeit, in Blöcken zu schreiben, mit der Fähigkeit, unnütze Informationen zu ignorieren, KI-Modelle erschaffen können, die nicht nur schneller, sondern auch wesentlich grüner sind. Die Autoren weisen vorsichtig darauf hin, dass diese Ergebnisse aus Simulationen auf einer Standard-Grafikkarte stammen und nicht von einem dedizierten neuromorphen Chip (der für diese spezifische Aufgabe noch nicht existiert). Die Mathematik und die Simulationsdaten deuten jedoch stark darauf hin, dass dieser Ansatz die Energie- und Geschwindigkeitsengpässe lösen könnte, die derzeit die nächste Generation der KI bremsen. Es ist eine kluge Art, dem Computer zu sagen: „Arbeite nicht einfach härter; arbeite smarter, indem du weißt, wann du eine Pause machen kannst.“