Polarization-coupled complete operators in sliding ferroelectric semiconductors for native in-memory attention computing
Dieses Paper präsentiert eine auf gleitenden ferroelektrischen Halbleitern basierende In-Memory-Computing-Hardware, welche lineare und nichtlineare Operatoren intrinsisch über die Polarisation koppelt, um vollständige Transformer-Attention-Primitive, einschließlich nativem Softmax, mit ultra-niedriger Latenz und Energie für generative KI in Echtzeit auszuführen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne künstliche Intelligenz, insbesondere Systeme, die Geschichten schreiben, Sprachen übersetzen und Bilder erzeugen, beruht auf einem mathematischen Prozess namens „Attention“ (Aufmerksamkeit). Dieser Prozess ermöglicht es der Maschine zu entscheiden, welche Teile eines Satzes oder eines Bildes in einem gegebenen Moment am wichtigsten sind. Um diese Entscheidungen zu treffen, muss der Computer zwei verschiedene Arten von Berechnungen gleichzeitig durchführen: einfache Addition und Multiplikation, die unkompliziert sind, sowie komplexe, gekrümmte mathematische Funktionen, die wie ein Filter wirken, um die Ergebnisse zu normalisieren. Derzeit sind Computerchips darauf ausgelegt, die einfache Mathematik sehr gut zu bewältigen, aber sie haben Schwierigkeiten mit der komplexen Filterung. Sie müssen Daten ständig zwischen dem Speicher, wo Informationen gespeichert sind, und einem separaten Prozessor, der die komplexe Mathematik verarbeitet, hin- und herschieben. Dieses ständige Verschieben von Daten verlangsamt das System und verbraucht enorme Mengen an Energie, was einen Engpass schafft, der begrenzt, wie schnell und effizient diese intelligenten Systeme werden können.
Ein Team von Forschern der Nanjing University und anderer Institutionen hat einen neuen Typ Computerchip entwickelt, der dieses Problem löst, indem er beide Arten von Berechnungen – die einfachen und die komplexen – an genau demselben Ort durchführt, an dem auch die Daten gespeichert sind. Sie entwickelten ein winziges Bauteil aus einem speziellen Material namens ReS2, einem geschichteten Halbleiter, dessen elektrische Eigenschaften durch Verschieben verändert werden können. In diesem einzelnen Bauteil integrierten sie zwei verschiedene Pfade, auf denen Elektrizität fließen kann. Ein Pfad leitet Elektrizität vertikal durch das Material, während der andere sie seitlich entlang der Oberfläche leitet. Beide Pfade werden durch denselben internen Schalter gesteuert, der als ferroelektrische Polarisation bekannt ist und wie eine permanente Einstellung des Speichers wirkt, die mit einem winzigen elektrischen Impuls umgeschaltet werden kann.
Wenn die Forscher eine Spannung anlegen, um diesen internen Schalter umzuschalten, ändert dies, wie leicht Elektrizität durch beide Pfade gleichzeitig fließt. Der vertikale Pfad reagiert in einer geraden, vorhersehbaren Linie, was ihn perfekt für die einfachen Aufgaben der Addition und Multiplikation macht. Der seitliche Pfad hingegen reagiert auf eine gekrümmte, exponentielle Weise und führt somit natürlich die komplexe Filter-Mathematik aus, die normalerweise einen separaten Prozessor erfordert. Da beide Pfade demselben internen Schalter unterliegen, kann das Gerät den gesamten Attention-Prozess in einem einzigen Schritt ausführen, ohne Daten zu bewegen. Die Forscher bauten ein kleines Gitter dieser Geräte, das in einem spezifischen Muster angeordnet ist, und demonstrierten, dass es die Kernlogik eines modernen Sprachmodells erfolgreich ausführen kann. Das System arbeitete mit unglaublicher Geschwindigkeit und schloss Operationen in 600 Pikosekunden ab – was weniger als eine Milliardstel Sekunde ist – und verbrauchte eine erstaunlich geringe Menge an Energie, die lediglich 320 Attojoule pro Operation betrug.
Das Team hat nicht nur beim Bau des Geräts haltgemacht; es hat bewiesen, dass es lernen und sich anpassen kann. Durch die Anpassung der physischen Größe der Pfade innerhalb des Geräts konnten sie steuern, wie empfindlich die komplexe Mathematik war, was es ihnen ermöglichte, den Chip für unterschiedliche Aufgaben zu konzipieren. Sie testeten das System mit einem geschlossenen Regelkreis, bei dem der Chip Texteingaben erhielt und in Echtzeit eine Antwort generierte. Als er mit dem Satz „I am hungry“ (Ich habe Hunger) aufgefordert wurde, berechnete die Hardware sofort die notwendigen Attention-Gewichte und generierte die Fortsetzung „need pizza now“ (brauche jetzt Pizza). Dies demonstrierte, dass das Gerät den vollständigen Zyklus des Verstehens und Generierens von Sprache ohne externe Hilfe bewältigen kann. Darüber hinaus nutzten die Forscher die gemessene Leistung ihres winzigen Geräts, um ein viel größeres System zu simulieren. In diesen Simulationen konnte der Chip elektrische Signale aus dem Gehirn einer Maus, die verschiedene emotionale Zustände wie Angst oder Aufregung darstellten, erfolgreich in geschriebene Sprache übersetzen. Die Simulation zeigte, dass dieser Ansatz skaliert werden kann, um komplexe, reale Aufgaben zu bewältigen, die sensorische Daten und Sprachgenerierung beinhalten.
Diese Arbeit stellt einen fundamentalen Wandel in der Art und Weise dar, wie Computerhardware für künstliche Intelligenz entworfen wird. Anstatt zu versuchen, die bestehende lineare Mathematik schneller zu machen, haben die Forscher die fehlende komplexe Mathematik direkt in das Speichermaterial eingebettet. Dadurch haben sie die Notwendigkeit des energieintensiven Datenaustauschs beseitigt, der bisherige Generationen von Chips geplagt hat. Das Gerät behält seine Einstellungen über ein Jahr lang ohne Strom bei und kann Millionen Mal neu geschrieben werden, was beweist, dass es für den praktischen Einsatz stabil genug ist. Der Erfolg dieses Experiments deutet darauf an, dass die Zukunft effizienter künstlicher Intelligenz nicht aus besserer Software oder schnelleren Prozessoren kommen könnte, sondern aus Materialien, die in der Lage sind, das gesamte Spektrum der für das Denken erforderlichen mathematischen Operationen nativ auszuführen – und das alles innerhalb einer einzigen, winzigen Speichereinheit.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.