Apple Neural Engine: Architecture, Programming, and Performance

In der modernen Welt sind unsere Smartphones und Computer voller spezialisierter Werkzeuge, die darauf ausgelegt sind, spezifische Probleme schnell zu lösen. Während der zentrale Prozessor allgemeine Aufgaben bewältigt und der Grafikprozessor Bilder rendert, ist eine dritte, oft verborgene Komponente essenziell geworden, um künstliche Intelligenz direkt auf dem Gerät auszuführen. Diese Komponente ist eine dedizierte Engine, die gebaut wurde, um massive Mengen einfacher mathematischer Berechnungen durchzuführen, insbesondere das Multiplizieren und Addieren von Zahlen, was die Kernarbeit bei der Erkennung eines Gesichts in einem Foto oder der Transkription eines Sprachbefehls ist. Jahrelang war diese Engine eine Black Box; obwohl Softwareentwickler den Computer zwar anweisen konnten, sie zu nutzen, hatten sie keine Möglichkeit zu sehen, wie sie funktionierte, was sie tatsächlich leisten konnte oder wie sie direkt ohne einen komplexen Vermittler anzusprechen war.

Ein Forscher hat diese Black Box nun geöffnet. Durch die sorgfältige Untersuchung der Software, die auf Apples Geräten läuft, und die Messung der Hardware selbst, hat er das gesamte System kartiert, von den physischen Siliziumchips bis hin zu den unsichtbaren Anweisungen, die sie steuern. Seine Arbeit zeigt, dass diese Engine kein Allzweckcomputer ist, sondern eine hochspezialisierte Maschine, die gebaut wurde, um eine bestimmte Art von Mathematik mit extremer Geschwindigkeit und geringem Stromverbrauch zu bewältigen. Er entdeckte, dass die Engine zwar unglaublich schnell bei bestimmten Aufgaben ist, aber auch strikte Grenzen hat, was die Berechnungen und den Umgang mit Zahlen betrifft. Dieses Verständnis ermöglicht es Entwicklern, bessere Anwendungen zu bauen, die schneller laufen und weniger Akku verbrauchen, zeigt aber auch, dass die Engine keine magische Lösung für jedes Problem ist; sie ist ein präzises Werkzeug mit einem spezifischen Job, und ihre korrekte Nutzung erfordert das Verständnis ihrer einzigartigen Regeln.

Der Forscher begann damit, die Standard-Softwareebenen zu umgehen, die die Engine normalerweise vor den Benutzern verbergen. Anstatt eine High-Level-Anwendung zu fragen, wo eine Aufgabe auszuführen ist, fand er einen direkten Pfad zur Engine selbst, der es ihm ermöglichte, Befehle zu senden und die Ergebnisse mit totaler Kontrolle zu messen. Er behandelte die Engine als eine unabhängige Maschine, die einen Satz von Anweisungen erhält, diese ausführt und dann signalisiert, wenn sie fertig ist. Er fand heraus, dass die Engine Anweisungen nicht nacheinander wie ein Standardcomputer verarbeitet; stattdessen führt sie eine vorgeplante Sequenz von Datenbewegungen und Berechnungen aus, die bereits vor Beginn der Arbeit festgelegt ist. Das bedeutet, dass die Engine keine Entscheidungen basierend auf den Daten treffen kann, die sie während des laufenden Betriebs verarbeitet; der Pfad muss im Voraus festgelegt sein.

Einer der bedeutendsten Funde betrifft die Art und Weise, wie die Engine mit Zahlen umgeht. Sie führt ihre Berechnungen unter Verwendung eines Formats namens Half-Precision durch, das weniger Bits verwendet, um eine Zahl zu speichern, als das Standardformat, das von den meisten Computern genutzt wird. Diese Wahl ermöglicht es der Engine, Daten viel schneller zu bewegen und weniger Energie zu verbrauchen, bringt aber einen Kompromiss bei der Präzision mit sich. Der Forscher entdeckte, dass die Engine dies kompensiert, indem sie ein sehr breites internes Register verwendet, um die laufende Summe ihrer Berechnungen zu halten. Dieses breite Register fungiert wie ein Sicherheitsnetz, das sicherstellt, dass das Endergebnis trotz der Verwendung kleinerer Zahlen bei den einzelnen Schritten genau bleibt. Dieses System hat jedoch einen Bruchpunkt. Wenn eine Berechnung beinhaltet, eine große positive Zahl mit einer großen negativen Zahl zu verrechnen, um eine winzige Differenz zu finden, verliert die Engine an Präzision, da die kleine Differenz in der Rundung der ursprünglichen großen Zahlen verloren geht. In diesen spezifischen Fällen kann die Engine nicht verwendet werden, und die Aufgabe muss an einen anderen Teil des Computers übergeben werden.

Die Studie kartierte auch genau, welche Operationen die Engine ausführen kann. Sie ist exzellent in den Aufgaben, die Vision und Sprache antreiben, wie etwa das Erkennen von Formen in einem Bild oder das Verarbeiten von Schallwellen. Sie kann komplexe Muster wie Faltungen (Convolutions) handhaben, welche die mathematischen Operationen sind, die zum Erkennen von Kanten und Merkmalen in einem Bild verwendet werden. Der Forscher stellte jedoch fest, dass die Engine nicht alles tun kann. Bestimmte Arten von Berechnungen, wie etwa solche, die dreidimensionale Daten oder spezifische Arten von Speicheraktualisierungen betreffen, werden von der Hardware schlichtweg nicht unterstützt. Er entdeckte auch, dass sich die Fähigkeiten der Engine je nach spezifischer Chipgeneration ändern. Beispielsweise können ältere Chips Daten nur auf bestimmte Arten komprimieren, um Platz zu sparen, während neuere Chips Daten in mehr Formaten komprimieren können, was es ihnen ermöglicht, Informationen schneller zu bewegen und weniger Strom zu verbrauchen.

Leistungsmessungen zeigten, dass die Engine, wenn sie für die richtige Art von Arbeit eingesetzt wird, dramatisch schneller und effizienter ist als der Grafikprozessor, der oft für ähnliche Aufgaben verwendet wird. Bei einer spezifischen Art der Bildverarbeitungsaufgabe wurde festgestellt, dass die Engine fast viermal schneller als der Grafikprozessor ist, während sie nur einen Bruchteil der Energie verbraucht. Diese Effizienz ist auf das Design der Engine zurückzuführen, das Daten direkt zwischen dem Speicher und den Recheneinheiten bewegt, ohne unnötige Zwischenstopps. Diese Geschwindigkeit wird jedoch durch die Geschwindigkeit begrenzt, mit der Daten aus dem Hauptspeicher abgerufen werden können. Wenn eine Aufgabe mehr Daten erfordert, als die Engine in ihrem kleinen, schnellen internen Speicher halten kann, sinkt die Leistung, weil die Engine darauf warten muss, dass die Daten eintreffen.

Der Forscher deckte auch auf, wie die Engine ihren eigenen Speicher und Zustand verwaltet. Sie kann bestimmte Daten, wie etwa das Gedächtnis eines Gesprächs oder den Zustand eines Trainingsprozesses, zwischen den Aufgaben in sich selbst gespeichert halten. Dies bedeutet, dass die Engine für eine Sequenz von Schritten die Daten nicht ständig zum Hauptcomputer hin und her senden muss, was eine enorme Zeit spart. Er fand heraus, dass die Engine diese Daten über mehrere Schritte hinweg halten kann, was es ihr ermöglicht, einen Informationsstrom kontinuierlich und ohne Unterbrechung zu verarbeiten. Diese Fähigkeit ist entscheidend für Anwendungen wie die Echtzeit-Sprachübersetzung oder die Texterzeugung, bei denen die Engine sich merken muss, was sie gerade gesagt hat, um entscheiden zu können, was sie als Nächstes sagen soll.

Trotz ihrer Leistungsfähigkeit ist die Engine keine universelle Lösung. Der Forscher identifizierte eine harte Grenze für die Größe der Daten, die sie in einem einzigen Durchgang verarbeiten kann. Wenn eine Aufgabe einen Datensatz erfordert, der größer als zwei Megabyte ist, stockt die Engine, da sie nicht alle notwendigen Informationen in ihrem schnellen Speicher halten kann. Diese Grenze zwingt Entwickler dazu, große Aufgaben in kleinere Teile zu zerlegen, was die Komplexität der Software erhöht. Darüber hinaus ist die Engine kein Allzweckprozessor; sie kann keine beliebigen Programme ausführen. Sie führt nur spezifische, vorkompilierte Anweisungen aus, die speziell für ihre Hardware optimiert wurden. Das bedeutet, dass Software für die Engine mit Blick auf deren spezifische Einschränkungen entwickelt werden muss, und sie kann nicht einfach jedes existierende Programm nehmen und es schneller ausführen.

Die Studie enthüllte auch die komplizierten Sicherheits- und Zugriffskontrollen, die die Engine umgeben. Obwohl der Forscher einen Weg fand, direkt mit ihr zu kommunizieren, stellte er fest, dass dieser Pfad vom Gerätehersteller nicht offiziell unterstützt wird. Die Engine wird durch ein System geschützt, das erfordert, dass Software signiert und verifiziert wird, bevor sie ausgeführt werden kann, um sicherzustellen, dass nur vertrauenswürdige Programme auf die Hardware zugreifen können. Dieses Sicherheitsmodell verhindert, dass unbefugter Code auf der Engine läuft, aber es bedeutet auch, dass der vom Forscher genutzte direkte Pfad fragil ist und mit jedem Softwareupdate brechen könnte. Die Engine ist als eine sichere, isolierte Komponente konzipiert, und obwohl es möglich ist, sie zu erreichen, erfordert dies das Navigieren durch eine komplexe Landschaft von Berechtigungen und Signaturen.

Am Ende zeichnet diese Arbeit das Bild einer leistungsstarken, aber spezialisierten Maschine. Die Apple Neural Engine ist keine mysteriöse Black Box mehr; sie ist eine wohldefinierte Komponente mit bekannten Stärken und Schwächen. Sie glänzt bei den spezifischen mathematischen Aufgaben, die die moderne künstliche Intelligenz antreiben, und bietet eine Geschwindigkeit und Effizienz, die Allzweckprozessoren nicht erreichen können. Sie ist jedoch kein Zauberstab, der jedes Problem lösen kann. Sie hat strikte Grenzen hinsichtlich der Arten von Berechnungen, die sie durchführen kann, der Größe der Daten, die sie handhaben kann, und der Präzision, die sie aufrechterhalten kann. Durch das Verständnis dieser Grenzen können Entwickler bessere Anwendungen bauen, die mit den natürlichen Fähigkeiten der Engine arbeiten, anstatt gegen sie anzukämpfen. Die Forschung zeigt, dass die Zukunft der dezentralen Intelligenz nicht darin liegt, die Engine allgemeiner zu machen, sondern Software zu entwerfen, die perfekt in ihr spezialisiertes Design passt.