Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference

Die Arbeit stellt Orion vor, ein Open-Source-System, das erstmals eine direkte Programmierung und effizientes Training von Large Language Models auf der Apple Neural Engine ermöglicht, indem es CoreML umgeht, eine detaillierte Charakterisierung der Hardware-Einschränkungen liefert und durch innovative Kompilierungs- und Patching-Techniken eine signifikante Beschleunigung des Trainings erreicht.

Das Wesentliche

Stell dir vor, dein iPhone oder dein Mac ist wie ein riesiges, hochmodernes Bürogebäude. In diesem Gebäude gibt es einen speziellen, super-schnellen Super-Computer-Raum, den Apple „Neural Engine" (ANE) nennt. Dieser Raum ist darauf spezialisiert, extrem schnelle Rechenaufgaben für künstliche Intelligenz zu erledigen.

Das Problem? Obwohl dieser Raum in über zwei Milliarden Geräten existiert, wird er für das Lernen und Trainieren von großen KI-Modellen (wie Chatbots) fast gar nicht genutzt. Warum? Weil die Tür zu diesem Raum verschlossen ist. Die normalen Werkzeuge, die Apple Entwicklern gibt (CoreML), erlauben es nicht, direkt hineinzugehen oder zu sehen, was dort passiert. Es ist, als würde man versuchen, ein Rennauto zu fahren, aber man darf nur den Motor im Leerlauf hören, nicht aber das Lenkrad berühren.

Orion ist der Schlüssel, den die Forscher in diesem Papier entwickelt haben. Hier ist die Erklärung, wie Orion funktioniert, mit ein paar einfachen Vergleichen:

1. Der Schlüssel zur verschlossenen Tür (Direkter Zugriff)

Bisher mussten Entwickler ihre KI-Modelle durch einen „Blackbox"-Manager schicken, der selbst entschied, ob die Arbeit im Super-Raum (ANE), im normalen Büro (CPU) oder im Grafik-Abteilung (GPU) erledigt wird. Orion umgeht diesen Manager komplett.

• Die Analogie: Stell dir vor, Orion ist ein Meister-Schlosspicker, der die Hintertür zum Super-Raum aufbricht. Plötzlich können die Entwickler direkt hineingehen, die Werkzeuge selbst bedienen und sogar neue Dinge im Raum lernen lassen.

2. Das Problem mit dem „Backen" (Das Trainings-Problem)

Ein großes Hindernis beim Trainieren von KI auf diesem Chip ist, wie er Gewichte (das „Wissen" der KI) speichert.

• Das alte Problem: Stell dir vor, der Super-Raum ist eine Bäckerei. Wenn du ein Brot backen willst (ein KI-Modell trainieren), musst du den Ofen (den Compiler) jedes Mal neu aufheizen und das Rezept (das Programm) komplett neu schreiben, sobald du auch nur eine einzige Zutat (ein Gewicht) ändern willst. Das dauert ewig. Früher musste man das Programm bei jedem kleinen Lernschritt komplett neu „backen", was den Prozess extrem langsam machte.
• Die Orion-Lösung (Delta-Compilation): Orion hat einen genialen Trick gefunden. Statt das ganze Brot neu zu backen, nimmt Orion das fertige Brot aus dem Ofen, schneidet nur die Zutat aus, die man ändern will, tauscht sie gegen die neue aus und legt es wieder hinein.
  • Das Ergebnis: Was früher 4,2 Sekunden pro Schritt dauerte (das komplette Neubauben), dauert jetzt nur noch 0,5 Sekunden. Das Training ist dadurch 3,8-mal schneller geworden!

3. Die strengen Regeln des Raumes (Die 20 Einschränkungen)

Der Super-Raum (ANE) ist sehr speziell und folgt strengen Regeln, die niemand vorher kannte. Die Forscher haben eine „Checkliste" mit 20 Regeln erstellt.

• Beispiel: Wenn du mehrere Zutaten gleichzeitig hineingibst, müssen alle Teller genau die gleiche Größe haben, auch wenn die Zutaten eigentlich unterschiedlich groß sind. Oder: Wenn du ein Rezept aufschreibst, darfst du bestimmte Wörter (Befehle) nicht benutzen, sonst verweigert der Raum die Annahme.
• Orion hat diese Regeln entschlüsselt und einen Übersetzer (Compiler) gebaut, der die normalen KI-Befehle automatisch in die Sprache des Super-Raums übersetzt, damit nichts schiefgeht.

4. Der „Hot-Swap"-Trick (LoRA)

Normalerweise muss man ein KI-Modell neu trainieren, wenn man es für eine neue Aufgabe anpassen will (z. B. von „allgemeine Sprache" auf „medizinische Sprache").

• Orions Trick: Orion erlaubt es, kleine Zusatzmodule (Adapter) wie einen USB-Stick einfach „einzustecken", ohne das ganze System neu zu starten. Man kann also die KI-Fähigkeiten im Flug wechseln, ohne den Computer neu zu starten oder neu zu programmieren.

5. Das Ergebnis: Ein stabiler Lerner

Früher versuchten andere, KI auf diesem Chip zu trainieren, aber das System wurde oft verrückt (es entstanden „NaN"-Fehler, also mathematischer Unsinn, und das Training brach ab).

• Orion hat drei spezifische Fehler gefunden und behoben (wie ein Mechaniker, der undichte Rohre repariert).
• Der Test: Orion konnte ein KI-Modell mit 110 Millionen Parametern in nur 22 Minuten für 1.000 Lernschritte trainieren – und das, ohne dass es jemals abgestürzt ist.

Zusammenfassung für den Alltag

Stell dir vor, du hast einen Ferrari im Keller (den Apple Neural Engine), aber du darfst ihn nur als Parkausweis benutzen. Orion ist der Schlüssel, der dir erlaubt, das Lenkrad zu greifen, den Motor zu starten und den Ferrari zu fahren.

Zusätzlich hat Orion einen Trick entwickelt, wie man den Tank (die KI-Gewichte) nachfüllt, ohne den Motor jedes Mal komplett zu zerlegen und neu zu bauen. Das macht das Lernen der KI auf deinem eigenen iPhone oder Mac so schnell und effizient, dass es in Zukunft möglich sein könnte, dass deine Geräte KI direkt vor Ort lernen, ohne Daten in die Cloud schicken zu müssen.

Kurz gesagt: Orion macht den verborgenen Super-Computer in deinen Apple-Geräten endlich nutzbar, schnell und stabil für das Lernen von künstlicher Intelligenz.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference" auf Deutsch.

1. Problemstellung

Obwohl Apple seit dem A11 Bionic (2017) über zwei Milliarden Geräte mit einem dedizierten Neural Engine (ANE) – einem Neural Processing Unit (NPU) – ausgeliefert hat, bleibt diese Hardware für Large Language Models (LLMs) weitgehend ungenutzt.

• Software-Barrieren: Das öffentliche Framework CoreML fungiert als undurchsichtiger „Black-Box"-Scheduler. Entwickler können die ANE nicht direkt ansteuern, Gradientenberechnungen durchführen oder das Training erzwingen. CoreML entscheidet zur Laufzeit selbstständig, ob Operationen auf CPU, GPU oder ANE laufen.
• Fehlende Dokumentation: Der native Befehlssatz (MIL – Model Intermediate Language) und die Kompilierungs-APIs sind undokumentiert und in privaten Frameworks (AppleNeuralEngine.framework) versteckt.
• Trainings-Herausforderung: Die ANE „backt" Gewichte (Weights) zur Kompilierungszeit fest in das Programm ein. Ein naiver Trainingsansatz würde daher eine vollständige Neukompilierung bei jedem Gewichts-Update erfordern, was extrem ineffizient ist. Bisherige Versuche (wie maderix oder ANEgpt) fehlten entweder an einem Compiler, konnten das Training nicht stabil fortsetzen (NaN-Divergenz) oder nutzten Python für die Orchestrierung, was die Leistung beeinträchtigte.

2. Methodik: Das Orion-System

Orion ist das erste Open-Source-System, das eine direkte ANE-Ansteuerung, einen Compiler-Pipeline und stabiles Training in einer nativen Laufzeitumgebung (Objective-C) vereint, wobei CoreML vollständig umgangen wird.

A. Charakterisierung der Hardware

Basierend auf früheren Reverse-Engineering-Arbeiten von maderix erstellten die Autoren einen Katalog von 20 Einschränkungen der ANE-Programmierung. Dazu gehören:

• MIL IR-Beschränkungen: Bestimmte Operationen (z. B. concat) werden abgelehnt; Aktivierungsfunktionen wie gelu müssen durch tanh-Approximationen ersetzt werden.
• Speicher- und I/O-Einschränkungen: Strenge Anforderungen an Tensor-Layouts (z. B. [1, C, 1, S]), einheitliche Speichergrößen für Multi-Output-Buffer und alphabetische Sortierung von Ein-/Ausgängen.
• Kompilierungslimits: Ein Prozess kann nur ca. 119 Programme kompilieren, bevor es zu Fehlern kommt.

B. Compiler-Pipeline

Der Orion-Compiler transformiert einen Graph-IR (27 Operationen) durch fünf Optimierungspassagen (Dead Code Elimination, Identity Elimination, Cast Fusion, SRAM-Annotation, Constraint Validation) in ANE-natives MIL.

• Er unterstützt 13 verifizierte Frontends für GPT-2-Inferenz und das Training von Transformern (Stories110M).
• Er generiert E5-Mikrocode und verwaltet Gewichte als BLOBFILE.

C. Delta-Kompilierung (Kerninnovation)

Da Gewichte fest im Programm verankert sind, würde ein Update normalerweise eine Neukompilierung erfordern (ca. 4,2 Sekunden pro Schritt). Orion löst dies durch Delta-Kompilierung:

1. Das kompilierte Programm wird aus der ANE entladen (unload).
2. Die Gewichtsdateien auf der Festplatte werden gepatcht (nur die Binärdaten werden aktualisiert).
3. Das Programm wird mit den neuen Gewichten neu geladen (load), ohne den Compiler (ANECompiler) aufzurufen.

• Ergebnis: Die Neukompilierungszeit sinkt von 4.200 ms auf 494 ms (8,5-fache Beschleunigung), und das Limit von 119 Kompilierungen pro Prozess wird umgangen.

D. Numerische Stabilität

Um stabiles Training ohne NaN-Fehler (die in früheren Systemen wie ANEgpt auftraten) zu erreichen, wurden drei kritische Bugs behoben:

1. Verzögerte Kompilierung: Programme werden erst nach dem Laden der Checkpoint-Gewichte kompiliert, um Inkonsistenzen zu vermeiden.
2. fp16-Überlauf-Clamping: Aktivierungen werden vor Softmax und LayerNorm auf den Bereich [-65504, +65504] begrenzt, um Überläufe zu verhindern.
3. Gradienten-Sanitisierung: NaN- und Inf-Werte werden vor dem Schreiben in die Gewichtsdateien bereinigt.

E. LoRA als Input

Anstatt LoRA-Adapter-Gewichte neu zu kompilieren, werden diese als IOSurface-Eingaben an das bereits kompilierte Basis-Programm übergeben. Dies ermöglicht das „Hot-Swapping" von Adaptern ohne Neukompilierung.

3. Wichtige Ergebnisse

Inference-Performance (GPT-2 124M auf M4 Max)

• Durchsatz: 170+ Tokens/Sekunde im Decode-Modus (100% Übereinstimmung mit CPU-Baseline).
• Vergleich: Die CPU ist im Decode-Modus schneller (283 tok/s) aufgrund des IOSurface-Round-Trip-Overheads der ANE, aber die ANE bietet Vorteile bei langen Sequenzen (Prefill) und spezifischen Operationen (z. B. Softmax über große Vokabulare 33,8x schneller als CPU).
• Energieeffizienz: Die ANE ist im Idle-Zustand stromlos (Hard Power Gating).

Trainings-Performance (Stories110M auf TinyStories)

• Geschwindigkeit: 1.000 Trainingsschritte in 22 Minuten (mit Delta-Kompilierung) im Vergleich zu ~85 Minuten bei vollständiger Neukompilierung (v1.0). Dies entspricht einer 3,8-fachen Beschleunigung der Gesamtlaufzeit.
• Stabilität: Stabiles Training über 1.000 Schritte mit null NaN-Vorkommen, auch bei Checkpoint-Wiederherstellung (Resume).
• Ressourcennutzung: Das Training läuft in einem einzigen Prozess ohne Neustarts (exec()), was den Overhead minimiert.

4. Bedeutung und Ausblick

• Entschlüsselung der ANE: Orion liefert das erste vollständige, offene System, das die ANE direkt für LLMs nutzt. Es dokumentiert 20 technische Einschränkungen, von denen 14 neu entdeckt wurden.
• Paradigmenwechsel im Training: Die Arbeit widerlegt die Annahme, dass das „Weight-Baking" der ANE ein unüberwindbares Hindernis für Training sei. Durch Delta-Kompilierung wird das Training praktikabel.
• Open Source: Orion ist als Open-Source-Projekt (MIT-Lizenz) verfügbar und bietet eine native Objective-C-Laufzeitumgebung, die Python nur für die einmalige Gewichts-Konvertierung benötigt.
• Zukunftspotenzial: Da über zwei Milliarden Geräte diese Hardware besitzen, eröffnet Orion die Möglichkeit für effizientes, datenschutzfreundliches On-Device-Training und Inferenz, ohne auf die GPU angewiesen zu sein. Die Erkenntnisse könnten auch für andere NPUs (Qualcomm, Samsung, Google) relevant sein.

Zusammenfassend demonstriert Orion, dass Apple's Neural Engine ein mächtiger, bisher unterschätzter Beschleuniger für maschinelles Lernen ist, der durch systematische Reverse-Engineering und innovative Software-Architektur (Compiler, Delta-Kompilierung) voll nutzbar gemacht werden kann.