Technische Samenvatting: ANEForge

Probleemstelling

De Apple Neural Engine (ANE) is een vaste functionele neurale versneller die aanwezig is op alle recente Apple-apparaten. De enige geautoriseerde methode om toegang te krijgen tot deze hardware is echter via Apple's CoreML-framework. CoreML behandelt de ANE als een scheduleringsoptie in plaats van een gegarandeerd doelwit; het compileert modellen en selecteert rekeneenheden (CPU, GPU of ANE) tijdens runtime op basis van heuristieken. Bijgevolg is er geen configuratie die executie op de ANE expliciet afdwingt, en blijft de CPU een toegestane fallback. Bovendien rapporteert de runtime niet welke eenheid een specifieke aanroep heeft uitgevoerd, wat het onmogelijk maakt om te garanderen dat een efficiënte workload op de meest energiezuinige hardware draait.

De werkelijke programmeerinterface van de ANE ligt binnen een stap van private, ongedocumenteerde Apple-frameworks (waaronder Espresso, aned en de kerneldriver) die CoreML intern gebruikt. Deze stap is niet blootgesteld aan applicatiecode, wat directe karakterisering van de capaciteiten van de engine of de ontwikkeling van aangepaste workflows die een deterministische plaatsing op de ANE vereisen, verhindert.

Methodologie

ANEForge is een Python-package ontworpen om CoreML te omzeilen en de ANE direct te programmeren door te interacteren met de private framework-stack. De methodologie omvat de volgende architecturale componenten:

• Lazy Tensor Graph Compilation: Gebruikers construeren een lazy operator graph met een gedefinieerde oppervlakte van 58 gefuseerde operatoren en 19 native bridge operatoren. De compiler vertaalt deze volledige graph naar een enkele ANE-programma met behulp van de Model Intermediate Language (MIL).
• Directe Dispatch via Private Symbolen: De package maakt gebruik van een kleine Objective-C++ shim (gecompileerd op de machine van de gebruiker) om toegang te krijgen tot publieke symbolen van private Apple-frameworks, specifiek de e5rt C-interface die door de Espresso runtime wordt geëxporteerd. Dit maakt dispatch mogelijk naar de aned systeemdaemon en de ANE kerneldriver zonder dat daarvoor Apple-entitlements of wijzigingen in de System Integrity Protection nodig zijn.
• Operator Oppervlakte:
  • Fused Route: Vertaalt 58 operatoren (inclusief convoluties, matrixvermenigvuldigingen, activaties, normalisatie en aandacht) naar een enkel programma.
  • Native Bridge Route: Voert 19 native operatoren (bijv. gefuseerde aandacht, argmax, topk, geometrische lagen) uit als sub-programma's via graph cuts, waarbij toegang wordt verkregen tot hardwarelagen die niet door de publieke toolchain worden blootgesteld.
• Training en State Management: De package implementeert een reverse-mode autograd module om forward passes, backward passes en optimizer updates volledig op de engine uit te voeren. Het maakt gebruik van output-to-input buffer aliasing om key-value caches (voor autoregressieve decodering) en optimizer states resident op de engine te houden tussen stappen door, om host-device datatransport te vermijden.
• Gewichtscompressie: Het systeem ondersteunt het streamen van int8, int4 (lookup-table) en sparse gewichten direct vanuit de dequantization path van de engine, in plaats van deze tijdens de compilatie naar half-precisie te converteren.

Belangrijkste Bijdragen

1. CoreML-vrije Toegang: ANEForge biedt de eerste Python-interface naar de ANE die niet afhankelijk is van CoreML voor scheduling, wat zorgt voor deterministische executie op de hardware-accelerator.
2. Native Fused Attention: Het legt de dedicated gefuseerde aandacht-laag van de engine (sdpa) bloot, die de publieke CoreML compiler deelt in standaard matrixvermenigvuldigingen en softmax-operaties.
3. On-Device Training: De package maakt volledige training loops (forward, backward, optimizer) op de ANE mogelijk, waarbij gradiënten en optimizer states op het apparaat blijven.
4. Gewicht-Streaming: Het introduceert een mechanisme om gecomprimeerde gewichten (int4, int8, sparse) direct naar de engine te streamen, wat het geheugenverbruik met wel 4x vermindert voor int4 zonder het executiepad aan te tasten.
5. Numerieke Methoden: De package breidt de bruikbaarheid van de ANE uit buiten neurale netwerken naar fixed-iteration numerieke lineaire algebra (bijv. Krylov solvers) en spectrale methoden (FFT) als statische dataflow grafieken.
6. Machine-gecontroleerd Capaciteitsregister: Een conformance test suite verifieert dat elke operator in het register correct compileert en draait op de hardware, wat dient als een regressiepoort voor nieuwe releases.

Resultaten

Het paper valideert de package tegen referentieframeworks (NumPy, PyTorch, torchvision, transformers, diffusers) op Apple Silicon (M1 Max en M5 Pro):

• Prestaties: Een kleine gefuseerde programma voltooit een aanroep in ongeveer 90 µs, wat dicht bij de dispatch-vloer van de engine van ~70 µs ligt. Een getrainde ResNet-18 forward pass draait end-to-end in 0,33 ms op de ANE, vergeleken met 2,0 ms op de GPU (MPS) en 6,0 ms op de CPU.
• Nauwkeurigheid: Pretrained modellen, inclusief ResNet-18, ViT-B/16 en MiniLM, bereiken een cosine similarity van 1,0000 ten opzichte van float32 framework referenties.
• Training: Een convolutioneel netwerk getraind op CIF_10 met behulp van ANEForge bereikte 71,2% testnauwkeurigheid, binnen 1,7 procentpunt van een PyTorch baseline (72,9%), met gradiënten die overeenkomen tot een 1,0 cosine similarity.
• Optimalisatie: Een optimizer rewrite die aandacht-blokken fuseert tot een enkel programma levert snelheidsverbeteringen op van 3,7–5,3x over diverse sequentielengtes.
• Vermogen: Tijdens de ResNet-18 hot loop verbruikt de ANE 4,5 W, wat een efficiënt energieverbruik demonstreert vergeleken met CPU/GPU alternatieven.

Betekenis en Omvang

Het paper positioneert ANEForge als een tool voor onderzoek en lokale ontwikkeling, waarbij expliciet wordt vermeld dat het niet via de App Store kan worden gedistribueerd vanwege de afhankelijkheid van private frameworks. De primaire betekenis ligt in het mogelijk maken van:

• Karakterisering: Een machine-gecontroleerde census van welke operatoren de ANE accepteert en een rigoureuze meting van de snelheid en energie-efficiëntie onder gecontroleerde condities.
• Privacy-bewuste Personalisatie: Een substraat voor on-device training en personalisatie waarbij data, gradiënten en optimizer states het apparaat nooit verlaten, gebruikmakend van de laagste-vermogen compute block van de system-on-chip.
• Hardware Transparantie: Het bieden van een deterministisch executiepad dat de onzekerheid van runtime-heuristieken van CoreML elimineert.

De auteurs hanteren een bescheiden omvang en erkennen dat het computiepad beperkt is tot half-precisie (fp16), wat algemene wetenschappelijke berekeningen beperkt en voorkomt dat volledige classifier-free guidance diffusion sampling loops worden afgesloten vanwege accumulatiefouten. De package is ontworpen om extensibel te zijn, waardoor gebruikers operatoren kunnen toevoegen tegen de conformance gate of meetinstrumenten kunnen boueren, maar blijft gebonden aan de specifieke hardwarecapaciteiten en private API-versies van de geverifieerde macOS-releases.