Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference
Il paper presenta Orion, il primo sistema end-to-end open che bypassa CoreML per abilitare l'addestramento e l'inferenza di modelli linguistici direttamente sul Neural Engine di Apple, superando le limitazioni di compilazione tramite tecniche di patching dei pesi e ottenendo un significativo aumento della velocità di addestramento.