Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference

이 논문은 CoreML 을 우회하여 애플의 신경 엔진 (ANE) 을 직접 제어하고, 컴파일 재구성을 최적화하며 LoRA 어댑터를 지원하는 'Orion'이라는 오픈 소스 시스템을 통해 애플 기기에서 대규모 언어 모델의 온디바이스 학습과 추론을 가능하게 했음을 제시합니다.

핵심

🍎 애플의 '신경 엔진'을 깨우다: 오리온 (Orion) 프로젝트 설명

이 논문은 애플 기기 (아이폰, 맥북 등) 에 내장된 강력한 AI 칩인 **'신경 엔진 (Neural Engine)'**을 어떻게 하면 우리가 평소 쓰지 않던 '거대한 잠재력'을 끌어낼 수 있는지 보여주는 혁신적인 연구입니다.

비유하자면, **오리온 (Orion)**은 애플이 만든 **'보이지 않는 비밀 공장의 열쇠'**를 찾아낸 프로젝트입니다.

---

1. 문제: 거대한 엔진이 잠들어 있다 🛌

애플 기기는 전 세계에 20 억 대 이상 팔렸습니다. 이 기기들에는 **'신경 엔진 (ANE)'**이라는 특수한 AI 전용 엔진이 달려 있습니다. 이 엔진은 매우 빠르고 전기를 거의 쓰지 않습니다.

하지만 문제는 누구도 이 엔진을 제대로 쓰지 못한다는 것입니다.

• 현재 상황: 애플은 개발자들에게 "이 엔진은 우리가 알아서 다 처리할게, 너는 그냥 CoreML 이라는 검은 상자 (블랙박스) 만 쓰면 돼"라고 말합니다.
• 결과: 개발자들은 엔진의 속도를 직접 조절할 수 없고, 특히 AI 를 학습시키는 (Training) 작업은 아예 불가능합니다. 마치 F1 레이싱카를 타고 있는데, 시동을 걸고 1 단계 기어만 넣을 수 있는 상태와 같습니다.

2. 해결책: 오리온 (Orion) 이 열쇠를 찾다 🔑

이 논문은 **오리온 (Orion)**이라는 시스템을 소개합니다. 이는 애플의 비공개 (사설) 문을 열고, 직접 엔진을 조종할 수 있게 해주는 첫 번째 오픈소스 시스템입니다.

🏭 핵심 아이디어 1: "요리할 때 재료를 미리 섞지 마!" (델타 컴파일)

기존 방식의 가장 큰 문제는 학습 속도였습니다.

• 기존 방식 (비유): AI 를 학습시킬 때마다, 요리사가 **새로운 레시피 (컴파일)**를 다시 작성하고, 재료를 다 섞어서 (가중치 고정) 오븐에 넣어야 했습니다. 이 과정이 너무 느려서, 실제 요리 (계산) 를 하는 시간보다 레시피를 다시 쓰는 시간이 80% 이상을 차지했습니다.
• 오리온의 방식 (델타 컴파일): 오리온은 **"요리 도구는 그대로 두고, 재료만 바꿔 넣자!"**는 아이디어를 썼습니다.
  • 이미 만들어진 요리 도구 (프로그램) 를 잠시 꺼내놓고, 재료가 담긴 통 (가중치 파일) 만 빠르게 갈아 끼운 뒤 다시 넣습니다.
  • 효과: 레시피를 다시 쓰는 시간이 4.2 초에서 0.5 초로 줄어든 것입니다! (약 8.5 배 빨라짐). 덕분에 학습 속도가 3.8 배 빨라졌습니다.

🧩 핵심 아이디어 2: "비밀 규칙 20 가지" (성격 분석)

오리온 개발팀은 이 엔진이 매우 까다로운 성격을 가진 것을 발견했습니다. 마치 정해진 규칙만 지키는 로봇처럼요.

• 예시: "입력되는 데이터의 크기가 모두 같아야 해", "이름 순서대로 배열해야 해", "특정 함수는 쓰면 안 돼" 같은 20 가지의 숨겨진 규칙을 찾아냈습니다.
• 이 규칙들을 무시하면 엔진이 조용히 오작동하거나 아예 멈춰버립니다. 오리온은 이 규칙들을 모두 파악하고, 개발자가 실수하지 않도록 자동으로 맞춰주는 번역기 (컴파일러) 역할을 합니다.

🔄 핵심 아이디어 3: "학습 중에도 멈추지 않는 마법" (안정성)

이전 연구들은 학습을 하다 보면 숫자가 깨져서 (NaN 오류) 프로그램이 멈추는 문제가 있었습니다.

• 오리온의 해결책: 세 가지 치명적인 버그를 찾아서 고쳤습니다.
  1. 기억력: 학습을 멈췄다가 다시 시작할 때, 이전 상태를 정확히 기억하게 했습니다.
  2. 폭주 방지: 숫자가 너무 커져서 터지는 것을 막았습니다.
  3. 오염 제거: 잘못된 데이터가 섞여 들어가는 것을 막았습니다.
• 결과: 1,000 번의 학습을 거뜬히 수행하면서도 숫자가 깨지지 않았습니다.

🧪 핵심 아이디어 4: "옷만 갈아입는 LoRA"

AI 모델을 새로운 일에 맞게 고칠 때 (LoRA), 보통은 모델을 통째로 다시 만들어야 합니다.

• 오리온의 방식: 기본 모델은 그대로 두고, **추가 부품 (어댑터)**만 입력으로 넣어줍니다. 마치 기본 옷 위에 다른 스타일의 조끼만 갈아입는 것처럼, 재컴파일 없이도 즉시 새로운 작업을 수행할 수 있습니다.

---

3. 실제 성능: 얼마나 빠를까? 🚀

• 추론 (대화하기): GPT-2 모델을 실행했을 때, 초당 170 개의 단어를 처리합니다. (CPU 보다 약간 느리지만, 전기는 거의 안 쓰고 항상 켜둘 수 있습니다.)
• 학습 (공부하기): 1 억 1 천만 개의 파라미터를 가진 AI 가 '동화'를 1,000 번 학습하는 데 22 분이 걸렸습니다. (기존 방식은 85 분 걸렸습니다.)

4. 왜 이것이 중요한가요? 🌍

지금까지 AI 학습은 거대한 서버나 고가의 그래픽 카드 (GPU) 가 필요했습니다. 하지만 오리온은 우리가 이미 가지고 있는 아이폰이나 맥북으로도 AI 학습이 가능함을 증명했습니다.

• 에너지 효율: 신경 엔진은 사용하지 않을 때 전기를 아예 안 씁니다. (배터리 아낌)
• 개인 정보 보호: 데이터를 클라우드에 보내지 않고 기기 안에서 학습할 수 있습니다.
• 미래: 이제 개발자들은 애플 기기의 숨겨진 능력을 이용해 더 똑똑하고 개인화된 AI 를 만들 수 있게 되었습니다.

📝 한 줄 요약

"오리온은 애플 기기에 숨겨진 '초고속 AI 엔진'의 비밀 문을 열고, 레시피를 다시 쓰지 않고 재료만 바꿔 넣는 마법 같은 기술로, 스마트폰에서도 AI 를 가르칠 수 있게 만든 첫 번째 열쇠입니다."

기술 요약

Orion: Apple Neural Engine (ANE) 를 위한 LLM 훈련 및 추론을 위한 특성 분석 및 프로그래밍

이 논문은 Orion이라는 오픈 소스 시스템을 소개하며, 이는 Apple 의 Neural Engine (ANE) 을 직접 프로그래밍하여 대규모 언어 모델 (LLM) 의 **추론 (Inference)**과 **안정적인 훈련 (Training)**을 가능하게 하는 최초의 엔드 - 투 - 엔드 시스템입니다.

1. 문제 정의 (Problem)

Apple 은 A11 Bionic 이후 모든 실리콘 칩에 Neural Engine (ANE) 을 탑재했으며, M4 기준 최대 38 TOPS 의 성능을 제공합니다. 그러나 현재 ANE 는 LLM 작업에서 거의 활용되지 않고 있습니다. 그 주요 원인은 다음과 같습니다.

• CoreML 의 불투명성: Apple 의 공개 ML 프레임워크인 CoreML 은 ANE 를 블랙박스 스케줄러로만 제공하며, 개발자가 ANE 실행을 강제하거나 직접 프로그래밍할 수 없으며, 온디바이스 훈련을 지원하지 않습니다.
• 비공개 API: ANE 의 네이티브 명령어 집합 (MIL) 과 컴파일/평가 API 는 비공개 프레임워크 (AppleNeuralEngine.framework) 에 숨겨져 있습니다.
• 훈련의 어려움: ANE 는 컴파일 시 가중치 (Weights) 를 프로그램에 내장 (Bake) 하는 방식이기 때문에, 가중치가 업데이트될 때마다 전체 프로그램을 다시 컴파일해야 하므로 훈련 속도가 매우 느립니다. 또한, 기존 연구 (ANEgpt 등) 는 NaN(Not a Number) 오류로 인해 훈련이 불안정하거나 재개 (Resume) 가 불가능했습니다.

2. 방법론 (Methodology)

Orion 은 CoreML 을 우회하여 Apple 의 비공개 API (ANEClient, ANECompiler 등) 를 직접 호출하는 Objective-C 런타임을 구축했습니다. 주요 기술적 접근 방식은 다음과 같습니다.

2.1 ANE 특성 분석 (Characterization)

기존 연구 (maderix 등) 를 바탕으로 ANE 의 하드웨어 및 소프트웨어 제약을 체계적으로 분석하여 20 가지 제약 조건을 도출했습니다.

• MIL IR 제한: concat 연산 불가, gelu 활성화 함수 대신 tanh 근사 사용 필요 등.
• 메모리 및 I/O: 다중 출력/입력 버퍼의 크기 통일 요구, 알파벳 순서로 입력/출력 정렬 필요, 최소 IOSurface 크기 (약 49KB) 등.
• 컴파일 제한: 프로세스당 약 119 회 컴파일 제한, 가중치 컴파일 타임 내장 등.
• 성능 특성: 1x1 컨볼루션이 행렬 곱 (MatMul) 보다 3 배 빠르지만, 채널 수가 매우 큰 (예: 32K) 컨볼루션은 거부됨.

2.2 컴파일러 파이프라인

• 그래프 IR: 27 가지 연산을 지원하는 고수준 그래프 IR 을 정의했습니다.
• 최적화: 5 단계 최적화 패스 (사망 코드 제거, 항등 연산 제거, 캐스트 퓨전, SRAM 주석, 제약 조건 검증) 를 거쳐 ANE 네이티브 MIL 코드로 변환합니다.
• 검증: GPT-2 추론 및 Stories110M 훈련을 위한 13 개의 프론트엔드를 구현하고 수동 작성 MIL 과 구조적 동등성을 검증했습니다.

2.3 델타 컴파일 (Delta Compilation) - 핵심 혁신

ANE 의 컴파일 시 가중치 내장 문제를 해결하기 위해 델타 컴파일 기술을 도입했습니다.

• 기존 방식 (v1.0): 가중치 업데이트 시 전체 프로그램을 다시 컴파일 (약 4,200ms 소요).
• Orion 방식 (v2.0):
  1. 기존 컴파일된 프로그램을 ANE 에서 언로드 (Unload).
  2. 디스크상의 가중치 파일 (BLOBFILE) 만 패치 (수정).
  3. 프로그램을 다시 로드 (Reload).
  • 이 과정에서 ANECompiler 를 전혀 호출하지 않아 컴파일 오버헤드를 8.5 배 줄였습니다.

2.4 LoRA 어댑터 - 입력 방식 (LoRA Adapter-as-Input)

가중치를 컴파일 시 내장하는 대신, LoRA 어댑터 행렬을 IOSurface 입력으로 전달하여 컴파일 없이도 어댑터를 핫스왑 (Hot-swap) 할 수 있게 구현했습니다.

2.5 수치적 안정성 확보

ANEgpt 에서 발생하던 NaN 수렴 문제를 해결하기 위해 3 가지 버그를 수정했습니다.

1. 지연 컴파일: 체크포인트 로딩 후 프로그램을 컴파일하여 가중치 불일치 해결.
2. fp16 오버플로우 클램핑: Softmax 및 레이어 노멀라이제이션 전 활성화 값을 fp16 범위로 클램핑.
3. 그라디언트 정제: BLOBFILE 작성 전 NaN/Inf 값을 제거 및 정제.

3. 주요 결과 (Results)

M4 Max (16 ANE 코어, 64GB 메모리) 환경에서 실험한 결과는 다음과 같습니다.

3.1 추론 성능 (GPT-2 124M)

• 처리량: 디코드 모드에서 초당 170 토큰 (tokens/s) 달성.
• 정확도: CPU fp32 기준과 100% 일치 (최대 로짓 오차 0.073).
• 비고: 단일 토큰 디코딩 시 IOSurface 왕복 오버헤드 때문에 CPU 가 더 빠르지만, 긴 시퀀스 (Prefill) 에서는 ANE 가 효율적입니다.

3.2 훈련 성능 (Stories110M, TinyStories)

• 속도 향상: 1,000 스텝 훈련 시간을 **약 85 분 (v1.0) 에서 22.4 분 (v2.0)**으로 단축 (3.8 배 가속).
• 오버헤드 감소: 훈련 스텝당 재컴파일 시간이 4,200ms 에서 494ms 로 감소 (스텝 시간의 83.9% → 36.8%).
• 안정성: 1,000 스텝 동안 NaN 발생 0 회, 체크포인트 재개 (Resume) 시에도 안정적인 수렴 확인.

3.3 LoRA 성능

• 컴파일 없이 IOSurface 입력만 교체하여 LoRA 어댑터를 즉시 전환 가능.

4. 기여 및 의의 (Significance)

1. 첫 번째 오픈 소스 ANE LLM 시스템: 추론뿐만 아니라 안정적인 온디바이스 훈련을 지원하는 최초의 엔드 - 투 - 엔드 시스템입니다.
2. ANE 제약 조건 카탈로그: 20 가지의 구체적인 프로그래밍 제약 조건 (이 중 14 개는 새로 발견됨) 을 문서화하여 향후 ANE 프로그래밍의 기초를 제공했습니다.
3. 델타 컴파일 기술: ANE 의 컴파일 - 실행 모델이 가진 훈련 병목 현상을 우회하는 혁신적인 방법을 제시하여, NPU 기반 LLM 훈련의 실용성을 입증했습니다.
4. 오픈 소스 공개: MIT 라이선스로 전체 소스 코드 (Objective-C 런타임, 컴파일러, 벤치마크 등) 를 공개하여 연구 커뮤니티가 ANE 를 활용한 차세대 AI 시스템 개발을 가속화할 수 있도록 했습니다.

결론적으로, Orion 은 Apple 의 방대한 ANE 하드웨어 자원을 LLM 훈련 및 추론에 효과적으로 활용할 수 있는 길을 열었으며, 특히 '델타 컴파일' 기법을 통해 NPU 의 컴파일 오버헤드 문제를 해결한 점이 가장 큰 기술적 기여입니다.