기술 요약: ExecuTorch – 디바이스 내 AI 모델 실행을 위한 통합 PyTorch 솔루션

문제 제기

엣지 디바이스에서의 로컬 AI 실행은 실시간 번역, 자율 주행 차량, 환자 모니터링과 같은 저지연 및 오프라인 작동이 필요한 애플리케이션에 필수적입니다. 그러나 연구에서 생산으로의 전환은 여전히 단편화되어 있습니다. PyTorch 가 AI 연구의 70% 이상을 주도하고 있지만, 다양한 하드웨어에 모델을 배포하는 과정에서 개발자들은 종종 PyTorch 생태계를 떠나야 합니다. 기존 솔루션들은 다음과 같은 주요 한계점을 겪고 있습니다:

• 의미론적 격차 (Semantic Gaps): 연결되지 않은 환경 (예: ONNX 또는 TensorFlow Lite 로의 변환) 간 모델 변환은 종종 배포 후에만 드러나는 의미론적 불일치를 초래합니다.
• 재구현 비용: llama.cpp 와 같은 프레임워크나 벤더별 도구 (예: Qualcomm SNPE, Apple CoreML) 는 종종 모델의 완전한 재구현이나 특정 하드웨어 벤더와의 긴밀한 결합을 요구합니다.
• 런타임 오버헤드: TorchScript 및 PyTorch Mobile 과 같은 기존 PyTorch 네이티브 솔루션들은 과도한 런타임 오버헤드와 메모리 발자국을 겪고 있습니다.
• 실험 마찰: "실험 동등성 (experimentation parity)"의 부재는 연구자들이 생산 배포를 결정하기 전에 양자화, 하드웨어 위임과 같은 배포 행위를 PyTorch 내에서 검증할 수 없음을 의미하며, 이로 인해 수치적 불일치와 리소스를 많이 소모하는 디버깅 주기가 발생합니다.

방법론: ExecuTorch 아키텍처

ExecuTorch 는 연구와 생산 간의 격차를 해소하도록 설계된 통합된 PyTorch 네이티브 배포 프레임워크로 소개됩니다. 이는 torch.compile, torch.export 와 같은 핵심 PyTorch 기술을 활용하여 이기종 하드웨어 전반에 배포 가능한 바이너리로 변환될 수 있는 모델의 이식 가능한 표현을 구축합니다.

핵심 구성 요소

1. AOT Export Stack:

   • torch.export 및 IR 들: 시스템은 torch.nn.Module 에서 계산 그래프를 포착하여 Export IR이라는 정적 그래프 데이터 구조로 변환합니다. 이 IR 은 모양의 건전성, 그래프 정규화 (Python 의미론 부재), 메타데이터 가용성에 대한 강력한 보장을 갖춘 Torch FX 그래프입니다.
   • Edge Dialect: Export IR 위에 구축된 더 제한적인 중간 표현 (IR) 입니다. 이는 완전한 기능적 그래프 (변이/별칭 없음) 를 강제하고, 연산자를 300 개 미만의 "Core ATen" 원시 연산자 집합으로 제한하며, 데이터 유형과 메모리 포맷을 명시적으로 정의합니다.
   • 그래프 변환: 양자화, 서브그래프 위임, 메모리 계획과 같은 작업은 사전 (Ahead-of-Time, AOT) 에 수행됩니다. 이를 통해 런타임은 사전 최적화된 그래프 실행에만 집중할 수 있도록 경량화됩니다.

2. 런타임 스택:

   • 경량 실행: 런타임은 최소한의 의존성을 가진 경량 C++ 라이브러리 (C++17) 입니다. 이는 PTE (PyTorch Edge) 파일 형식으로 인코딩된 명령어 목록을 실행합니다.
   • 백엔드 위임: 아키텍처는 선택적 백엔드 위임을 지원합니다. 파티셔너는 특정 하드웨어 가속기 (예: Qualcomm Hexagon, Apple Neural Engine) 가 지원하는 연산자로 구성된 서브그래프를 식별하여 위임 컴파일러로 라우팅합니다. 나머지 그래프는 CPU 에서 실행됩니다.
   • 메모리 관리: 메모리 계획기는 직렬화 전에 고정 크기 메모리 아레나 내에서 공간을 할당하여 런타임 시 동적 메모리 할당을 제거합니다. 이는 마이크로컨트롤러와 같은 리소스 제약 환경에 필수적입니다.

3. 직렬화 및 저장:

   • PTE 형식: 최소 오버헤드를 위해 설계된 사용자 정의 파일 형식으로, 프로그램 데이터 (명령어) 와 가중치 데이터 (세그먼트) 를 분리합니다.
   • 가중치 공유: 다중 메서드 PTE 파일 (prefill 및 decode 와 같은 모델 메서드 간 데이터 공유) 과 프로그램 - 데이터 분리 (외부 PTD 파일을 통한 모델 간 가중치 공유) 를 지원합니다.

핵심 기술

• 양자화: TorchAO 를 기반으로 구축되었으며, 학습 후 양자화 (PTQ) 와 양자화 인식 학습 (QAT) 을 모두 지원합니다. 정적, 동적, 가중치 전용 양자화를 지원하며, 대규모 언어 모델 (LLM) 을 위한 4 비트 그룹별 양자화도 포함합니다.
• 커스텀 커널: 개발자는 커스텀 커널을 구현하고 바이너리 크기를 줄이기 위해 선택적으로 연산자를 빌드할 수 있습니다.
• DevTools: ETRecord(Edge Dialect 그래프 및 디버그 메타데이터 포착) 와 ETDump(런타임 이벤트, 지연 시간, 메모리 수명 포착) 를 포함하여 Eager 모드 동작과 디바이스 내 실행을 연결합니다.

주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 통합 프레임워크: ExecuTorch 는 로컬 실행 가능한 Export 그래프를 통해 실험 동등성을 달성한 최초의 PyTorch 프레임워크로 제시됩니다. 이는 모델 변환이나 재구현 없이 마이크로컨트롤러부터 스마트폰까지 통합 배포를 가능하게 합니다.
2. 설계 원칙: 논문은 "실험 동등성"을 핵심 설계 원칙으로 도입합니다. torch.export 와 기능 기반 백엔드 통합을 통해 연구자들은 생산 배포 전에 양자화, 하드웨어 위임 및 성능을 완전히 PyTorch 내에서 검증할 수 있습니다.
3. 생산 타당성: 이 프레임워크는 Meta 의 앱 패밀리 및 Reality Labs(예: Ray-Ban 스마트 안경) 를 통해 매일 수십억 건의 추론을 수행하며 대규모로 입증되었습니다. 이는 12 개 하드웨어 백엔드에서 비전, 오디오, LLM 을 지원합니다.

성능 결과

저자들은 모바일 디바이스 (Samsung Galaxy S25 Ultra, Google Pixel 9 Pro XL, iPhone 15 Pro) 에서 ONNX Runtime, llama.cpp, LiteRT, CoreML 과 같은 널리 사용되는 대안들에 비해 ExecuTorch 를 평가했습니다.

• LLM 성능:
  • CPU: ExecuTorch 의 XNNPACK 백엔드는 경쟁력 있거나 최첨단 성능을 제공하며, 종종 ONNX 및 LiteRT 를 능가합니다.
  • GPU: Vulkan 백엔드는 높은 토큰 생성 처리량을 달성합니다. Pixel 9 Pro XL 에서 llama.cpp 보다 prefill 처리량에서 현저히 우수합니다.
  • NPU: QNN 백엔드는 모델이 잘 위임되었을 때 NPU(예: Qualcomm Hexagon) 에서 상당한 prefill 속도 향상을 가능하게 합니다. Llama 3.2 1B 의 경우, QNN 은 QAIRT 보다 강력한 prefill 처리량을 보였으나, QAIRT 는 더 높은 decode 처리량을 달성했습니다.
• 비전 모델:
  • CPU 에서 XNNPACK 위임은 LiteRT 및 ONNX 대비 매우 강력한 성능을 발휘했습니다.
  • GPU 에서 Vulkan 위임은 전체 그래프 위임으로 모델을 실행했습니다. 일부 지원되지 않는 연산자가 CPU 폴백을 필요로 했음에도 (예: ViT 및 Swin-T), 그래프 중단으로 인한 오버헤드는 미미했습니다 (지연 시간의 5~6%).
  • iOS 에서 CoreML 위임은 모든 테스트된 모델에서 네이티브 CoreML 과 일치하거나 약간 더 나은 성능을 보였습니다.
• 마이크로컨트롤러 (MCU) 배포:
  • Raspberry Pi Pico 2(520 KiB SRAM) 에서 시연되었습니다.
  • 선택적 빌드는 코드 크기를 약 1.3 MiB 에서 약 200~250 KiB 로 줄였습니다.
  • CMSIS-NN 을 사용한 Int8 양자화는 RAM 사용량을 약 11 KiB 로 줄였으며, FP32 대비 16.46 배의 추론 속도 향상을 제공했습니다.

중요성 및 주장

이 논문은 ExecuTorch 가 PyTorch 의 개발 속도와 엣지 배포 요구 사항 간의 트레이드오프를 성공적으로 제거했다고 주장합니다. 훈련부터 생산까지 PyTorch 의미론을 보존함으로써 연구자들이 친숙한 PyTorch 환경 내에서 양자화 및 하드웨어 위임을 포함한 배포 행위를 검증할 수 있게 합니다. 이러한 "실험 동등성"은 연구와 생산 간의 격차를 해소하여 빠른 실험을 가능하게 하고 실험 - 배포 루프의 마찰을 줄입니다. 이 프레임워크는 성능을 위한 도구를 넘어, 수십 달러 미만의 마이크로컨트롤러부터 복잡한 시스템 온 칩 (SoC) 에 이르는 엣지 디바이스 전체 스펙트럼을 지원하는 통합 워크플로우로 위치합니다.