When NPUs Are Not Always Faster: A Stage-Level Analysis of Mobile LLM Inference

기술 요약: NPU 가 항상 빠른 것은 아님

문제 제기
모바일 장치에서 대규모 언어 모델 (LLM) 을 배포하는 작업은 점점 더 CPU 와 신경 처리 장치 (NPU) 를 모두 포함하는 이종 실행에 의존하고 있습니다. 그러나 기존 연구는 연산자 (operator) 및 파이프라인 수준에서 NPU 의 효과를 체계적으로 규명하지 못했습니다. 기존 벤치마크는 종종 집계 처리량만 제공하거나 CPU 와 GPU 를 비교할 뿐, 특히 Prefill(계산 집약적) 과 Decode(메모리 병목) 단계의 고유한 계산 특성과 관련하여 특정 LLM 워크로드 하에서 NPU 가 어떻게 수행되는지에 대한 이해의 공백을 남겨두고 있습니다. 통신, 양자화, 그리고 스케줄링 오버헤드를 고려할 때 NPU 로의 오프로딩이 실제로 지연 시간을 개선하거나 에너지 효율성을 높이는지에 대한 데이터가 부족합니다.

방법론
저자들은 이종 CPU–NPU 시스템 온 칩 (Snapdragon 8 Gen 3) 에서 단계 인식형 다수준 벤치마킹 프레임워크를 제시합니다. 본 연구는 llama.cpp 추론 엔진을 활용하여 양자화된 네 가지 모델 (Llama-3.2-3B, Llama-3.1-8B, Qwen3-4B, Qwen3-8B) 을 평가합니다.

주요 방법론적 혁신은 다음과 같습니다:

1. 단계 수준 분석: 추론을 배치화된 GEMM 인 Prefill 단계와 자기회귀적 GEMV 인 Decode 단계로 분리하여 성능 차이를 분석합니다.
2. 연산자 수준 프로파일링: 순수 계산 시간인 op-usec 과 스케줄링 및 동기화를 포함한 총 호출 시간인 call-usec 을 구분하여 오케스트레이션 오버헤드를 정량화합니다.
3. OPMASK 기반 파이프라인 분해: 세 가지 특정 NPU 파이프라인 구성 요소의 지연 시간 기여도를 격리하고 측정하기 위해 네 가지 실행 모드를 사용하는 통제된 방법론:
   • 통신: CPU–NPU 요청 발송 및 응답 처리.
   • 양자화: 동적 데이터 형식 변환 (예: F32 에서 INT8 로).
   • 계산: NPU 유닛에서의 실제 실행.
     이러한 구성 요소를 점진적으로 활성화함으로써 저자들은 하드웨어 수정 없이 각 단계의 특정 오버헤드를 계산합니다.

주요 결과
본 연구는 NPUs 가 CPU 를 보편적으로 능가하지 않는다는 반직관적인 성능 역전을 드러냅니다:

• Prefill 단계 (CPU 우위): 계산 집약적인 Prefill 단계에서 CPU 는 1.27 배에서 1.62 배까지 NPU 를 일관되게 능가합니다. 이는 대규모 행렬에 대한 데이터 타이링을 제한하는 NPU 의 제한된 온칩 메모리 (8 MiB VTCM), 성숙한 CPU GEMM 라이브러리에 비해 덜 최적화된 HVX 내장 함수, 그리고 지원되지 않는 연산자가 CPU 로 폴백할 때 발생하는 오버헤드 때문입니다.
• Decode 단계 (제한된 NPU 이득): 효율적인 소프트웨어 관리 스크래치패드 메모리와 DMA 로 인해 핵심 MUL_MAT 연산자 (GEMV) 에서 NPU 는 1.55 배–1.67 배의 이점을 보이지만, 엔드투엔드 속도 향상은 미미합니다 (1.05 배–1.20 배).
• 오버헤드 병목 현상: 두 가지 주요 요인이 NPU 의 이점을 훼손합니다:
  1. 스케줄링 세: 경량 연산자 (예: RMS_NORM) 의 경우 CPU–NPU 왕복 통신 비용으로 인해 call-usec 이 op-usec 보다 8 배–22 배 높습니다.
  2. 크로스 백엔드 폴백: 네이티브 NPU 지원이 부족한 연산자 (예: FLASH_ATTN_EXT) 는 캐시 일관성 동기화 및 텐서 재배열로 인해 1.5 배의 지연 시간 패널티를 안고 CPU 로 폴백합니다.
• 에너지 소비: 예상과 달리 NPU 오프로딩을 늘리면 총 에너지 소비가 더 높아지며, 긴 프롬프트의 경우 배터리 방전이 최대 **51%**까지 증가합니다. 이는 Prefill 단계에서의 증가된 실행 시간과 스케줄링 및 폴백의 누적 오버헤드 때문입니다.
• 파이프라인 분해: 통신 오버헤드는 Prefill 단계에서는 무시할 수 수준 (<3.2%) 이지만, 세밀한 연산의 고빈도 발송으로 인해 Decode 단계에서는 **9.9%–13.0%**로 급증합니다.

의의 및 설계 지침
본 논문은 경쟁력 있는 CPU–NPU 프로파일링에 단계 인식, 연산자 수준의 세분성, 그리고 파이프라인 분해를 결합한 최초의 연구라고 주장합니다. 이러한 발견을 바탕으로 저자들은 NPU 아키텍트 및 시스템 통합자를 위한 세 가지 설계 지침을 도출합니다:

1. 단계 인식형 백엔드 선택: Prefill 단계는 성숙한 라이브러리와 더 큰 캐시를 활용하는 멀티코어 CPU 로, Decode 단계는 NPU 로 라우팅합니다.
2. 발송 지연 시간 감소: 경량 연산자에 대한 NPU 발송 지연 시간은 10 µs 미만으로 줄여야 합니다. 배치 발송, 영구 명령 큐, 또는 연산자 융합과 같은 기법이 스케줄링 세를 완화하는 데 필요합니다.
3. 연산자 커버리지 개선: FLASH_ATTN 과 같은 핵심 연산자는 폴백 패널티를 제거하고 디코딩 단계에서 가속 이점을 완전히 실현하기 위해 NPU 에서 네이티브로 구현되어야 합니다.

저자들은 효율적인 온디바이스 LLM 추론을 실현하기 위해서는 단순한 오프로딩 전략을 넘어 단계 인식 실행과 개선된 시스템–하드웨어 공동 설계로 나아가야 한다고 결론지었습니다.