Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

"클라우드에서 에지로: 하드웨어 가속 단일 보드 컴퓨터에서의 LLM 추론 벤치마킹"에 대한 상세 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 의 배포는 여전히 클라우드 중심이며, 이는 운영 기술 (OT) 및 국방 환경에 치명적인 병목 현상을 초래합니다. 이러한 도전 과제는 다음과 같습니다:

• 데이터 프라이버시 및 보안: 에너지, 국방, 제조와 같은 중요 인프라의 민감한 데이터는 종종 통제된 네트워크 경계를 벗어날 수 없습니다.
• 지연 시간 및 연결성: 안정적인 인터넷 연결에 대한 의존성은 원격 또는 분쟁 지역 (예: 무인 차량, 위성 지상국) 에서 취약점이 됩니다.
• 평가 격차: 기존 에지 벤치마킹 도구 (예: DeepEdgeBench, LEAF) 는 세 가지 주요 한계를 겪고 있습니다:
  1. 현대 전용 에지 가속기 (NPU) 를 무시하고 CPU 만 추론하거나 레거시 GPU 에 크게 의존합니다.
  2. IoT 에 적합한 진정한 단일 보드 컴퓨터 (SBC) 를 충분히 다루지 못합니다.
  3. 에지 배포의 다차원적 제약 조건 (물리적 크기, 전력 예산, 에너지 효율성) 을 고려하지 않는 일반적인 평가 지표를 사용합니다.

2. 방법론

저자들은 IoT 에 적합한 네 가지 다양한 에지 플랫폼에서 LLM 추론을 평가하기 위해 구조화된 다차원 벤치마킹 프레임워크를 제안합니다.

실험 설정:

• 하드웨어 플랫폼 (5 가지 구성):
  1. M5Stack LLM (모듈 M140): 통합 NPU(3.2 TOPS) 가 탑재된 AX630C SoC 를 특징으로 합니다. 가장 작은 폼 팩터 ($54 \times 54 \times 13$ mm).
  2. 라즈베리 파이 5: CPU 만 사용 (Broadcom BCM2712).
  3. 라즈베리 파이 5 + AI HAT+: Hailo-10H NPU(40 TOPS) 를 추가합니다.
  4. NVIDIA Jetson Orin Nano Super: Ampere GPU(67 TOPS) 를 특징으로 합니다.
• 모델: DeepSeek-R1-Distill-Qwen, Qwen 2.5(Instruct/Coder), Llama 3.2를 포함한 0.5B 에서 3B 파라미터 범위의 소형 증류 LLM 들을 선택했습니다.
• 추론 구성:
  • 양자화: 모든 모델은 메모리 발자국을 최소화하기 위해 4 비트 양자화 (Q4_K_M) 로 실행됩니다.
  • 런타임: CPU/GPU 용 Ollama, Pi 5 의 NPU 용 Hailo Ollama, M5Stack 용 StackFlow.
  • 작업 부하: 지속적 성능을 측정하기 위해 100 토큰을 생성하는 고정 프롬프트.

평가 지표:
이 논문은 단순한 지연 시간/정확도를 넘어선 다차원 프레임워크를 도입합니다:

1. 원시 성능: 토큰 처리량 (초당 토큰 수) 및 첫 번째 토큰 도달 시간 (TTFT).
2. 에너지 효율성: 백만 토큰당 에너지 소비 (MJ/Mtok).
3. 복합 지표 (새로운 기여):
   • 처리량 밀도 ($Tps/m^3$): 장치 부피로 정규화된 토큰 처리량. 드론, 웨어러블과 같은 공간이 제한된 배포에 중요합니다.
   • 백만 토큰당 에너지 (MJ/Mtok): 생성에 소요된 총 에너지 비용으로, 배터리 구동 시스템에 중요합니다.

3. 주요 기여

1. 격차 분석: 전용 가속기가 탑재된 현대 SBC 에 대해 추론 성능, 하드웨어 효율성, 물리적 제약을 공동으로 평가하는 다차원 프레임워크의 부재를 확인했습니다.
2. 새로운 지표: 특정 배포 제약 조건 (공간 vs 전력 vs 속도) 에 기반한 하드웨어 선택을 가능하게 하는 처리량 밀도와 백만 토큰당 에너지를 도입했습니다.
3. 종합 벤치마킹: 여러 모델 계열에 걸쳐 CPU 만을 기준으로 한 현대 에지 가속기 (Hailo-10H, NVIDIA Ampere, AX630C NPU) 에 대한 최초의 비교 분석을 제공했습니다.

4. 주요 결과

• 하드웨어 가속의 영향:
  • NPU(Hailo-10H): 라즈베리 파이 5 의 CPU 만 추론 대비 9.5 배에서 40 배의 에너지 효율성 향상을 달성했습니다. 처리량은 CPU 의 약 0.3 토큰/초에서 NPU 의 약 6.3 토큰/초로 증가했습니다.
  • GPU(Jetson Orin): 자체 CPU 기준 대비 1.2 배에서 1.8 배의 효율성 향상을 제공했지만, 최대 약 10 토큰/초로 절대적인 처리량이 가장 높았습니다.
• 처리량 밀도:
  • M5Stack AX630c는 작은 폼 팩터 덕분에 90,000 Tps/m³ 이상의 지표를 달성하여 이 지표를 주도했으며, 초소형 및 견고화된 애플리케이션에 이상적입니다.
  • Jetson Orin 은 강력하지만 물리적 부피가 더 크기 때문에 밀도가 가장 낮았습니다.
• 에너지 효율성:
  • CPU 만 추론은 가속 플랫폼 (0.5–5.5 MJ/Mtok) 에 비해 효율성이 한 자릿수 낮았습니다 (33–76 MJ/Mtok).
  • M5Stack과 Jetson GPU가 가장 에너지 효율이 높았으며, 약 0.5–1.7 MJ/Mtok 를 소비했습니다.
  • RPi 5 + Hailo는 모델 아키텍처에 따라 효율성이 변동하여, NPU 성능이 GPU 보다 모델 구조에 더 민감함을 시사합니다.

5. 중요성 및 함의

이 연구 결과는 중요하고, 프라이버시가 민감하며, 연결성이 제한된 환경에서 생성형 AI 를 배포하기 위한 실용적인 지침을 제공합니다:

• 회복력 있는 분산 시스템: 저전력 에지 AI(5–25W 범위) 는 개별 노드가 지능형 에이전트로 작용하는 탈중앙화 아키텍처를 가능하게 합니다. 이는 중앙 명령에 대한 의존성을 줄이고 네트워크 재밍이나 사이버 공격에 대한 회복력을 강화합니다.
• 에너지 제약 자율성: 드론 및 자율 시스템과 같이 엄격한 에너지 예산을 가진 시스템의 경우, CPU 에서 NPU/GPU 추론으로 전환하면 로컬 의사 결정 및 실시간 데이터 요약이 가능해지면서 운영 시간이 크게 연장됩니다.
• 위성 지상국: 이 결과는 15 억 파라미터 모델이 RPi 5 + Hailo 와 같은 휴대용 SBC 에서 높은 효율로 실행될 수 있음을 검증합니다. 이를 통해 지상국은 고대역폭 링크 없이도 중앙 시설에 의존하지 않고 명령 구문 분석, 원격 측정 추론과 같은 지능형 작업을 로컬에서 수행할 수 있습니다.

결론:
이 논문은 하드웨어 가속 SBC 가 이제 로컬에서 LLM 을 실행할 수 있음을 보여줍니다. 하드웨어 선택은 단순히 원시 속도에 기반해서는 안 되며, IoT 배포의 특정 운영 제약 조건에 따라 물리적 발자국(M5Stack 선호), 절대 처리량(Jetson 선호), 전력 효율성(M5Stack 또는 Jetson GPU 선호) 간의 특정 트레이드오프에 따라 안내되어야 합니다.