기술 요약: 모바일 NPU 기반의 에너지 효율적인 온디바이스 RAG

문제 정의

대규모 언어 모델(LLM)의 확산은 개인정보 보호, 지연 시간 감소, 오프라인 기능 활성화를 가능하게 하는 온디바이스 AI 시스템에 대한 수요를 창출했습니다. 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 지식에 LLM의 출력을 근거하도록 만드는 지배적인 패러다임이지만, 모바일 기기에 완전한 RAG 파이프라인을 배포하는 것은 여전히 도전적인 과제입니다. 전체 RAG 워크플로우는 임베딩 생성, 시맨틱 검색, 크로스 인코더 리랭킹(reranking), 그리고 자기 회귀적(autorexressive) LLM 생성과 같은 여러 계산 집약적인 신경망 단계를 포함합니다. 이러한 단계들은 특히 CPU 추론에 의존할 경우, 지속적인 운영에 있어 에너지 소모가 매우 커서 모바일 및 노트북 플랫폼의 전력 및 발열 제약에 큰 부담을 줍니다. 이를 해결하기 위해 시스템 온 칩(SoC)에 전용 신경망 처리 장치(NPU)가 점점 더 많이 통합되고 있으나, 기존 연구들은 주로 단일 모델 추론(예: LLM 프리필링)에 집중해 왔으며, 엔드 투 엔드(end-to-end) 멀티 모델 RAG 파이프라인에 대해서는 다루지 않았습니다. 또한, 전체 멀로 단계의 RAG 파이프라인을 모바일 NPU로 오프로딩(offloading)했을 때의 에너지 절감 효과와 성능 트레이드오프에 대한 정량적 분석도 이루어지지 않았습니다.

방법론

저자들은 Qualcomm Snapdragon X Elite SoC(Hexore NPU 45 TOPS INT8 탑재)가 장착된 Dell XPS 13 노트북에서 실행된 시스템 설계 및 벤치마크 연구를 제시합니다.

시스템 아키텍처:
본 시스템은 두 가지 뚜렷한 워크플로우를 포함하는 엔드 투 엔드 RAG 파이프라인을 구현합니다:

1. 인덱싱 파이프라인: 문서 코퍼스를 검색 가능한 벡터 인덱스로 변환합니다. 이는 문서 파싱/청킹(NPU 컨텍스트 제한을 고려하여 500자의 오버랩을 가진 1,000자 단위 청크), EmbeddingGemma 300M을 사용한 임베딩 생성, 그리고 FAISS 인덱스 구축 과정을 포함합니다.
2. 쿼리 파이프라인: 사용자 쿼리를 쿼리 재작성(LLM), 하이브리드 검색(SQLite FTS5와 FAISS 결합), Jina Reranker v2를 사용한 크로스 인코더 리랭킹, 그리고 Qwen3-4B-Instruct를 사용한 답변 생성 과정을 통해 처리합니다.

구현 세부 사항:

• NPU 백엔드: 모든 신경망 구성 요소(임베딩, 리랭커, LLM)는 사전 컴파일되어 정적 계산 그래프 형태로 Qualcomm AI Runtime(QAIRT/QNN) SDK를 통해 실행됩니다.
• 베이스라인: 동일한 모델 아키텍처와 파이프라인 로직을 llm.cpp와 GGUF 양자화를 사용한 CPU 및 통합 GPU(Adreno X1-85) 베이스라인과 비교합니다. 리랭커는 OpenCL 백엔드의 배치 스코어링 결함으로 인해 모든 설정에서 NPU에 고정됩니다.
• 엔지니어링 제약 사항: NPU 구현에는 연속적인 메모리 할당 요구 사항을 충족하기 위한 엄격한 모델 로딩 순서(가장 큰 모델 우선: LLM → Embedding → Reranker)와 CPU/GPU 배포 대비 축소된 컨텍스트 윈도우(4,096 토큰)를 포함한 특정 엔지니어링 적응이 필요했습니다.

평가 지표:

• 성능: 실행 시간(Wall-clock time), 처리량(tokens/s), 지연 시간(Time-to-First-Token, 디코딩 속도).
• 에너지: 500ms 단위의 HWiNFO64 텔레메트리를 통해 측정한 시스템 레벨 전력 소모 및 총 에너지 소비량(Joules).
• 품질: 1–10 척도의 루브릭을 사용하여 GPT-4.1을 LLM-as-judge로 활용한 답변 품질 평가, 그리고 실패율 및 정답률 분석.
• 워크로드: 10개의 SEC 10-K 보고서(9,324개 청크)에 대한 인덱싱과 wiki-minirag 및 FinDER 데이터셋의 120개 쿼리에 대한 쿼리 프로세싱.

주요 기여

1. 최초의 엔드 투 엔드 NPU RAG 파이프라인: 저자들은 세 가지 신경망 추론 단계(임베딩, 리랭킹, LLM 생성)가 모두 모바일 NPU(Qualcomm Hexagon)에서 완전히 실행되는 최초의 시스템이라고 믿는 시스템을 구현했습니다.
2. 포괄적인 벤치마킹: 인덱싱 및 쿼리 워크로드 모두에 대해 NPU, CPU, GPU 백엔드를 세밀하게 비교하였으며, 속도뿐만 아니라 구성 요소별 전력 및 전체 시스템 에너지를 측정했습니다.
3. 정량적 지속 가능성 분석: NPU 오프로딩의 "초선형적(super-linear)" 에너지 이점을 정량화하여, 실행 중 평균 시스템 전력 소 draw 감소 덕분에 속도 향상이 불균형적으로 큰 에너지 절감으로 이어진다는 것을 입증했습니다.
4. 품질 동등성 검증: 엄격한 평가를 통해 NPU에 의해 부과된 제약(작은 컨텍스트 윈도우, 특정 청크 크기)이 CPU 또는 GPU 베이스라인과 비교하여 답변 품질을 실질적으로 저하시지 않음을 입증했습니다.

결과

성능:

• 인덱싱: NPU는 CPU 베이스라인 대비 9.1배 높은 임베딩 처리량(3,325 vs 367 tokens/s)과 7.9배 빠른 전체 파이프라인 속도 향상을 달면했습니다.
• 쿼리 프로세팅: wiki-minirag 벤치마크에서 NPU는 CPU 대비 18.1배 빠른 LLM 프리필링과 4.0배 낮은 엔드 투 엔드 쿼리 지연 시간을 제공했습니다.
• GPU 성능: x86 플랫폼에 대한 예상과 달리, 통합 Adreno GPU는 이 워크로드에서 CPU 베이스라인보다 1.7배 느렸으며 훨씬 더 많은 에너지를 소비했습니다.

에너지 효율성:

• 인덱싱: NPU는 CPU 대비 총 시스템 에너지를 12.3배 줄였습니다. 이는 속도 향상뿐만 아니라 CPU 클러스터가 유휴 상태에 가깝게 작동함에 따라 평균 시스템 전력이 35% 감소(42.7 W에서 27.6 W로)했기 때문입니다.
• 쿼리 프로세팅: NPU는 CPU 대비 총 시스템 에너지를 4.0배, GPU 대비 6.5배 줄였습니다.
• 확장성: 가상의 일일 1,000 쿼리 워크로드의 경우, NPU는 CPU 베이스라인에 비해 하루 약 260 Wh를 절약합니다.

답변 품질:

• GPT-4.1 심사 결과, 모든 백엔드에서 답변 품질이 동등한 수준임을 확인했습니다. NPU는 평균 9.32를 기록했으며, 이는 CPU(8.95) 및 GPU(9.03)와 비교됩니다.
• **86.7%**의 쿼리가 세 가지 백엔드 모두에서 동일한 점수를 받았습니다. 통계적 분석에 따르면 미세한 점수 차이는 백엔드의 실질적인 성능 격차보다는 평가자의 노이즈에 의한 것이었습니다.
• 도메인 특화된 FinDER 테스트에서 NPU는 컨텍스트가 불충분할 때 답변을 거부하는 보수적인 거절 동작을 CPU와 유사하게 보였으나, 엄격한 컨텍스트 윈도우 제약으로 인해 실질적인 답변율은 더 낮았습니다.

의의 및 주장

본 논문은 품질 저하 없이 모바일 NPU에서 실용적이고 에너지 효율적인 온디바이스 RAG가 가능하다는 것을 입증한다고 주장합니다.

• 그린 엣지 인텔리전스(Green Edge Intelligence): 본 연구는 Hexagon급 NPU를 지속 가능한 엣지 AI를 위한 경로로 포지셔닝하며, 배터리 구동 기기에서 지속적인 온디바이스 RAG를 가능하게 하는 막대한 에너지 절감(최대 12.3배)을 제공합니다.
• 하드웨어 현실 점검: 본 결과는 모바일 SoC의 LLM 워크로드에 대해 항상 통합 GPU가 최적의 가속기일 것이라는 가정을 반박하며, 이 특정 4B 파라미터 워크로드에 대해 NPU가 CPU와 GPU 모두보다 속도와 에너지 효율성 면에서 우수함을 보여줍니다.
• 일반화 가능성: 본 연구는 Snapdragon X Elite에 특화되어 있으나, 저자들은 소프트웨어 스택과 모델 생태계가 성숙함에 따라 이러한 결과가 유사한 모바일 NPU(Apple Neural Engine, Intel NPU, MediaTek APU 등)에도 일반화될 것으로 기대합니다.
• 엔지니어링 인사상: 본 논문은 NPU 배포의 핵심적이고 비자명한 엔지니어링 제약 사항(정적 그래프, 메모리 할당 순서, 컨텍스트 제한)을 강조하며, 이러한 이점을 실현하기 위해 반드시 해결해야 할 과제들을 제시합니다.

저자들은 NPU 가속이 "그린 엣지 인텔리전스를 향한 지속 가능한 경로"를 가능하게 하여, 전통적인 CPU 기반 방식과 경쟁할 수 있는 에너지 효율적인 프라이버시 보호형 저지연 RAG 시스템을 제공한다고 결론짓습니다.