Technische Samenvatting: Energie-efficiënte On-Device RAG op een Mobiele NPU

Probleemstelling

De proliferatie van Large Language Models (LLM's) heeft de vraag naar on-device AI-systemen gecreëerd die privacy waarborgen, latentie verminderen en offline functionaliteit mogelijk maken. Retrieval-Augmented Generation (RAG) is het dominante paradigma om de output van LLM's te funderen in externe kennis, maar het implementeren van een volledige RAG-pipeline op mobiele apparaten blijft uitdagend. Een volledige RAG-workflow omvat meerdere rekenintensieve neurale stadia: embedding-generatie, semantische retrieval, cross-encoder reranking en autoregressieve LLM-generatie. Deze stadia leggen collectief aanzienlijke energie- en thermische beperkingen op aan mobiele en laptopplatforms, vooral wanneer ze vertrouwen op CPU-inferentie, wat energie-prohibitief is voor duurzame operatie. Hoewel dedicated Neural Processing Units (NPU's) steeds vaker worden geïntegreerd in System-on-Chips (SoC's) om dit aan te pakken, richt eerder werk zich grotendeels op single-model inferentie (bijv. LLM prefilling) in plaats van end-to-end multi-model RAG-pipelines. Bovendien zijn de energiebesparingen en prestatieafwegingen van het offloaden van een volledige, meerfasige RAG-pipeline naar een mobiele NPU niet gekwantificeerd.

Methodologie

De auteurs presenteren een systeemontwerp en benchmarkstudie uitgevoerd op een Dell XPS 13 laptop uitgerust met een Qualcomm Snapdragon X Elite SoC, voorzien van de Hexagon NPU (45 TOPS INT8).

Systeemarchitectuur:
Het systeem implementeert een end-to-end RAG-pipeline bestaande uit twee afzonderlijke workflows:

1. Indexing Pipeline: Transformeert een documentcorpus naar een doorzoekbare vectorindex. Dit omvat documentparsing/chunking (1.000-tekens chunks met 500-tekens overlap, beperkt door NPU-contextlimieten), embedding-generatie met EmbeddingGemma 300M, en FAISS-indexconstructie.
2. Query Pipeline: Verwerkt gebruikersqueries via query rewriting (LLM), hybride retrieval (combinatie van SQLite FTS5 en FAISS), cross-encoder reranking met Jina Reranker v2, en antwoordgeneratie met Qwen3-4B-Instruct.

Implementatiedetails:

• NPU Backend: Alle neurale componenten (embedding, reranking, LLM) zijn vooraf gecompileerd in statische computationele grafen en worden uitgevoerd via de Qualcomm AI Runtime (QAIRT/QNN) SDK.
• Baselines: Dezelfde modelarchitecturen en pipeline-logica worden vergeleken met CPU- en geïntegreerde GPU (Adreno X1-85) baselines met behulp van llm.cpp met GGUF-kwantisatie. De reranker is in alle configuraties aan de NPU gekoppeld vanwege een gebrekkige batch-scoring in de OpenCL-backend.
• Engineering Beperkingen: De NPU-implementatie vereiste specifieke engineering-aanpassingen, waaronder een strikte volgorde van model laden (grootste model eerst: LLM → Embedding → Reranker) om te voldoen aan de eisen voor continue geheugenallocatie en gereduceerde contextvensters (4.096 tokens) vergeleken met CPU/GPU-deployments.

Evaluatiemetrieken:

• Prestaties: Wall-clock tijd, throughput (tokens/s), en latentie (Time-to-First-Token, decodeersnelheid).
• Energie: Systeemniveau stroomverbruik en totale energieconsumptie (Joules) gemeten via HWiNFO64-telemetrie met een granulariteit van 500 ms.
• Kwaliteit: Antwoordkwaliteit geëvalueerd met GPT-4.1 als LLM-als-beoordelaar op een 1–10 rubric, naast analyse van foutpercentages en correctheidspercentages.
• Workloads: Indexing op 10 SEC 10-K filings (9.324 chunks) en queryverwerking op 120 queries uit de wiki-minirag en FinDER datasets.

Belangrijkste Bijdragen

1. Eerste End-to-End NPU RAG-pipeline: De auteurs implementeren wat wordt beschouwd als de eerste system waarbij alle drie de neurale inferentiestadia (embedding, reranking en LLM-generatie) volledig op een mobiele NPU (Qualcomm Hexagon) draaien.
2. Uitgebreide Benchmarking: De studie biedt een gedetailleerde vergelijking van NPU, CPU en GPU backends voor zowel indexing als query-workloads, waarbij niet alleen snelheid maar ook energieverbruik per component en totale systeemenergie wordt gemeten.
3. Kwantitatieve Duurzaamheidsanalyse: Het paper kwantificeert de "super-lineaire" energievoordelen van NPU-offloading, en demonstreert dat versnellingen vertalen in disproportionele energiebesparingen door een lager gemiddeld systeemvermogen tijdens uitvoering.
4. Validatie van Kwaliteitspariteit: Door middel van rigoureuze evaluatie stelt het paper vast dat de beperkingen opgelegd door de NPU (kleinere contextvensters, specifieke chunkgroottes) de antwoordkwaliteit niet materieel verslechteren ten opzichte van CPU of GPU baselines.

Resultaten

Prestaties:

• Indexing: De NPU bereikte een 9,1× hogere embedding throughput (3.325 vs. 367 tokens/s) en een 7,9× totale pipeline versnelling ten opzichte van de CPU-baseline.
• Queryverwerking: Op de wiki-minirag benchmark leverde de NPU een 18,1× snellere LLM prefilling en een 4,0× lagere end-to-end query latentie vergeleken met de CPU.
• GPU Prestaties: Tegen de verwachtingen in voor x86-platforms, was de geïntegreerde Adreno GPU 1,7× trager dan de CPU-baseline voor deze workload en verbruikte aanzienlijk meer energie.

Energie-efficiëntie:

• Indexing: De NPU verminderde de totale systeemenergie met 12,3× vergeleken met de CPU. Dit werd gedreven door zowel snelheid als een reductie van 35% in het gemiddelde systeemvermogen (27,6 W vs. 42,7 W) doordat CPU-clusters nabij de idle-status opereerden.
• Queryverwerking: De NPU verminderde de totale systeemenergie met 4,0× vergeleken met de CPU en met 6,5× vergeleken met de GPU.
• Schaalbaarheid: Voor een hypothetische dagelijkse workload van 1.000 queries bespaart de NPU ongeveer 260 Wh per dag vergeleken met de CPU-baseline.

Antwoordkwaliteit:

• Een GPT-4.1 judge evaluatie vond de antwoordkwaliteit gelijkwaardig over alle backends. De NPU scoorde een gemiddelde van 9,32, vergeleken met 8,95 (CPU) en 9,03 (GPU).
• 86,7% van de queries ontving identieke scores over de drie backends. Statistische analyse gaf aan dat kleine verschil in scores voornamelijk werden gedomineerd door evaluator-ruis in plaats van substantiële verschillen in backend-prestaties.
• In de domeinspecifieke FinDER test vertoonde de NPU conservatief weigeringsgedrag (weigeren te antwoorden wanneer de context onvoldoende was) vergelijkbaar met de CPU, hoewel met een lager substantieel antwoordpercentage door striktere contextvenster-beperkingen.

Betekenis en Claims

Het paper claimt aan te tonen dat praktische, energie-efficiënte on-device RAG haalbaar is op mobiele NPU's zonder kwaliteitsregressie.

• Green Edge Intelligence: De studie positioneert de Hexagon-klasse NPU als een duurzaam pad voor edge AI, waarbij enorme energieverminderingen (tot 12,3×) worden geboden die continue on-device RAG levensvatbaar maken voor batterijgestuurde apparaten.
• Hardware Reality Check: De resultaten dagen de aanname uit dat geïntegreerde GPU's altijd de optimale accelerator zijn voor LLM-workloads op mobiele SoC's, waarbij wordt aangetoond dat voor deze specifieke 4B parameter workload de NPU zowel de CPU als de GPU overtreft in snelheid en energie-efficiëntie.
• Generaliseerbaarheid: Hoewel de studie specifief is voor de Snapdragon X Elite, verwachten de auteurs dat deze bevindingen generaliseerbaar zijn naar vergelijkbare mobiele NPU's (Apple Neural Engine, Intel NPU, MediaTek APU) naarmate hun softwarestacks en model-ecosystemen volwassen worden.
• Engineering Inzichten: Het paper benadrukt kritische, niet-triviale engineering-beperkingen van NPU-deployment (statische grafen, volgorde van geheugenallocatie, contextlimieten) die moeten worden geadresseerd om deze voordelen te realiseren.

De auteurs concluderen dat NPU-acceleratie een "duurzaam pad naar groene edge intelligence" mogelijk maakt, waardoor privacy-bewarende, lage-latentie RAG-systemen beschikbaar komen die energie-competitief zijn met traditionele CPU-gebaseerde benaderingen.