Sintesi Tecnica: RAG su Dispositivo ad Alta Efficienza Energetica su una NPU Mobile

Problematica

La proliferazione dei Large Language Models (LLM) ha creato una domanda di sistemi di IA on-device che preservino la privacy, riducano la latenza e consentano funzionalità offline. La Retrieval-Augmented Generation (RAG) è il paradigma dominante per ancorare gli output degli LLM a conoscenze esterne, tuttavia l'implementazione di una pipeline RAG completa su dispositivi mobili rimane una sfida. Una pipeline RAG completa prevede molteplici stadi neurali computazionalmente intensivi: generazione di embedding, recupero semantico, reranking tramite cross-encoder e generazione autoregressiva dell'LLM. Questi stadi impongono collettivamente vincoli significativi di potenza e termica sulle piattaforme mobile e laptop, particolarmente quando si fa affidamento sull'inferenza della CPU, che risulta energeticamente proibitiva per un'operazione sostenuta. Sebbene le NPU (Neural Processing Units) dedicate siano sempre più integrate nei SoC (System-on-Chips) per affrontare questo problema, il lavoro precedente si è concentrato ampiamente sulla singola inferenza di modelli (ad esempio, il prefilling di un LLM) piuttosto che su pipeline RAG end-to-end multi-modello. Inoltre, i risparmi energetici e i compromessi sulle prestazioni derivanti dall'offloading di una pipeline RAG completa e multi-stadio a una NPU mobile non sono stati quantificati.

Metodologia

Gli autori presentano un design di sistema e uno studio di benchmark eseguito su un laptop Dell XPS 13 dotato di un SoC Qualcomm Snapdragon X Elite, caratterizzato dalla NPU Hexagon (45 TOPS INT8).

Architettura del Sistema:
Il sistema implementa una pipeline RAG end-to-end composta da due workflow distinti:

1. Pipeline di Indicizzazione: Trasforma un corpus di documenti in un indice vettoriale ricercabile. Comporta il parsing/chunking dei documenti (chunk da 1.000 caratteri con un overlap di 500 caratteri, vincolato dai limiti di contesto della NPU), la generazione di embedding utilizzando EmbeddingGemma 300M e la costruzione dell'indice FAISS.
2. Pipeline di Query: Elabora le query degli utenti attraverso la riscrittura della query (LLM), il recupero ibrido (combinando SQLite FTS5 e FAISS), il reranking tramite cross-encoder usando Jina Reranker v2 e la generazione della risposta usando Qwen3-4B-Instruct.

Dettagli di Implementazione:

• Backend NPU: Tutti i componenti neurali (embedding, reranking, LLM) sono compilati anticipatamente (ahead-of-time) in grafi di computazione statici ed eseguiti tramite il Qualcomm AI Runtime (QAIRT/QNN) SDK.
• Baseline: Le stesse architetture di modello e la logica della pipeline sono confrontate contro baseline CPU e GPU integrata (Adreno X1-85) utilizzando llm.cpp con quantizzazione GGUF. Il reranker è vincolato alla NPU in tutte le configurazioni a causa di un difetto di batch-scoring nel backend OpenCL.
• Vincoli di Ingegneria: L'implementazione della NPU ha richiesto specifiche adattamenti ingegneristici, tra cui un ordine rigoroso di caricamento dei modelli (il modello più grande per primo: LLM → Embedding → Reranker) per soddisfare i requisiti di allocazione della memoria contigua e finestre di contesto ridotte (4.096 token) rispetto alle implementazioni CPU/GPU.

Metriche di Valutazione:

• Performance: Tempo wall-clock, throughput (token/s) e latenza (Time-to-First-Token, velocità di decoding).
• Energia: Assorbimento di potenza del sistema e consumo energetico totale (Joule) misurati tramite telemetria HWiNFO64 con granularità di 500ms.
• Qualità: Qualità della risposta valutata tramite GPT-4.1 come LLM-judge su una rubrica da 1 a 10, insieme all'analisi del tasso di fallimento e del tasso di correttezza.
• Workload: Indicizzazione su 10 documenti SEC 10-K (9.324 chunk) e processamento di query su 120 query dai dataset wiki-minirag e FinDER.

Contributi Chiave

1. Prima Pipeline RAG su NPU End-to-End: Gli autori implementano quella che si ritiene essere la prima pipeline in cui tutti e tre gli stadi di inferenza neurale (embedding, reranking e generazione LLM) girano interamente su una NPU mobile (Qualcomm Hexagon).
2. Benchmarking Completo: Lo studio fornisce un confronto granulare tra i backend NPU, CPU e GPU sia per i carichi di lavoro di indicizzazione che di query, misurando non solo la velocità ma anche la potenza per componente e l'energia totale del sistema.
3. Analisi Quantitativa della Sostenibilità: Il paper quantifica i benefici energetici "super-lineari" dell'offloading alla NPU, dimostrando che gli acceleramenti si traducono in risparmi energetici sproporzionati grazie alla riduzione del consumo medio di potenza del sistema durante l'esecuzione.
4. Validazione della Parità di Qualità: Attraverso una valutazione rigorosa, il paper stabilisce che i vincoli imposti dalla NPU (finestre di contesto più piccole, dimensioni dei chunk specifiche) non degradano materialmente la qualità delle risposte rispetto alle baseline CPU o GPU.

Risultati

Performance:

• Indicizzazione: La NPU ha ottenuto un throughput di embedding 9,1× superiore (3.325 vs 367 token/s) e un acceleramento totale della pipeline di 7,9× rispetto alla baseline CPU.
• Processamento Query: Sul benchmark wiki-minirag, la NPU ha fornito un prefilling dell'LLM 18,1× più veloce e una latenza end-to-end della query 4,0× inferiore rispetto alla CPU.
• Performance GPU: Contrariamente alle aspettative per le piattaforme x86, la GPU integrata Adreno è stata 1,7× più lenta della baseline CPU per questo carico di lavoro e ha consumato significativamente più energia.

Efficienza Energetica:

• Indicizzazione: La NPU ha ridotto l'energia totale del sistema di 12,3× rispetto alla CPU. Ciò è stato guidato sia dalla velocità che da una riduzione del 35% della potenza media del sistema (27,6 W vs 42,7 W) poiché i cluster della CPU operavano vicino allo stato di idle.
• Processamento Query: La NPU ha ridotto l'energia totale del sistema di 4,0× rispetto alla CPU e di 6,5× rispetto alla GPU.
• Scalabilità: Per un ipotetico carico di lavoro giornaliero di 1.000 query, la NPU risparmia circa 260 Wh al giorno rispetto alla baseline CPU.

Qualità della Risposta:

• Una valutazione con giudice GPT-4.1 ha trovato la qualità della risposta sul piano tra tutti i backend. La NPU ha ottenuto una media di 9,32, rispetto a 8,95 (CPU) e 9,03 (GPU).
• L'86,7% delle query ha ricevuto punteggi identici tra i tre backend. L'analisi statistica ha indicato che le piccole differenze di punteggio erano dominate dal rumore dell'evaluatore piuttosto che da gap sostanziali nelle prestazioni del backend.
• Nel test specializzato nel dominio FinDER, la NPU ha mostrato un comportamento di rifiuto conservativo (rifiutare di rispondere quando il contesto era insufficiente) simile alla CPU, sebbene con un tasso di risposta sostanziale inferiore a causa dei vincoli più stretti della finestra di contesto.

Significato e Rivendicazioni

Il paper sostiene di dimostrare che una RAG su dispositivo pratica ed efficiente dal punto di vista energetico è realizzabile su NPU mobile senza regressioni della qualità.

• Green Edge Intelligence: Lo studio posiziona la NPU di classe Hexagon come una via sostenibile per l'IA edge, offrendo massicci risparmi energetici (fino a 12,3×) che rendono la RAG continua on-device fattibile per dispositivi alimentati a batteria.
• Verifica della Realtà Hardware: I risultati sfidano l'assunto che le GPU integrate siano sempre l'acceleratore ottimale per i carichi di lavoro LLM sulle piattaforme mobile SoC, mostrando che per questo specifico carico di lavoro a 4 miliardi di parametri, la NPU supera sia la CPU che la GPU in termini di velocità ed efficienza energetica.
• Generalizzabilità: Sebbene lo studio sia specifico per lo Snapdragon X Elite, gli autori si aspettano che questi risultati si generalizzino a NPU mobile comparabili (Apple Neural Engine, Intel NPU, MediaTek APU) man mano che i loro stack software ed ecosistemi di modelli maturano.
• Insight Ingegneristici: Il paper evidenzia i vincoli ingegneristici critici e non banali del deployment su NPU (grafi statici, ordine di allocazione della memoria, limiti di contesto) che devono essere affrontati per realizzare questi benefici.

Gli autori concludono che l'accelerazione NPU abilita una "via sostenibile verso la green edge intelligence", permettendo sistemi RAG che preservano la privacy e offrono bassa latenza, essendo energeticamente competitivi con i tradizionali approcci basati su CPU.