Résumé Technique : RAG sur appareil à haute efficacité énergétique sur un NPU mobile

Problématique

La prolifération des modèles de langage étendus (LLM) a créé une demande pour des systèmes d'IA sur appareil qui préservent la confidentialité, réduisent la latence et permettent des fonctionnalités hors ligne. La génération augmentée par récupération (RAG) est le paradigme dominant pour ancrer les sorties des LLM dans des connaissances externes, pourtant le déploiement d'un pipeline RAG complet sur des appareils mobiles reste un défi. Un flux de travail RAG complet implique plusieurs étapes neuronales gourmandes en calcul : la génération d'embeddings, la récupération sémantique, le reclassement par encodeur croisé (cross-encoder) et la génération autoregressive du LLM. Ces étapes imposent collectivement des contraintes de puissance et de thermique significatives sur les plateformes mobiles et les ordinateurs portables, particulièrement lorsqu'elles reposent sur l'inférence CPU, ce qui est économiquement prohibitif pour un fonctionnement soutenu. Bien que des unités de traitement neural (NPU) dédiées soient de plus en plus intégrées aux systèmes sur puce (SoC) pour y remédier, les travaux antérieurs se sont largement concentrés sur l'inférence d'un modèle unique (par exemple, le prefilling du LLM) plutôt que sur des pipelines RAG multi-modèles de bout en bout. De plus, les économies d'énergie et les compromis de performance de l'externalisation d'un pipeline RAG complet et multi-étapes vers un NPU mobile n'ont pas été quantifiés.

Méthodologie

Les auteurs présentent une conception de système et une étude comparative exécutées sur un ordinateur portable Dell XPS 13 équipé d'un SoC Qualcomm Snapdragon X Elite, doté d'un NPU Hexagon (45 TOPS INT8).

Architecture du Système :
Le système implémente un pipeline RAG de bout en bout comprenant deux flux de travail distincts :

1. Pipeline d'indexation : Transforme un corpus de documents en un index vectoriel consultable. Il implique le découpage et l'analyse de documents (tronçons de 1 000 caractères avec un chevauchement de 500 caractères, contraints par les limites de contexte du NPU), la génération d'embeddings utilisant EmbeddingGemma 300M, et la construction de l'index FAISS.
2. Pipeline de requête : Traite les requêtes des utilisateurs via la réécriture de requête (LLM), la récupération hybride (combinant SQLite FTS5 et FAISS), le reclassement par encodeur croisé utilisant Jina Reranker v2, et la génération de réponses utilisant Qwen3-4B-Instruct.

Détails d'Implémentation :

• Backend NPU : Tous les composants neuronaux (embedding, reranker, LLM) sont compilés au préalable en graphes de calcul statiques et exécutés via le SDK Qualcomm AI Runtime (QAIRT/QNN).
• Lignes de base (Baselines) : Les mêmes architectures de modèles et la logique de pipeline sont comparées à des lignes de base CPU et GPU intégré (Adreno X1-85) en utilisant llm.cpp avec une quantification GGUF. Le reranker est fixé au NPU dans toutes les configurations en raison d'un défaut de traitement par lots (batching) dans le backend OpenCL.
• Contraintes d'Ingénierie : L'implémentation du NPU a nécessité des adaptations d'ingénierie spécifiques, notamment un ordre de chargement des modèles strict (le plus grand modèle en premier : LLM → Embedding → Reranker) pour satisfaire les exigences d'allocation de mémoire contiguë et des fenêtres de contexte réduites (4 096 jetons) par rapport aux déploiements CPU/GPU.

Métriques d'Évaluation :

• Performance : Temps d'exécution (wall-clock time), débit (tokens/s) et latence (temps jusqu'au premier jeton, vitesse de décodage).
• Énergie : Consommation électrique du système et consommation d'énergie totale (Joules) mesurées via la télémétrie HWiNFO64 avec une granularité de 500 ms.
• Qualité : Qualité des réponses évaluée par GPT-4.1 en tant que juge LLM sur une rubrique de 1 à 10, ainsi que l'analyse du taux d'échec et du taux de correction.
• Charges de travail : Indexation sur 10 rapports SEC 10-K (9 324 segments) et traitement de requêtes sur 120 requêtes provenant des jeux de données wiki-minirag et FinDER.

Contributions Clés

1. Premier pipeline RAG sur NPU de bout en bout : Les auteurs implémentent ce qui est considéré comme le premier système où les trois étapes d'inférence neuronale (embedding, reranking et génération LLM) s'exécutent entièrement sur un NPU mobile (Qualcomm Hexagon).
2. Benchmarking Complet : L'étude fournit une comparaison granulaire des backends NPU, CPU et GPU pour les charges de travail d'indexation et de requête, mesurant non seulement la vitesse mais aussi la puissance par composant et l'énergie totale du système.
3. Analyse de Durabilité Quantitative : L'article quantifie les bénéfices énergétiques « super-linéaires » de l'externalisation vers le NPU, démontrant que les accélérations se traduisent par des économies d'énergie disproportionnées grâce à la réduction de la puissance moyenne du système pendant l'exécution.
4. Validation de la Parité de Qualité : Par une évaluation rigoureuse, l'article établit que les contraintes imposées par le NPU (fenêtres de contexte plus petites, tailles de segments spécifiques) ne dégradent pas matériellement la qualité des réponses par rapport aux lignes de base CPU ou GPU.

Résultats

Performance :

• Indexation : Le NPU a atteint un débit d'embedding 9,1× supérieur (3 325 contre 367 tokens/s) et une accélération totale du pipeline de 7,9× par rapport à la ligne de base CPU.
• Traitement de Requête : Sur le benchmark wiki-minirag, le NPU a délivré un prefilling LLM 18,1× plus rapide et une latence de requête de bout en bout 4,0× plus faible par rapport au CPU.
• Performance GPU : Contrairement aux attentes pour les plateformes x86, le GPU intégré Adreno était 1,7× plus lent que la ligne de base CPU pour cette charge de travail et consommait nettement plus d'énergie.

Efficacité Énergétique :

• Indexation : Le NPU a réduit l'énergie totale du système de 12,3× par rapport au CPU. Cela a été piloté à la fois par la vitesse et par une réduction de 35 % de la puissance moyenne du système (27,6 W contre 42,7 W) car les clusters CPU opéraient à l'état de quasi-repos.
• Traitement de Requête : Le NPU a réduit l'énergie totale du système de 4,0× par rapport au CPU et de 6,5× par rapport au GPU.
• Échelle : Pour une charge de travail quotidienne hypothétique de 1 000 requêtes, le NPU économise environ 260 Wh par jour par rapport à la ligne de base CPU.

Qualité des Réponses :

• Une évaluation par un juge GPT-4.1 a trouvé une qualité de réponse équivalente entre tous les backends. Le NPU a obtenu une moyenne de 9,32, contre 8,95 (CPU) et 9,03 (GPU).
• 86,7 % des requêtes ont reçu des scores identiques sur les trois backends. L'analyse statistique a indiqué que les légères différences de scores étaient dominées par le bruit de l'évaluateur plutôt que par des écarts de performance substantiels des backends.
• Dans le test spécialisé FinDER, le NPU a exhibited un comportement de refus conservateur (refusant de répondre lorsque le contexte était insuffisant) similaire au CPU, bien qu'avec un taux de réponse substantielle plus faible dû à des contraintes de fenêtre de contexte plus strictes.

Signification et Revendications

L'article affirme démontrer qu'un RAG sur appareil pratique et économe en énergie est réalisable sur les NPU mobiles sans régression de la qualité.

• Intelligence de Bord Verte (Green Edge Intelligence) : L'étude positionne le NPU de classe Hexagon comme une voie durable pour l'IA en périphérie (edge AI), offrant des réductions d'énergie massives (jusqu'à 12,3×) qui rendent le RAG continu sur appareil viable pour les appareils alimentés par batterie.
• Réalité Matérielle : Les résultats remettent en question l'hypothèse selon laquelle les GPU intégrés sont toujours les accélérateurs optimaux pour les charges de travail LLM sur les SoC mobiles, montrant que pour cette charge de travail spécifique de 4 milliards de paramètres, le NPU surpasse à la fois le CPU et le GPU en termes de vitesse et d'efficacité énergétique.
• Généralisabilité : Bien que l'étude soit spécifique au Snapdragon X Elite, les auteurs s'attendent à ce que ces conclusions se généralisent à des NPU mobiles comparables (Apple Neural Engine, Intel NPU, MediaTek APU) à mesure que leurs piles logicielles et leurs écosystèmes de modèles mûrissent.
• Perspectives d'Ingénierie : L'article souligne les contraintes d'ingénierie critiques et non triviales du déploiement sur NPU (graphes statiques, ordre d'allocation de mémoire, limites de contexte) qui doivent être adressées pour réaliser ces bénéfices.

Les auteurs concluent que l'accélération par NPU permet une « voie durable vers l'intelligence de bord verte », permettant des systèmes RAG respectueux de la vie privée, à faible latence et énergétiquement compétitifs par rapport aux approches traditionnelles basées sur le CPU.