Résumé technique : Vers une intelligence embarquée durable

Énoncé du problème

La prolifération rapide des grands modèles de langage (LLM) a créé une tension entre l'intensité computationnelle requise pour leur entraînement et leur inférence et la réalité des ressources limitées des dispositifs de bord (smartphones, passerelles IoT, systèmes embarqués). Bien que la génération augmentée par récupération (RAG) soit devenue un paradigexe dominant pour ancrer les sorties des LLM dans des connaissances externes et atténuer les hallucinations, les pipelines RAG standards supposent des ressources à l'échelle du cloud (indices vectoriels volumineux, recherche assistée par GPU, mémoire généreuse). Le déploiement du RAG sur des dispositifs de bord introduit un compromis complexe et multidimensionnel entre l'exactitude, la latence, l'empreinte mémoire, la consommation d'énergie et les émissions de carbone.

Actuellement, la recherche dans les domaines de l'IA embarquée, du RAG et de l'IA verte (durabilité) existe dans trois silos largement séparés. Les revues existantes traitent des paires de ces domaines (par exemple, IA embarquée + RAG, ou IA verte + compression de modèle) mais ne parviennent pas à les intégrer dans une perspective de conception de système unifiée. Par conséquent, les décisions de conception — telles que la largeur de bit de quantification, la profondeur de récupération et la sélection du matériel — sont souvent prises de manière isolée, ignorant leurs interdépendances sur la durabilité globale et la performance du système. Il existe un manque de cadres d'évaluation unifiés qui mesurent explicitement l'énergie et le carbone aux côtés des métriques traditionnelles comme l'exactitude et la latence.

Méthodologie

Cet article emploie une approche de revue de littérature structurée inspirée des directives PRISMA 2020.

• Stratégie de recherche : Des recherches systématiques ont été menées dans cinq bases de données (IEEE Xplore, ACM Digital Library, Scopus, Google Scholar, arXiv) en utilisant des requêtes booléennes combinant des termes issus de trois domaines : l'IA embarquée (ex. : « small language model », « NPU »), le RAG (ex. : « retrieval-augmented generation ») et l'IA verte (ex. : « energy-efficient inference », « carbon footprint »).
• Critères de sélection : La revue s'est concentrée sur des articles évalués par des pairs, des communications de conférence et des prépublications bien citées de 2017 à août 2026. Les articles ont été inclus s'ils traitaient d'au moins l'un des trois domaines et présentaient des méthodes, des systèmes ou des benchmarks novateurs. Le service de LLM exclusivement sur le cloud sans considérations de bord ou de durabilité a été exclu.
• Corpus : La recherche initiale a produit 1 247 articles. Après dédoublonnage et filtrage (titre/résumé et texte intégral), 108 articles ont été sélectionnés via la recherche systématique. 34 articles supplémentaires ont été identifiés par chaînage de citations ascendantes et descendantes. Le corpus final analysé dans la revue totalise 142 articles.
• Classification : La littérature a été classée selon une taxonomie hiérarchique de neuf catégories couvrant trois piliers :
  1. IA embarquée : Modèles de fondation, petits modèles de langage (SLM), quantification/compression, matériel NPU.
  2. RAG : Fondamentaux du RAG, systèmes RAG sur dispositif de bord.
  3. IA verte : Mesure de la durabilité, évaluation/benchmarks, applications/études de cas.

Contributions clés

1. Synthèse unifiée des trois piliers

L'article constitue la première revue traitant conjointement l'inférence de l'IA embarquée, la génération augmentée par récupération et l'IA verte/durabilité comme un espace de conception unique. Il analyse les interdépendances entre ces domaines, comme la manière dont la quantification affecte le débit et l'énergie des NPU, et comment les stratégies de récupération impactent à la fois la qualité des réponses et la surcharge computationnelle.

2. Taxonomie systématique de 142 articles

Les auteurs classent la littérature examinée en neuf catégories spécifiques, cartographiant l'évolution du domaine, des architectures Transformer fondamentales aux matériels NPU spécialisés, en passant par les pipelines RAG efficaces et les stratégies d'inférence respectueuses du carbone.

3. Le cadre d'évaluation ALEMC

Une contribution centrale est la proposition d'ALEMC (Accuracy, Latency, Energy, Memory, Carbon), un cadre d'évaluation unifié qui étend les métriques de performance conventionnelles.

• Métriques : Il définit des métriques formelles pour l'Exactitude (moyenne harmonique du score de tâche et de la fidélité), la Latence (temps jusqu'au premier jet et de bout en bout), l'Énergie (Joules par requête), la Mémoire (RSS de pointe) et le Carbone (gCO2e par requête).
• Notation : Il introduit une moyenne géométrique pondérée composite pour permettre une comparaison holistique des configurations de système, garantissant qu'une faible performance dans une dimension (ex. : haute consommation d'énergie) ne puisse être masquée par une forte performance dans une autre.
• Application : Le cadre est appliqué pour synthétiser les principes de conception et comparer différents modèles de déploiement.

4. Modèles d'intégration pour un RAG embarqué durable

L'article synthétise trois modèles de conception distincts qui occupent différents points dans l'espace de compromis exactitude-efficacité-durabilité :

• Modèle 1 : SLM quantifié + Récupérateur léger + NPU : Une configuration entièrement hors ligne, sur un seul dispositif, utilisant des SLM quantifiés en 4 bits (ex. : Phi-3-mini, Gemma-2B) et une récupération basée sur des graphes ou légère (ex. : MiniRAG) pour minimiser la mémoire et l'énergie.
• Modèle 2 : Hybride spéculatif Bord–Cloud : Une architecture à seuil de confiance où un SLM local rédige des réponses, et un grand modèle basé sur le cloud vérifie uniquement les requêtes à faible confiance. Cela équilibre la confidentialité/efficacité locale avec l'exactitude du cloud.
• Modèle 3 : RAG adaptatif sensible au carbone : Un système dynamique qui ajuste les paramètres au runtime (DVFS, rang de l'adaptateur LoRA, profondeur de récupération) en fonction de l'intensité carbone du réseau en temps réel et de l'état de la batterie de l'appareil pour optimiser la durabilité.

5. Identification des défis ouverts et feuille de route

L'enquête identifie six défis critiques :

1. Écarts matériels : Les NPU actuels sont optimisés pour les CNN et manquent de support natif pour les séquences de longueur variable, les opérations creuses et les graphes dynamiques requis par les LLM/RAG.
2. Benchmarks standardisés : Un manque de benchmarks énergétiques reproductibles pour le RAG sur dispositif de bord, rendant les comparaisons entre études difficiles.
3. Sélection de modèles sensible au cycle de vie : La nécessité de prendre en compte le carbone de l'entraînement et les coûts de réentraînement, et pas seulement l'énergie d'inférence, lors de la sélection des modèles.
4. RAG fédéré : Défis liés à l'agrégation sécurisée des indices et à la confidentialité différentielle pour le partage collaboratif de connaissances sur dispositif de bord.
5. RAG multi-modal sur le bord : La difficulté de déployer la récupération multi-modale (texte, image, audio) dans des budgets de mémoire et d'énergie très stricts.
6. Politique et réglementation : Le besoin émergent d'étiquetage standardisé du carbone et de reporting énergétique pour les systèmes d'IA.

Résultats et observations empiriques

L'article ne présente pas un nouveau résultat expérimental unique, mais synthétise les conclusions des 142 articles examinés et inclut une étude empirique contrôlée (Section 7.3) pour valider le cadre ALEMC.

• Faisabilité : La synthèse confirme que le RAG durable sur dispositif de bord est techniquement réalisable. Les systèmes utilisant des SLM quantifiés en 4 bits (1–3 milliards de paramètres) avec une récupération légère peuvent fonctionner avec 2 à 4 Go de mémoire sur les NPU mobiles modernes, en délivrant des réponses en moins de 2 secondes.
• Économies d'énergie : L'inférence sur dispositif peut réduire la consommation d'énergie de 10 à 100 fois par rapport à l'inférence sur le cloud pour les petits modèles, principalement en éliminant le transfert réseau et les frais d'infrastructure (PUE). Cependant, cet avantage diminue pour les modèles plus larges ou les requêtes fréquentes où le carbone incorporé et l'intensité du réseau local deviennent dominants.
• Compromis : L'étude empirique et la synthèse de la littérature démontrent des rendements décroissants marqués : passer d'un modèle de 1 milliard de paramètres en 4 bits à un modèle de 7 milliards en pleine précision peut n'améliorer l'exactitude que de 3 à 5 % tout en augmentant la consommation d'énergie d'un ordre de grandeur.
• Compression de contexte : Les techniques telles que SparseRAG et la réduction sélective de contenu peuvent réduire la longueur du contexte de 30 à 55 % avec une perte d'exactitude négligeable, réduisant directement l'énergie de calcul du prefill et du cache KV.

Signification et affirmations

L'article affirme que sa principale importance réside dans la synthèse de trois communautés de recherche adjacentes en un cadre cohérent. Il soutient que la conception de systèmes RAG durables sur dispositif ne peut être réalisée en optimisant un seul pilier (compression, récupération ou durabilité) de manière isolée.

• Changement de discours : Le travail vise à déplacer la question de recherche de « Pouvons-nous exécuter le RAG sur un dispositif ? » (ce qui a largement été répondu par l'affirmative) vers « Pouvons-nous exécuter le RAG sur un dispositif de manière durable ? ».
• Perspective unifiée : En exposant les interdépendances — comme la façon dont la largeur de bit de quantification dicte la mémoire disponible pour les indices de récupération, ou comment la profondeur de récupération impacte la consommation d'énergie — l'article fournit une base fondée sur des principes pour la conception de systèmes.
• Cadre actionnable : Le cadre ALEMC et les modèles d'intégration identifiés offrent aux praticiens une méthodologie concrète pour naviguer sur la frontière de Pareto multidimensionnelle de l'exactitude, de la latence, de l'énergie, de la mémoire et du carbone.
• Directions futures : L'article trace une feuille de route pour la recherche, appelant à des benchmarks énergétiques standardisés, à la co-conception de matériel NPU pour les LLM, et au développement d'outils de sélection de modèles sensibles au cycle de vie pour guider le domaine vers une intelligence de bord véritablement durable.