💻 computer science

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

Cet article propose une méthodologie d'évaluation comparative multidimensionnelle pour évaluer les performances et l'efficacité de l'exécution de grands modèles de langage sur des ordinateurs monocarte accélérés par le matériel, offrant des conseils pratiques pour le déploiement de l'IA générative dans des environnements de périphérie sensibles à la vie privée et à la connectivité limitée.

Auteurs originaux : Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau robotique brillant et ultra-intelligent (un Modèle de Langage à Grande Échelle, ou LLM) capable d'écrire des histoires, de résoudre des problèmes et de répondre à des questions. Habituellement, ce cerveau réside dans un gigantesque et coûteux centre de données, loin au loin dans le « cloud ». Pour l'utiliser, vous devez envoyer vos questions via Internet et attendre une réponse.

Mais que se passe-t-il si vous vous trouvez dans un endroit sans Internet, ou où l'envoi de données vers l'extérieur constitue un risque de sécurité (comme une base militaire secrète ou un drone isolé) ? Vous avez besoin que ce cerveau vive juste à côté de vous, sur un petit ordinateur peu coûteux. C'est ce qu'on appelle l'« Informatique en périphérie » (Edge Computing).

Ce document est comme un guide d'achat pour construire un cerveau robotique local. Les auteurs ont testé quatre petits ordinateurs différents (ordinateurs monocartes) pour déterminer lequel est le meilleur pour faire fonctionner ces cerveaux intelligents sans avoir besoin d'une centrale électrique massive ou d'une énorme valise pour les transporter.

Voici comment ils ont procédé et ce qu'ils ont découvert, en utilisant des analogies simples :

Le Problème : Le « Cloud » contre le « Sac à dos »

Faire fonctionner un cerveau intelligent dans le cloud, c'est comme commander une pizza livrée depuis un restaurant de l'autre bout de la ville. C'est formidable si vous avez une route rapide (Internet), mais si la route est bloquée, ou si vous ne pouvez pas laisser le livreur voir votre adresse secrète (vie privée), vous êtes coincé.

Les auteurs voulaient savoir : Pouvons-nous cuire la pizza dans notre propre cuisine ?
Ils ont testé de petits ordinateurs qui tiennent dans votre main (ou même plus petits) pour voir s'ils pouvaient faire fonctionner ces cerveaux intelligents assez rapidement pour être utiles.

La Cuisine de Test : Quatre « Fourneaux » Différents

Les chercheurs ont mis en place quatre « fourneaux » différents (configurations matérielles) pour cuire la pizza (faire fonctionner l'IA) :

La Petite Brique (M5Stack) : Un ordinateur minuscule, de la taille d'une carte de crédit, avec une puce d'aide spéciale (NPU) intégrée. Il a la taille d'une petite boîte d'allumettes.
La Carte Standard (Raspberry Pi 5) : Une carte d'ordinateur populaire et abordable, mais qui tente de tout faire avec son cerveau principal (CPU) seul.
La Carte Améliorée (Raspberry Pi 5 + HAT) : La même carte standard, mais avec une carte spéciale « accélérateur de vitesse » (Hailo NPU) attachée.
La Centrale Électrique (Jetson Orin Nano) : Une carte plus coûteuse et puissante, avec une carte graphique haut de gamme (GPU) intégrée.

La Nouvelle Façon de Mesurer le Succès

Habituellement, les gens demandent simplement : « À quelle vitesse va-t-il ? » (Jetons par seconde). Mais les auteurs ont réalisé que pour les petits appareils portables, la vitesse n'est pas la seule chose qui compte. Ils ont introduit deux nouvelles façons de mesurer le succès :

Le Test de « Densité de Valise » (Débit par unité de volume) :
Imaginez que vous faites vos bagages pour une randonnée. Vous ne voulez pas seulement la tente la plus puissante ; vous voulez la tente la plus puissante qui tient dans le plus petit sac à dos. Les auteurs ont mesuré combien de « pensée intelligente » un appareil pouvait produire par pouce cube de sa taille.
- Le Gagnant : La minuscule M5Stack était la championne ici. Même si elle n'était pas la plus rapide dans l'ensemble, elle packait la plus grande puissance de calcul dans le plus petit espace.
Le Test de « Durée de Vie de la Batterie » (Énergie par million de jetons) :
Imaginez que vous courez un marathon. Vous ne voulez pas seulement courir vite ; vous voulez courir vite sans vous épuiser. Ils ont mesuré combien d'électricité il fallait pour générer un million de mots.
- Le Gagnant : La M5Stack et le GPU Jetson étaient les plus économes en énergie. Le Raspberry Pi standard (sans accélérateur) était comme un coureur qui se fatigue très vite, utilisant beaucoup d'énergie pour très peu de vitesse.

Les Résultats : Qu'est-ce qui a le mieux fonctionné ?

Le « Démon de la Vitesse » : Le Jetson Orin Nano était le plus rapide dans l'ensemble. Si vous avez besoin du plus grand nombre de réponses par seconde et que vous avez un peu d'espace et de puissance, c'est celui qu'il faut choisir.
Le « Économiseur d'Espace » : La M5Stack (la petite brique) était la meilleure pour les espaces exigus. Elle a prouvé que l'on peut faire tenir un cerveau intelligent dans quelque chose d'aussi petit qu'une boîte d'allumettes.
La « Mise à Niveau Intelligente » : Ajouter l'accélérateur de vitesse Hailo au Raspberry Pi l'a rendu beaucoup meilleur. Il est devenu beaucoup plus rapide et a utilisé beaucoup moins d'énergie que le Raspberry Pi seul.
Le « Ne Faites Pas Cela » : Tenter de faire fonctionner ces cerveaux intelligents sur le Raspberry Pi standard sans aucune puce d'accélérateur spéciale était très inefficace. C'était lent et consommait beaucoup d'énergie, comme essayer de courir un marathon avec de lourdes bottes.

Pourquoi Cela Compte-t-il ? (Les Revendications Spécifiques du Document)

Les auteurs affirment que ces découvertes sont cruciales pour trois scénarios réels spécifiques mentionnés dans le document :

Véhicules Non Pilotés (Drones) : Les drones ont de minuscules batteries. Ils ont besoin d'un cerveau intelligent qui ne vide pas la batterie. Le document montre que vous pouvez installer un cerveau intelligent sur un drone qui est assez petit pour voler et assez efficace pour ne pas faire s'écraser le drone en raison d'une faible puissance.
Opérations Portables et Robustes : Pensez aux soldats ou aux travailleurs dans des environnements difficiles transportant du matériel. Ils ont besoin d'ordinateurs qui tiennent dans un petit et robuste étui. Le test de « Densité de Valise » montre quels ordinateurs s'intègrent le mieux dans ces boîtes étroites et robustes.
Stations Terriennes Satellitaires : Des personnes construisent de petites stations portables pour communiquer avec des satellites dans des endroits isolés. Ils doivent traiter les données localement sans attendre une connexion au bureau principal. Le document montre que ces petits ordinateurs peuvent gérer le travail, surtout s'ils utilisent les puces d'accélérateur spéciales pour économiser de l'énergie.

La Conclusion

Vous n'avez plus besoin d'un gigantesque centre de données pour avoir une IA intelligente. Vous pouvez la mettre dans une petite boîte. Cependant, vous ne pouvez pas simplement prendre n'importe quel petit ordinateur ; vous avez besoin de la bonne combinaison d'un petit ordinateur et d'une puce « aide » spéciale (accélérateur) pour le rendre rapide et économe en énergie.

Si vous avez besoin de vitesse maximale, prenez le Jetson.
Si vous avez besoin de minuscule maximal, prenez la M5Stack.
Si vous voulez un bon équilibre, ajoutez une puce d'accélérateur à une carte standard.

Ce document vous donne la carte pour choisir le bon outil afin que vous puissiez faire fonctionner une IA intelligente n'importe où, même là où Internet ne parvient pas.

1. Énoncé du problème

Le déploiement des modèles de langage de grande taille (LLM) reste principalement centré sur le cloud, créant des goulots d'étranglement critiques pour les environnements de technologie opérationnelle (OT) et de défense. Ces défis incluent :

Confidentialité et sécurité des données : Les données sensibles des infrastructures critiques (énergie, défense, fabrication) ne peuvent souvent pas quitter les périmètres de réseau contrôlés.
Latence et connectivité : La dépendance à des connexions Internet stables constitue un risque dans des environnements éloignés ou contestés (par exemple, véhicules autonomes, stations au sol de satellites).
Lacunes dans l'évaluation : Les outils existants de benchmarking pour le edge (par exemple, DeepEdgeBench, LEAF) souffrent de trois limitations principales :
1. Ils reposent fortement sur l'inférence CPU uniquement ou sur des GPU obsolètes, ignorant les accélérateurs edge dédiés modernes (NPU).
2. Ils manquent de couverture des véritables ordinateurs monocartes (SBC) adaptés à l'IoT.
3. Ils utilisent des métriques d'évaluation génériques qui ne tiennent pas compte des contraintes multidimensionnelles du déploiement edge (taille physique, budget énergétique et efficacité énergétique).

2. Méthodologie

Les auteurs proposent un cadre de benchmarking structuré et multidimensionnel pour évaluer l'inférence LLM sur quatre plateformes edge distinctes adaptées à l'IoT.

Configuration expérimentale :

Plateformes matérielles (5 configurations) :
1. M5Stack LLM (Module M140) : Dispose d'un SoC AX630C avec un NPU intégré (3,2 TOPS). Plus petit facteur de forme ( $54 \times 54 \times 13$ mm).
2. Raspberry Pi 5 : CPU uniquement (Broadcom BCM2712).
3. Raspberry Pi 5 + AI HAT+ : Ajoute un NPU Hailo-10H (40 TOPS).
4. NVIDIA Jetson Orin Nano Super : Dispose d'un GPU Ampere (67 TOPS).
Modèles : Une sélection de LLM compacts et distillés (0,5B à 3B paramètres), incluant DeepSeek-R1-Distill-Qwen, Qwen 2.5 (Instruct/Coder) et Llama 3.2.
Configuration d'inférence :
- Quantification : Tous les modèles fonctionnent en quantification 4 bits (Q4_K_M) pour minimiser l'empreinte mémoire.
- Environnements d'exécution : Ollama (pour CPU/GPU), Hailo Ollama (pour NPU sur Pi 5) et StackFlow (pour M5Stack).
- Charge de travail : Prompts fixes générant 100 tokens pour mesurer les performances soutenues.

Métriques d'évaluation :
Le papier introduit un cadre multidimensionnel allant au-delà de la simple latence/précision :

Performance brute : Débit de tokens (tokens/s) et temps jusqu'au premier token (TTFT).
Efficacité énergétique : Consommation énergétique par million de tokens (MJ/Mtok).
Métriques composites (Contributions novatrices) :
- Densité de débit ( $Tps/m^3$ ) : Débit de tokens normalisé par le volume de l'appareil. Crucial pour les déploiements contraints en espace (par exemple, drones, dispositifs portables).
- Énergie par million de tokens (MJ/Mtok) : Coût énergétique total pour la génération, critique pour les systèmes fonctionnant sur batterie.

3. Contributions clés

Analyse des lacunes : Identification de l'absence de cadres multidimensionnels évaluant conjointement les performances d'inférence, l'efficacité matérielle et les contraintes physiques pour les SBC modernes dotés d'accélérateurs dédiés.
Métriques novatrices : Introduction de la Densité de débit et de l'Énergie par million de tokens pour permettre la sélection matérielle basée sur des contraintes de déploiement spécifiques (espace vs puissance vs vitesse).
Benchmarking complet : Fourniture de la première analyse comparative des accélérateurs edge modernes (Hailo-10H, NVIDIA Ampere, NPU AX630C) par rapport à des références CPU-only sur plusieurs familles de modèles.

4. Résultats clés

Impact de l'accélération matérielle :
- NPU (Hailo-10H) : A livré des gains d'efficacité énergétique de 9,5 à 40 fois par rapport à l'inférence CPU-only sur le Raspberry Pi 5. Le débit est passé d'environ 0,3 tok/s (CPU) à environ 6,3 tok/s (NPU).
- GPU (Jetson Orin) : A fourni un gain d'efficacité plus modeste de 1,2 à 1,8 fois par rapport à sa propre référence CPU, mais a offert le débit absolu le plus élevé (jusqu'à environ 10 tok/s).
Densité de débit :
- Le M5Stack AX630c a dominé cette métrique, atteignant >90 000 Tps/m³ grâce à son facteur de forme minuscule, le rendant idéal pour des applications ultra-compactes et ruggedisées.
- Le Jetson Orin, bien que puissant, présentait la densité la plus faible en raison de son volume physique plus important.
Efficacité énergétique :
- L'inférence CPU-only était d'un ordre de grandeur moins efficace (33–76 MJ/Mtok) par rapport aux plateformes accélérées (0,5–5,5 MJ/Mtok).
- Le M5Stack et le GPU Jetson étaient les plus économes en énergie, consommant environ 0,5–1,7 MJ/Mtok.
- Le RPi 5 + Hailo a montré une efficacité variable selon l'architecture du modèle, suggérant que les performances des NPU sont plus sensibles à la structure du modèle que celles des GPU.

5. Importance et implications

Les résultats offrent des orientations pratiques pour le déploiement de l'IA générative dans des environnements critiques, sensibles à la confidentialité et limités en connectivité :

Systèmes distribués résilients : L'IA edge faible consommation (plage de 5–25 W) permet des architectures décentralisées où les nœuds individuels agissent comme des agents intelligents. Cela réduit la dépendance à un commandement central, renforçant la résilience face au brouillage réseau ou aux cyberattaques.
Autonomie contrainte en énergie : Pour les drones et les systèmes autonomes aux budgets énergétiques serrés, le passage de l'inférence CPU à l'inférence NPU/GPU prolonge considérablement le temps d'opération tout en permettant la prise de décision locale et le résumé de données en temps réel.
Stations au sol de satellites : Les résultats valident que des modèles de 1,5 milliard de paramètres peuvent s'exécuter sur des SBC portables (comme RPi 5 + Hailo) avec une haute efficacité. Cela permet aux stations au sol d'effectuer des tâches intelligentes (analyse de commandes, raisonnement sur la télémétrie) localement, sans avoir besoin de liens à haut débit vers des installations centrales.

Conclusion :
Le papier démontre que les SBC accélérés par le matériel sont désormais viables pour exécuter des LLM localement. Le choix du matériel ne doit pas reposer uniquement sur la vitesse brute ; il doit plutôt être guidé par les compromis spécifiques entre l'encombrement physique (favorisant M5Stack), le débit absolu (favorisant Jetson) et l'efficacité énergétique (favorisant M5Stack ou GPU Jetson), selon les contraintes opérationnelles spécifiques du déploiement IoT.