🤖 machine learning

Split CNN Inference on Networked Microcontrollers

Ce papier présente un système d'inférence fractionnée à granularité fine pour microcontrôleurs en réseau qui surmonte les contraintes de mémoire en partitionnant les modèles de CNN au niveau des noyaux et des neurones sur plusieurs appareils, permettant ainsi l'exécution de modèles autrement irréalisables tout en maintenant une latence pratique.

Auteurs originaux : Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Publié 2026-05-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Junyu Lu, Shashwath Suresh, Hao Liu, Qi Hong, Qing Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un puzzle très difficile à résoudre, mais que vous n'ayez qu'un tout petit bureau pour travailler. Le puzzle est un « Réseau de Neurones Profond » (un cerveau d'IA complexe), et votre bureau est un Microcontrôleur (MCU) — une petite puce informatique bon marché que l'on trouve dans tout, des grille-pains aux capteurs intelligents.

Le problème est que le puzzle est trop grand pour votre tout petit bureau. Même si les pièces du puzzle (les « poids » du modèle) tiennent dans votre poche, le fait de le résoudre vous oblige à étaler une quantité massive de notes temporaires (appelées « activations intermédiaires ») sur le bureau. Votre bureau est trop petit ; les notes débordent et la tâche échoue.

Ce papier propose une solution ingénieuse : N'essayez pas de résoudre tout le puzzle sur un seul bureau. Au lieu de cela, formez une équipe d'amis, chacun avec son propre tout petit bureau, et résolvez-le ensemble.

Voici comment les auteurs ont rendu cela possible, expliqué simplement :

1. L'Ancienne Méthode vs La Nouvelle Méthode

L'Ancienne Méthode (Découpage Grossier) : Imaginez essayer de diviser le puzzle en donnant à un ami la moitié supérieure et à un autre ami la moitié inférieure. Mais même la « moitié supérieure » est encore trop grande pour un seul tout petit bureau. Cette approche échoue car les morceaux sont encore trop gros.
La Nouvelle Méthode (Découpage Fin) : Les auteurs ont réalisé qu'il fallait découper le puzzle en beaucoup plus petits morceaux, de taille bouchée. Au lieu de diviser par « couches » (de grandes sections), ils ont divisé par neurones individuels (les petits points à l'intérieur du réseau).
- Analogie : Imaginez une immense fresque murale. Au lieu de donner à un artiste tout un mur à peindre, vous lui donnez un seul carré d'un pouce de la paroi. Vous donnez à un autre artiste un autre carré d'un pouce. Ensemble, ils peignent toute la fresque, mais aucun artiste individuel n'a jamais à tenir l'ensemble du tableau en même temps.

2. Le « Capitaine d'Équipe » (Le Coordinateur)

Puisque les amis (les MCU) travaillent sur de minuscules fragments, ils ont besoin d'un gestionnaire pour organiser les choses.

Le Coordinateur : C'est un dispositif central (comme un PC ou une puce dédiée) qui agit comme le capitaine d'équipe.
Ce qu'il fait : Il ne fait pas le gros œuvre. Au lieu de cela, il détient la carte. Il dit à l'ami A : « Tu travailles sur ces pixels spécifiques », et « Envoie ton résultat à l'ami B ». Il achemine les notes temporaires entre les amis afin que chacun ait exactement ce dont il a besoin pour accomplir sa minuscule partie du travail.

3. La « Répartition Intelligente » (Consciente des Ressources)

Tous les amis ne sont pas identiques. Certains ont des bureaux plus rapides (des processeurs plus rapides), d'autres ont des poches plus grandes (plus de mémoire), et certains sont plus lents pour transmettre les notes (réseau plus lent).

Le Problème : Si vous donnez la même quantité de travail à un ami lent et à un ami rapide, l'ami rapide restera simplement assis à attendre, perdant du temps.
La Solution : Les auteurs ont créé un « Système de Notation ». Ils mesurent la rapidité et les capacités de chaque MCU.
- L'Analogie : Pensez à une course de relais. Vous ne donnez pas la même distance à un sprinteur et à un marcheur. Vous donnez au sprinteur une plus longue portion de la course et au marcheur une portion plus courte, afin que tout le monde termine à peu près en même temps. Le système calcule automatiquement qui doit faire combien de travail pour maintenir l'équipe en mouvement efficacement.

4. Les Résultats

L'équipe a testé cela sur une configuration réelle utilisant 8 petits ordinateurs (MCU Teensy 4.1) et un modèle d'IA populaire appelé MobileNetV2.

Le Résultat : Un seul ordinateur ne pouvait pas exécuter ce modèle d'IA du tout car il manquait de mémoire. Mais lorsqu'ils ont réparti le travail sur 8 ordinateurs, le modèle s'est exécuté avec succès.
Le Compromis : Le temps total pour résoudre le puzzle est devenu un peu plus long car les amis ont dû passer du temps à s'échanger des notes. Cependant, l'utilisation de la mémoire sur chaque ordinateur individuel a chuté drastiquement, rendant possible la tâche impossible.

Résumé

Ce papier montre qu'en décomposant une tâche d'IA complexe en morceaux microscopiques et en les distribuant sur un réseau de petits ordinateurs bon marché, nous pouvons exécuter des IA puissantes sur des appareils trop faibles pour les gérer seuls. C'est comme transformer un seul éléphant surchargé en une équipe de fourmis capables de porter une miette ensemble.

Résumé Technique : Inférence CNN Fractionnée sur Microcontrôleurs en Réseau

Énoncé du Problème

Le déploiement de modèles d'Apprentissage Profond (DL) sur des Microcontrôleurs (MCU) est sévèrement contraint par des ressources mémoire limitées, spécifiquement la Mémoire Vive (RAM). Bien que les techniques TinyML telles que la quantification, l'élagage et la recherche d'architecture neuronale réduisent efficacement les paramètres et les calculs du modèle, elles échouent souvent en pratique en raison de l'utilisation maximale de la RAM durant l'inférence. Cette utilisation maximale est dominée par les activations intermédiaires et les tampons temporaires, qui peuvent dépasser la RAM disponible d'un seul MCU, même lorsque les poids du modèle tiennent dans la mémoire flash. Par conséquent, de nombreux modèles de Réseaux de Neurones Convolutifs (CNN) restent irréalisables pour des MCU autonomes.

Les stratégies d'inférence fractionnée existantes, conçues pour les GPU ou les scénarios edge-cloud, reposent sur un partitionnement grossier aux limites des couches. Ces approches échouent sur les MCU car même les cartes de caractéristiques intermédiaires d'une seule couche ou les poids des noyaux peuvent dépasser la capacité mémoire d'un dispositif individuel. De plus, une distribution naïve sur des MCU hétérogènes entraîne un déséquilibre de charge et une surcharge de communication excessive, dégradant la latence de bout en bout.

Méthodologie

Les auteurs proposent un système d'inférence fractionnée à granularité fine permettant l'exécution collaborative de CNN sur un réseau de MCU. Le système fonctionne sous une architecture coordinateur-travailleur et emploie trois mécanismes fondamentaux :

1. Partitionnement du Modèle à Granularité Fine

Contrairement au fractionnement traditionnel par couche, ce système partitionne le calcul à une granularité sous-couche :

Couches Convolutives : La carte de caractéristiques de sortie est divisée en patches à granularité fine. Les noyaux convolutifs sont attribués à des travailleurs spécifiques en fonction des neurones de sortie qu'ils calculent. Cela permet à différents MCU de traiter différents sous-ensembles de canaux de sortie ou de régions spatiales.
Couches Linéaires : La matrice de poids est partitionnée par colonnes, où chaque colonne correspond à un neurone de sortie. Des colonnes spécifiques sont attribuées aux travailleurs, permettant le calcul indépendant des neurones de sortie.
Réinterprétation du Modèle : Un pipeline de prétraitement réinterprète les modèles pré-entraînés pour extraire explicitement les dépendances au niveau des neurones, les champs récepteurs et les dimensions des tenseurs. Ces métadonnées sont sérialisées et utilisées pour générer des fragments de poids et des cartes de routage.

2. Allocation de Charge de Travail Consciente des Ressources

Pour répondre à l'hétérogénéité matérielle (variations de fréquence d'horloge, taille de mémoire et bande passante de communication), le système attribue une note de capacité ( $R_i$ ) à chaque MCU. Cette note est dérivée d'un modèle de temps d'exécution qui prend en compte :

Le temps de calcul (basé sur la fréquence d'horloge et la charge de travail).
Le temps de communication (basé sur le volume de données, la bande passante et la latence).

Les charges de travail sont allouées proportionnellement à ces notes. Le système inclut un mécanisme d'ajustement itératif pour gérer les contraintes de stockage strictes : si un fragment de poids attribué à un travailleur dépasse sa capacité flash, la note excédentaire est redistribuée à d'autres travailleurs disposant d'espace disponible.

3. Cartographie des Activations Inter-couches et Exécution

Un coordinateur orchestre le flux d'inférence :

Cartographie : Le système construit une Cartographie d'Attribution (quel travailleur calcule quels neurones de sortie) et une Cartographie de Routage des Activations (quel travailleur doit envoyer quelles activations d'entrée à quel travailleur en aval).
Exécution : L'inférence progresse couche par couche. Le coordinateur transmet les activations d'entrée requises aux travailleurs selon la carte de routage. Les travailleurs calculent leurs neurones attribués en utilisant les fragments de poids locaux et renvoient des résultats partiels. Le coordinateur agrège ces résultats pour former l'entrée de la couche suivante.
Optimisations : Le système emploie la fusion de couches (combinaison Conv-BN-ReLU), la quantification (float 32 bits vers int 8 bits) et la communication asynchrone pour chevaucher le calcul et le transfert de données, minimisant ainsi les temps d'inactivité.

Contributions Clés

Inférence Fractionnée à Granularité Fine : Une approche novatrice qui partitionne les modèles CNN au niveau sous-couche (neurone/noyau), permettant l'exécution de modèles qui ne tiennent pas sur un seul MCU en distribuant à la fois les paramètres et les activations intermédiaires.
Coordination Consciente des Ressources : Un mécanisme d'allocation de charge de travail basé sur une note qui équilibre dynamiquement les charges de calcul et de communication sur des MCU hétérogènes, empêchant les goulots d'étranglement causés par des dispositifs plus lents ou des liens à haute latence.
Implémentation et Évaluation du Système : Une implémentation pratique sur un véritable banc d'essai allant jusqu'à 8 MCU Teensy 4.1 exécutant MobileNetV2, démontrant la faisabilité et l'évolutivité.

Résultats Expérimentaux

Le système a été évalué en utilisant MobileNetV2 sur un banc d'essai de 8 MCU Teensy 4.1 (600 MHz, 1 Mo de RAM) et un simulateur évoluant jusqu'à 120 MCU.

Faisabilité : Le système a exécuté avec succès MobileNetV2, un modèle qui provoque des échecs de mémoire sur un seul MCU. L'utilisation maximale de la RAM par MCU a été réduite pour tenir dans le budget de 1 Mo.
Latence et Efficacité :
- Hétérogénéité : Dans des scénarios hétérogènes (fréquences et délais de communication variables), l'allocation basée sur la note a nettement surpassé le fractionnement uniforme et le fractionnement basé uniquement sur la fréquence. Par exemple, dans un cas hétérogène spécifique, le schéma optimisé a réduit la latence totale de 18,9 % par rapport à une base de référence.
- Évolutivité : À mesure que le nombre de MCU augmentait de 3 à 8, le temps de calcul diminuait de manière monotone, tandis que le temps de communication augmentait. Le temps total d'inférence a montré un compromis où la surcharge de communication est finalement devenue le coût dominant.
- Évolutivité Mémoire : Les résultats de simulation ont montré que l'utilisation maximale de la mémoire par MCU chute considérablement à mesure que davantage d'appareils sont ajoutés, les gains les plus substantiels se produisant au sein des 10 à 20 premiers appareils. Au-delà de ce point, un rendement décroissant est observé.

Importance et Revendications

L'article revendique que l'inférence fractionnée à granularité fine est une alternative viable à la compression agressive de modèles pour le déploiement de l'apprentissage profond sur des MCU aux ressources limitées. En déplaçant le paradigme d'exécution d'un seul nœud puissant vers un réseau collaboratif de MCU peu coûteux, le système surmonte le goulot d'étranglement de la RAM maximale qui limite actuellement le TinyML.

Les auteurs soulignent que leur approche ne nécessite pas de systèmes d'exploitation lourds et fonctionne sur du bare-metal ou des environnements d'exécution légers. Ils concluent que, bien que la surcharge de communication soit un facteur limitant pour les déploiements à grande échelle, le système proposé permet avec succès l'inférence de CNN complexes sur des réseaux de MCU qui seraient autrement irréalisables, fournissant une base pour des travaux futurs sur la communication efficace et des classes de modèles plus larges.