Design-Time Optimization of Deep Neural Networks for Intermittent Learning on Microcontrollers
Cet article présente un cadre d'optimisation multi-objectif sensible au matériel qui permet la sélection, lors de la phase de conception, de réseaux de neurones profonds pour un apprentissage sur dispositif intermittent et fiable sur des microcontrôleurs autonomes en énergie en prédisant avec précision la consommation d'énergie par couche et le surcoût lié aux points de contrôle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'enseigner à un minuscule robot alimenté par une batterie à reconnaître la voix d'un ami ou à repérer une pièce de machine cassée. Ce robot vit dans une forêt reculée ou sur une bouée flottante, alimenté uniquement par le soleil ou le vent. Le problème est que la nature est capricieuse ; le soleil peut se cacher derrière un nuage, ou le vent peut tomber, provoquant l'épuisement de la batterie du robot en plein milieu d'une tâche. Dans le monde de l'intelligence artificielle, c'est un cauchemar. Habituellement, si l'alimentation d'un ordinateur se coupe pendant qu'il apprend, il oublie tout ce qu'il vient de découvrir, et vous devez tout recommencer. Ce document s'attaque précisément à ce casse-tête : comment enseigner à ces petits robots gourmands en énergie à apprendre même lorsque leur alimentation est peu fiable et s'allume et s'éteint constamment ? Les auteurs travaillent à l'intersection des « micro-ordinateurs » (microcontrôleurs), de la « récupération d'énergie » (puiser de l'énergie dans l'environnement) et de l'« informatique intermittente » (une façon de sauvegarder les progrès pour pouvoir reprendre exactement là où l'on s'était arrêté après une coupure de courant).
Les chercheurs, dirigés par Jakob Schubert et son équipe, ont réalisé que concevoir un cerveau intelligent pour ces robots revient à essayer de construire une maison sans savoir quelle quantité de pluie tombera demain. Si vous construisez une maison lourde et complexe (un réseau de neurones profond), elle sera peut-être excellente pour apprendre, mais si une seule couche de la maison nécessite plus d'énergie pour être construite que ce que la batterie du robot peut contenir à la fois, tout le projet s'effondre dès que le courant vacille. Les méthodes traditionnelles pour tester ces conceptions consistent à construire le robot, à le mettre sur le terrain et à attendre que l'énergie vienne à manquer pour voir ce qui se passe. C'est lent, coûteux et frustrant.
Au lieu d'attendre que l'énergie vienne à manquer, les auteurs ont créé une « boule de cristal » pour la consommation d'énergie. Ils ont construit un modèle mathématique capable de prédire exactement quelle quantité d'énergie chaque étape du processus d'apprentissage d'un robot consommera, avant même que le robot ne soit construit. Ils appellent cela l'« Optimisation au moment de la conception ». Pensez à un concepteur de jeux vidéo qui peut simuler la physique d'un saut dans un programme informatique pour voir si le personnage franchira un fossé, sans jamais avoir à construire un véritable trampoline. Leur modèle examine les « ingrédients » d'un réseau de neurones (le nombre de calculs nécessaires et la quantité de mémoire sollicitée) et estime le coût énergétique avec une précision surprenante.
Voici la partie ingénieuse : ils n'ont pas seulement prédit l'énergie nécessaire pour observer des données (l'inférence) ; ils ont aussi prédit l'énergie nécessaire pour apprendre à partir de données (l'entraînement). C'est crucial car l'apprentissage est beaucoup plus énergivore. Ils ont également pris en compte la surcharge de la « mise en mémoire tampon » (checkpointing) — la petite quantité d'énergie supplémentaire nécessaire pour sauvegarder les progrès du robot dans une mémoire spéciale, non volatile (comme un carnet de notes numérique qui n'a pas besoin d'électricité pour rester ouvert) chaque fois que la batterie devient faible.
L'équipe a testé son idée sur un type spécifique de petit ordinateur appelé microcontrôleur Cortex-M4 (plus précisément l'nRF52840). Ils ont utilisé leur « boule de cristal » énergétique pour passer au crible des milliers de conceptions possibles de cerveaux de robots afin de trouver celles qui étaient à la fois assez intelligentes pour détecter des anomalies (comme un roulement mécanique défectueux) et assez petites pour tenir dans le budget énergétique intermittent et minuscule du robot. Ils ont constaté que leur modèle de prédiction était très performant, avec une erreur pondérée d'environ 16,6 % pour les couches du réseau et un infime 0,9 % d'erreur pour la sauvegarde de la mémoire.
Les résultats ont été impressionnants. En utilisant leur modèle pour choisir la bonne conception, ils ont pu trouver un cerveau de robot qui utilisait environ 94 % d'énergie en moins qu'une version moins optimisée, tout en accomplissant correctement sa tâche. Ils ont démontré qu'une conception qui semble efficace sur le papier peut en réalité échouer si une seule étape nécessite trop de puissance à la fois, mais que leur modèle pouvait repérer ces « pièges énergétiques » avant même qu'ils ne surviennent. En résumé, ils ont prouvé que l'on peut concevoir des robots intelligents et capables d'auto-apprentissage pour la vie sauvage sans avoir besoin de construire et de tester des centaines de prototypes, simplement en utilisant une calculatrice intelligente pour prédire les besoins énergétiques de chaque petite étape du processus d'apprentissage. Cela comble le fossé entre l'intelligence artificielle complexe et la réalité brutale de fonctionner à l'énergie solaire ou éolienne dans le monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.