Design-Time Optimization of Deep Neural Networks for Intermittent Learning on Microcontrollers
Questo articolo presenta un framework di ottimizzazione multi-obiettivo, consapevole dell'hardware, che consente la selezione in fase di progettazione di reti neurali profonde per l'apprendimento su dispositivi intermittenti e affidabili su microcontrollori energeticamente autonomi, prevedendo accuratamente il consumo energetico per ogni livello e l'overhead del checkpointing.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un piccolo robot alimentato a batteria a riconoscere la voce di un amico o a individuare il pezzo rotto di una macchina. Questo robot vive in una foresta remota o su una boa galleggiante, alimentato solo dal sole o dal vento. Il problema è che la natura è volubile; il sole potrebbe nascondersi dietro una nuvola, o il vento potrebbe calare, causando l'esaurimento della batteria del robot nel mezzo di un compito. Nel mondo dell'intelligenza artificiale, questo è un incubo. Di solito, se l'alimentazione di un computer si interrompe mentre sta imparando, dimentica tutto ciò che ha appena scoperto e devi ricominciare da capo. Questo articolo affronta esattamente questo mal di testa: come insegniamo a questi piccoli robot, affamati di energia, ad apprendere anche quando la loro fornitura di energia è inaffidabile e continua a accendersi e spegnersi? Gli autori lavorano all'intersezione tra "piccoli computer" (microcontrollori), "energy harvesting" (succhiare energia dall'ambiente) e "intermittent computing" (un modo per salvare i progressi in modo da poter riprendere esattamente da dove si era interrotto dopo un'interruzione di corrente).
I ricercatori, guidati da Jakob Schubert e dal suo team, hanno capito che progettare un cervello intelligente per questi robot è come cercare di costruire una casa senza sapere quanta pioggia cadrà domani. Se costruisci una casa pesante e complessa (una rete neurale profonda), potrebbe essere ottima per imparare, ma se un singolo strato della casa richiede più energia per essere costruito di quanta la batteria del robot possa contenere in una volta sola, l'intero progetto crolla quando la corrente sfarfalla. I metodi tradizionali per testare questi progetti consistono nel costruire il robot, metterlo sul campo e aspettare che l'energia finisca per vedere cosa succede. È un processo lento, costoso e frustrante.
Invece di aspettare che l'energia si esaurisca, gli autori hanno creato una "sfera di cristallo" per il consumo energetico. Hanno costruito un modello matematico in grado di prevedere esattamente quanta energia richiederà ogni singolo passo del processo di apprendimento di un robot, prima ancora che il robot venga costruito. Lo chiamano "Design-Time Optimization" (Ottimizzazione al tempo della progettazione). Pensa a un progettista di videogiochi che può simulare la fisica di un salto in un programma per computer per vedere se il personaggio riuscirà ad attraversare un vuoto, senza dover mai costruire una vera trappola elastica. Il loro modello osserva gli "ingredienti" di una rete neurale (quanti calcoli sono necessari e quanta memoria toccano) e stima il costo energetico con una precisione sorprendente.
Ecco la parte intelligente: non hanno solo previsto quanta energia serve per "guardare" i dati (inferenza); hanno anche previsto quanta energia serve per "imparare" dai dati (addestramento). Questo è fondamentale perché l'apprendimento è molto più dispendioso in termini di energia. Hanno anche tenuto conto dell'overhead di "checkpointing", ovvero quella piccola parte di energia extra necessaria per salvare i progressi del robot in una memoria speciale, non volatile (come un taccuino digitale che non ha bisogno di energia per restare aperto) ogni volta che la batteria si abbassa.
Il team ha testato la loro idea su un tipo specifico di piccolo computer chiamato microcontrollore Cortex-M4 (nello specifico l'nRF52840). Hanno usato la loro "sfera di cristallo" energetica per cercare tra migliaia di possibili design del cervello del robot quelli che fossero sia abbastanza intelligenti da individuare anomalie (come un cuscinetto meccanico rotto) sia abbastanza piccoli da rientrare nel loro minuscolo budget energetico intermittente. Hanno scoperto che il loro modello di previsione era molto buono, con un errore ponderato di circa il 16,6% per gli strati della rete e un minuscolo 0,9% di errore per il salvataggio della memoria.
I risultati sono stati impressionanti. Usando il loro modello per scegliere il design giusto, sono stati in grado di trovare un cervello per robot che utilizzava circa il 94% di energia in meno rispetto a una versione meno ottimizzata, pur svolgendo correttamente il compito. Hanno dimostrato che un design che sembra efficiente sulla carta potrebbe effettivamente fallire se un singolo passaggio richiede troppa potenza in una volta sola, ma il loro modello poteva individuare queste "trappole energetiche" prima ancora che accadessero. In breve, hanno dimostrato che è possibile progettare robot intelligenti e capaci di auto-apprendimento per la natura selvaggia senza dover costruire e testare centinaia di prototipi, semplicemente usando una smart calculator per prevedere le esigenze di potenza di ogni piccolo passaggio del processo di apprendimento. Questo colma il divario tra la complessa intelligenza artificiale e la dura realtà del funzionare con l'energia solare o eolica nel mondo reale.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.