InstMeter: An Instruction-Level Method to Predict Energy and Latency of DL Model Inference on MCUs

Il paper presenta InstMeter, un metodo a livello di istruzione che sfrutta i cicli di clock per prevedere con elevata precisione e linearità l'energia e la latenza dell'inferenza di modelli di deep learning su microcontrollori, riducendo significativamente gli errori di previsione e la quantità di dati necessari rispetto agli approcci esistenti.

L'essenziale

Immagina di voler costruire un piccolo robot intelligente (come un orologio che capisce la tua voce o un auricolare che cancella il rumore) che deve funzionare con una batteria piccolissima. Il problema è: come fai a sapere se il "cervello" del robot (il modello di Intelligenza Artificiale) consumerà troppa energia o sarà troppo lento, prima ancora di costruirlo?

Fino a poco tempo fa, gli ingegneri dovevano costruire migliaia di prototipi, misurarli uno per uno con strumenti costosi e perdere giorni di lavoro. Era come cercare di indovinare quanto pesa un'auto contando solo il numero di ruote, senza guardare il motore. Spesso si sbagliava.

Gli autori di questo paper, InstMeter, hanno trovato un modo geniale per risolvere il problema. Ecco come funziona, spiegato in modo semplice:

1. Il Problema: Il "Contatore di Mattoni" non basta

I metodi precedenti cercavano di prevedere il consumo energetico contando le operazioni matematiche (chiamate MACs), come se contassero i mattoni di una casa per sapere quanto pesa.

• L'analogia: Immagina di dover calcolare quanto tempo ci vuole per costruire un muro. I vecchi metodi contavano solo i mattoni. Ma se usi un muratore veloce, un martello potente o se il muro è fatto di mattoni speciali, il tempo cambia, anche se il numero di mattoni è lo stesso.
• Il risultato: I vecchi metodi erano imprecisi e richiedevano di misurare migliaia di modelli per "imparare" a fare le stime.

2. La Soluzione: Contare i "Passi" del Motore

InstMeter cambia completamente approccio. Invece di contare i mattoni (le operazioni matematiche), conta i passi che il microchip compie realmente per eseguire il lavoro.

• L'analogia: Immagina che il microchip sia un corridore. Non importa quanti mattoni deve spostare; ciò che conta è quanti passi fa per spostarli. Ogni passo del corridore consuma una quantità fissa di energia e richiede un tempo preciso.
• La magia: InstMeter guarda direttamente il codice che il microchip esegue (le istruzioni). Poiché ogni "passo" (istruzione) ha un costo energetico e temporale fisso e prevedibile, la relazione è lineare. È come dire: "Se un passo costa 1 centesimo, 100 passi costano 100 centesimi". Niente di complicato, niente di misterioso.

3. Come Fa? La Mappa Segreta

Il bello di InstMeter è che non deve misurare tutto da zero ogni volta.

• Il trucco: Gli autori hanno creato una "mappa" che collega il codice scritto dagli umani (facile da leggere) con il codice che il chip esegue (incomprensibile per noi, ma preciso).
• L'analogia: È come avere un traduttore che ti dice: "Ogni volta che il programmatore scrive un ciclo 'ripeti 10 volte', il chip esegue esattamente 50 passi specifici".
• Una volta creata questa mappa (che richiede circa 30 minuti di lavoro iniziale), per prevedere il consumo di qualsiasi nuovo modello di intelligenza artificiale, InstMeter deve solo contare quanti "passi" farà quel modello.

4. I Risultati: Velocità e Precisione

Grazie a questo metodo, InstMeter è un miracolo di efficienza:

• Meno dati: Mentre gli altri metodi avevano bisogno di misurare migliaia di modelli per imparare, InstMeter ne ha bisogno di pochi (meno di 10, a volte solo 5). È come imparare a guidare facendo solo 5 giri di pista invece di 500.
• Più preciso: Riduce gli errori di previsione dell'energia di 3 volte e della velocità di 6,5 volte rispetto ai migliori metodi attuali.
• Robusto: Funziona bene anche se cambi la temperatura, il tipo di batteria, il software o il chip (funziona sia sui chip ARM che su quelli RISC-V).

In Sintesi

Immagina di dover scegliere il percorso migliore per una maratona.

• I metodi vecchi ti dicono: "Guarda quanti alberi ci sono lungo la strada, tanto più alberi ci sono, più stanchi sarai". (Spesso sbagliano perché non considerano il terreno).
• InstMeter ti dice: "Contiamo esattamente quanti metri devi correre e quanto consuma il tuo corpo per ogni metro". (È preciso, semplice e non ha bisogno di fare mille prove).

Grazie a InstMeter, gli ingegneri possono ora progettare dispositivi intelligenti che durano di più e sono più veloci, risparmiando tempo e risorse enormi. È come avere una sfera di cristallo che funziona davvero, basata sulla fisica reale del chip e non su congetture.

Sommario tecnico

1. Il Problema

L'implementazione di modelli di Deep Learning (DL) su microcontrollori (MCU) è in rapida crescita, abilitando dispositivi intelligenti e compatti. Tuttavia, la progettazione di questi modelli richiede un bilanciamento preciso tra accuratezza, latenza e consumo energetico.

• Limitazioni degli approcci attuali (SOTA): I metodi esistenti per prevedere energia e latenza si basano su proxy di alto livello, come il numero di operazioni Multiply-Accumulate (MAC) o sui parametri del modello.
• Il nodo critico: Esiste una relazione non lineare tra i parametri del modello e le prestazioni finali (energia/latenza). Questa non linearità è causata dalle ottimizzazioni del compilatore (es. eliminazione di codice morto, selezione di kernel specifici, scheduling delle istruzioni) e dai dettagli di implementazione del codice.
• Conseguenze: Per catturare queste relazioni non lineari, gli approcci attuali richiedono migliaia di campioni di addestramento (spesso 1000-5000), rendendo il processo di raccolta dati costoso e lento, specialmente su piattaforme MCU con risorse limitate.

2. Metodologia: InstMeter

Il paper propone InstMeter, un framework predittivo a livello di istruzione che trasforma il problema da una stima non lineare a una lineare, riducendo drasticamente i dati necessari.

Concetto Fondamentale

Il metodo si basa sull'osservazione che l'energia e la latenza su un MCU sono determinate direttamente dal numero di cicli di clock eseguiti. Poiché i cicli di clock hanno una relazione lineare diretta con energia e tempo, è possibile costruire un predittore lineare semplice:
$$E (\text{o } L) = a \cdot \text{Cycles} + b$$
Dove $a$ è il costo per ciclo e $b$ è un sovraccarico fisso.

Fasi di Implementazione

1. Mappatura Sorgente-Disassemblato (Source-Disasm Mapping):
   • Il codice sorgente C++ (usato da TensorFlow Lite for Microcontrollers - TFLM) contiene le variabili di ciclo, ma non i dettagli delle istruzioni.
   • Il codice disassemblato contiene le istruzioni e i cicli, ma le variabili sono oscurate (es. indirizzi di memoria).
   • Soluzione: InstMeter utilizza un algoritmo ibrido che combina caratteristiche strutturali (Grafo di Flusso di Controllo - CFG) e caratteristiche semantiche (operatori di confronto, nomi di variabili, interi) per mappare i loop del codice sorgente a quelli del codice disassemblato. Questo permette di determinare quante volte ogni istruzione viene eseguita per un dato modello.
2. Profilatura delle Istruzioni:
   • Viene costruita una libreria che mappa ogni operatore TFLM (es. Conv2D, DepthwiseConv) al numero di cicli di clock necessari, basandosi sulle istruzioni specifiche dell'architettura MCU (es. ARM Cortex-M4, M7, M33, RISC-V ESP32-C3).
3. Addestramento del Predittore:
   • Grazie alla linearità del modello, InstMeter richiede un numero estremamente ridotto di campioni di addestramento (meno di 10, spesso 5) per calcolare i coefficienti $a$ e $b$, invece delle migliaia richieste dai metodi SOTA.

3. Contributi Chiave

1. Paradigma Lineare: Trasformazione della stima di energia/latenza da un problema non lineare (basato su parametri del modello) a uno lineare (basato sui cicli di clock), permettendo una precisione superiore con dati minimi.
2. Algoritmo di Mappatura Fine-Granularità: Sviluppo di una tecnica innovativa per mappare i loop tra codice sorgente e disassemblato, superando la mancanza di informazioni semantiche nei binari compilati senza richiedere modifiche al codice o hardware costoso.
3. Dataset di Benchmark Completo: Creazione di un nuovo dataset di 2125 modelli con misurazioni reali (ground truth) su diverse architetture (ARM e RISC-V), versioni di compilatori (GCC), ottimizzazioni (-Os, -O2), temperature e scenari applicativi.
4. Riduzione dei Dati di Addestramento: Dimostrazione che è possibile ottenere predizioni accurate con solo 5 campioni di addestramento, riducendo il bisogno di dati di un fattore 100x rispetto ai metodi basati su MAC e 10x rispetto a nn-Meter.

4. Risultati Sperimentali

Gli autori hanno valutato InstMeter su tre MCU ARM (Cortex-M4, M7, M33) e uno RISC-V (ESP32-C3) in vari scenari.

• Accuratezza e Errori:
  • Energia: InstMeter riduce l'errore di previsione di 3 volte rispetto a nn-Meter e di 6.5 volte rispetto ai predittori basati su MAC.
  • Latenza: Riduzione dell'errore di 6.5 volte rispetto ai metodi SOTA.
  • Con soli 5 campioni di addestramento, il 90% dei modelli presenta un errore relativo inferiore al 30%. Al contrario, nn-Meter con 500 campioni ha un errore del 90° percentile di circa il 100%.
• Robustezza e Generalizzazione:
  • Il metodo mantiene alta accuratezza su diverse versioni di TFLM, ottimizzazioni del compilatore (-Os, -O2), versioni GCC, configurazioni DVFS (Dynamic Voltage and Frequency Scaling) e temperature (da 21°C a 43°C).
• Scenario NAS (Neural Architecture Search):
  • In un contesto di ricerca automatica di architetture, InstMeter riesce a identificare modelli ottimali che rispettano rigorosamente i vincoli di energia (es. 10mJ o 30mJ), mantenendo un errore di previsione sotto il 10%. Gli altri metodi tendono a violare i vincoli o a sacrificare l'accuratezza a causa di stime imprecise.

5. Significato e Impatto

InstMeter rappresenta un passo avanti significativo per l'Edge AI su MCU:

• Efficienza: Elimina la necessità di raccogliere migliaia di misurazioni fisiche per ogni nuova architettura o configurazione, rendendo il processo di ottimizzazione dei modelli molto più rapido ed economico.
• Affidabilità: Fornisce stime più affidabili per la progettazione di sistemi a batteria, dove un errore di previsione può portare a un fallimento del dispositivo.
• Riproducibilità: La pubblicazione del codice sorgente, delle librerie di istruzione e dei dataset di benchmark favorisce la ricerca futura nella comunità DL per MCU.

In sintesi, InstMeter dimostra che passando da un'analisi di alto livello (parametri del modello) a un'analisi di basso livello (istruzioni e cicli di clock), è possibile ottenere predizioni di prestazioni estremamente precise con un costo computazionale e di raccolta dati trascurabile.