Sintesi Tecnica: Cosa cambia dopo il deployment? Un'indagine sull'On-device Learning nel TinyML

1. Definizione del Problema

I modelli di machine learning implementati su dispositivi di classe microcontrollore (TinyML) affrontano una sfida fondamentale: il cambiamento della distribuzione post-deployment. I modelli addestrati offline su dataset curati spesso performano in modo insufficiente quando esposti a condizioni reali in cui le distribuzioni dei dati cambiano dopo il deployment. L'On-Device Learning (ODL) affronta questo problema eseguendo il processo di apprendimento direttamente sul dispositivo, ma la letteratura esistente manca di una caratterizzazione unificata di come avvengano i cambiamenti di distribuzione. Le indagini precedenti non hanno distinto esplicitamente tra diversi regimi di cambiamento della distribuzione, portando a una confusione tra soluzioni che operano sotto vincoli e assunzioni fondamentalmente differenti. Inoltre, esiste un divario persistente tra i benchmark metodologici (spesso incentrati sulle immagini) e gli scenari di deployment reali (spesso incentrati sui sensori), ostacolando il trasferimento di avanzamenti algoritmici ad applicazioni pratiche.

2. Metodologia

Questo articolo presenta un'indagine esaustiva di circa 70 lavori di ODL nel dominio TinyML. L'indagine è strutturata attorno a un principio organizzativo primario: il regime di cambiamento della distribuzione. Gli autori categorizzano la letteratura in tre distinti regimi basati sulla natura del processo generatore di dati ($P$) dopo il tempo di deployment $T$:

1. Regime a Cambiamento Singolo (Single-Change Regime): La distribuzione cambia esattamente una volta al deployment ($p_{T-1} \neq p_T$) e rimane stabile da quel momento in poi. La sfida è l'adattamento rapido ed efficiente alle nuove condizioni per il resto della vita utile del dispositivo.
2. Regime di Concept Drift: La distribuzione cambia più volte in modo continuo e imprevedibile ($p_{t-1} \neq p_t$). Il focus è l'adattarsi rapidamente alle nuove condizioni pur scartando o declassando l'importanza delle conoscenze passate non più rilevanti.
3. Regime di Apprendimento Continuo (Continual Learning Regime): Nuovi concetti vengono introdotti incrementalmente nel tempo. La soluzione deve accumulare nuova conoscenza senza dimenticare le informazioni precedentemente apprese (affrontando il catastrophic forgetting). Sebbene formalmente simile al concept drift in termini di cambiamento della distribuzione, l'assunzione riguardante la rilevanza della conoscenza passata e i criteri di valutazione differiscono significativamente.

Per ogni regime, l'indagine analizza la letteratura attraverso tre lenti complementari:

• Lente Applicativa (Application Lens): I contesti e i task del mondo reale affrontati (es. keyword spotting, calibrazione dei sensori, interfacce cervello-computer).
• Lente Hardware (Hardware Lens): I dispositivi target, che vanno da processori ultra-vincolati (es. Cortex-M0, ISPU) a MCU standard (Cortex-M4/M7) e piattaforme parallelizzate a bassissimo consumo (PULP).
• Lente della Soluzione (Solution Lens): La composizione tecnica delle soluzioni ODL, decomposta in quattro componenti:
  • $R(\cdot)$: Riduzione della dimensionalità (es. CNN congelate, estrattori di caratteristiche statistiche).
  • $B$: Gestione dei dati (strategie di buffering, condizioni di ammissione/trigger).
  • $f_t(\cdot)$: L'algoritmo di ML (es. DNN, SVM, KNN).
  • $L$: Il meccanismo di apprendimento (es. backpropagation, aggiornamenti solo forward, generazione di prototipi).

L'indagine formalizza anche il problema ODL, definendo i vincoli su memoria ($M_D$), frequenza di clock ($F_D$), potenza ed esecuzione temporale ($E$), e stabilisce protocolli di valutazione specifici per ogni regime (es. valutazione prequenziale per il concept drift, valutazione longitudinale per l'apprendimento continuo).

3. Contributi Chiave

• Tassonomia Centrata sui Regimi: Questa è la prima indagine che organizza l'intera letteratura ODL attorno al regime di cambiamento della distribuzione (Single-Change, Concept Drift, Continual Learning), sostenendo che le soluzioni progettate per un regime non siano direttamente confrontabili con quelle di un altro a causa delle diverse assunzioni sulla conoscenza passata e sugli obiettivi di adattamento.
• Ambito Esaustivo: L'indagine copre circa 70 lavori, espandendo significativamente gli sforzi precedenti (che ne avevano analizzati circa 10) e catturando il sostanziale corpo di ricerca pubblicato post-2023.
• Analisi Multi-Lente: Analizzando i lavori simultaneamente attraverso le lenti applicativa, hardware e della soluzione, l'indagine rivela schemi trasversali, come la correlazione tra capacità hardware e complessità del regime, e il disallineamento tra la ricerca orientata ai metodi e quella orientata alle applicazioni.
• Identificazione di Gap Strutturali: L'articolo identifica un distacco tra i contributi metodologici (spesso focalizzati sull'ottimizzazione della backpropagation su standard benchmark) e i lavori orientati alle applicazioni (che danno priorità all'efficienza delle etichette e ai vincoli del mondo reale). Evidenzia come i lavori metodologici raramente affrontino simultaneamente la scarsità di dati etichettati e i vincoli completi della pipeline (memoria, latenza, potenza).

4. Risultati e Scoperte Chiave

Scoperte Applicative

• Disallineamento dei Task: I lavori orientati ai metodi utilizzano prevalentemente benchmark di classificazione di immagini (CIFAR, MNIST) che sono spesso troppo impegnativi dal punto di vista computazionale per il TinyML reale. Al contrario, i lavori orientati alle applicazioni si concentrano su task come il Keyword Spotting (KWS), l'Human Activity Recognition (HAR) e la calibrazione dei sensori, che mancano di benchmark standardizzati.
• Strategie di Acquisizione delle Etichette: I lavori orientati alle applicazioni di successo trattano l'acquisizione delle etichette come un requisito di progettazione di primo ordine. Le strategie includono il few-shot learning, il self-supervised learning (usando sensori ausiliari), l'unsupervised learning (per l'anomaly detection) e l'etichettatura implicita tramite stimoli strutturati.
• Distribuzione dei Regimi: I lavori orientati alle applicazioni sono fortemente concentrati nel regime Single-Change (es. personalizzazione KWS, calibrazione dei sensori). I regimi di Concept Drift e Continual Learning sono dominati dai lavori orientati ai metodi, con pochissimi report di deployment in applicazioni reali.

Scoperte Hardware

• Correlazione Hardware-Regime: Esiste una relazione monotona tra la capacità hardware e la complessità del regime.
  • Processori ultra-vincolati (Cortex-M0, ISPU) appaiono quasi esclusivamente nel regime Single-Change a causa dei stretti limiti di memoria e calcolo.
  • MCU Standard (Cortex-M4/M7) coprono tutti e tre i regimi ma sono sottorappresentate nel Continual Learning a causa dei vincoli di memoria per i replay buffer.
  • Piattaforme PULP (multi-core, es. GAP9) dominano il regime di Continual Learning, essendo l'unica classe attualmente capace di supportare le alte richieste di memoria e computazione degli algoritmi di apprendimento continuo.
• Gap di Reporting: Il reporting dell'hardware è incoerente. Metriche come la RAM di picco e l'energia sono spesso riportate per istanza, per batch o per epoca senza standardizzazione, rendendo difficile il confronto tra i lavori.

Scoperte sulla Soluzione

• Pattern dei Componenti:
  • Riduzione della Dimensionalità ($R$): Le CNN pre-addestrate e congelate sono la scelta dominante per input immagine/audio, mentre funzioni identità o estrattori statistici sono usati per dati sensoriali a bassa dimensionalità.
  • Gestione dei Dati ($B$): L'operazione completamente online ($|\Delta|=1$) domina i regimi Single-Change e Concept Drift. Il buffering esplicito è strutturalmente necessario nel Continual Learning per prevenire il catastrophic forgetting.
  • Meccanismo di Apprendimento ($L$): La backpropagation completa è lo standard per il Continual Learning (supportata da replay buffer). Nei regimi Single-Change e Concept Drift, sono prevalenti alternative più leggere (aggiornamenti solo forward, classificatori basati su prototipi, KNN).
• Gap di Ottimizzazione: I lavori metodologici ottimizzano pesantemente la backpropagation (sparsificazione, quantizzazione), ma queste ottimizzazioni sono raramente adottate nelle applicazioni reali. Ciò suggerisce un distacco in cui i miglioramenti algoritmici non vengono validati rispetto ai vincoli completi della pipeline (es. strategia di etichettatura, costi di buffering dei dati).

5. Significato e Rivendicazioni

L'articolo sostiene che il regime di cambiamento della distribuzione sia il fattore critico, sebbene precedentemente trascurato, che determina la fattibilità e il design delle soluzioni ODL. Distinguendo esplicitamente tra Single-Change, Concept Drift e Continual Learning, l'indagine fornisce un framework per un confronto significativo che la letteratura precedente non possedeva.

Gli autori affermano con moderazione che il loro lavoro evidenzia un gap strutturale nel campo: il progresso algoritmico e lo sviluppo applicativo avanzano in parallelo con una limitata fertilizzazione incrociata. Argomentano che il settore necessiti di:

1. Framework di Valutazione Standardizzati: Benchmark che fissino i budget hardware, i componenti della soluzione e i vincoli di deployment (inclusa la scarsità di etichette) per consentire confronti equi.
2. Strumenti di Design End-to-End: Framework software che trattino l'intera pipeline ODL ($R, B, f, L$) come oggetti da ottimizzare congiuntamente, piuttosto che ottimizzare i componenti isolatamente.
3. Hardware per ODL: Un passaggio dall'adattare le architetture di training in cloud al design di hardware specificamente per i vincoli ODL (scarsità di etichette, assenza di validazione on-device, budget energetici ristretti).

L'indagine conclude che, sebbene l'ODL amplii l'ambito delle applicazioni TinyML, realizzare questa visione richiede di affrontare il disallineamento tra i benchmark metodologici e gli scenari di deployment reali, in particolare riguardo all'efficienza delle etichette e alle specifiche richieste dei regimi di apprendimento non stazionari.