Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator
Questo articolo propone una pipeline di adattamento eterogenea che riutilizza l'acceleratore di inferenza AI edge Hailo-8L per l'estrazione di caratteristiche con backbone congelato, mentre perfeziona un testa di classificazione leggero sulla CPU host, consentendo un adattamento del modello on-device efficiente dal punto di vista energetico e ad alta velocità che supera significativamente i baseline basati solo su CPU.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina il tuo smartphone o una telecamera intelligente come un piccolo chef sopraffatto che cerca di cucinare un pasto complesso. Di solito, questo chef impara nuove ricette assaggiando il cibo, capendo cosa è andato storto e riscrivendo l'intero libro di ricette da zero. Ma nel mondo reale, questi dispositivi sono spesso troppo piccoli, troppo caldi o troppo affamati di batteria per fare quel pesante lavoro di riscrittura mentre sono in funzione. Questo è il mondo dell' "apprendimento on-device", un ramo dell'intelligenza artificiale in cui i computer cercano di imparare e adattarsi proprio dove si trovano i dati, senza dover inviare tutto a un enorme server nel cloud. La grande sfida è sempre stata: come si può insegnare a un piccolo dispositivo a diventare più intelligente senza scaricare la batteria o rallentarlo? Gli scienziati hanno cercato un modo per permettere a questi dispositivi di modificare il proprio "cervello" solo quanto basta per gestire nuove situazioni — come una telecamera di sicurezza che impara a riconoscere un nuovo tipo di cane — senza aver bisogno della potenza di un supercomputer.
I ricercatori in questo articolo hanno trovato un astuto aggiro prendendo in prestito uno strumento che non era stato originariamente progettato per l'insegnamento. Hanno preso un chip specializzato chiamato Hailo-8L, che è progettato per essere un rapidissimo "assaggiatore" (inferenza) per i modelli di IA, e lo hanno riadattato per aiutare nella vera e propria fase di "cottura" (addestramento). Normalmente, addestrare un modello è come cercare di riscrivere un intero libro di cucina mentre si assaggia contemporaneamente il piatto; è un processo lento e richiede molre energia. La soluzione del team è stata quella di dividere il lavoro. Hanno mantenuto la "spina dorsale" del modello di IA — la parte che riconosce forme e schemi generali — congelata e l'hanno inviata al chip veloce per gestire il lavoro pesante di osservazione delle immagini. Questo chip lavora in un linguaggio semplificato e a basso consumo (INT8) che lo rende incredibilmente rapido. Nel frattempo, il processore principale del dispositivo (la CPU) doveva solo svolgere il lavoro leggero di perfezionamento della "testa" finale del modello, ovvero solo la parte che decide quale oggetto specifico viene visto.
Facendo questo, hanno creato un sistema ibrido in cui il lavoro pesante è svolto dal chip veloce e l'apprendimento avviene sul processore principale. Hanno testato questo sistema su un Raspberry Pi 5, un computer piccolo ed economico, e hanno scoperto che poteva addestrare modelli fino a 15,4 volte più velocemente rispetto all'uso del solo processore del computer. Per esempio, quando addestravano un modello ResNet18, il nuovo metodo impiegava solo 6,04 millisecondi per immagine, rispetto ai 92,85 millisecondi del metodo basato solo sulla CPU. Ha anche consumato molta meno energia, consumando solo 38,65 millijoule per campione rispetto ai 525,65 millijoule del metodo basato solo sulla CPU. Tuttavia, l'articolo nota che questo aumento di velocità non è una magia valida per ogni situazione; funziona meglio quando la "testa" del modello è piccola e semplice. Se la parte che deve essere appresa è troppo complessa, il processore principale torna a essere il collo di bottiglia, rallentando tutto.
I ricercatori hanno anche scoperto un effetto collaterale complicato: poiché il chip veloce utilizza una matematica semplificata, può talvolta distorcere il "gusto" dei dati, rendendo più difficile per il processore principale imparare correttamente. Per risolvere il problema, hanno provato diverse tecniche di "restauro", come la regolazione del condimento (correzione del bias) o l'uso di un metodo più avanzato chiamato distillazione della conoscenza. Hanno scoperto che per alcuni modelli, come ResNet18, un semplice aggiustamento era sufficiente per riportare l'accuratezza alla normalità. Ma per modelli più complessi come MobileNetV3, avevano bisogno di questi trucchi di restauro avanzati per evitare che l'accuratezza scendesse troppo. In definitiva, l'articolo suggerisce che, sebbene non si possa lanciare un intero lavoro di addestramento su un piccolo chip, è certamente possibile usare questi chip di inferenza per rendere l'apprendimento on-device molto più veloce ed efficiente dal punto di vista energetico, a patto di sapere come sintonizzare il sistema per il modello specifico che si sta utilizzando.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.