NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

Immagina di cercare di costruire il cervello definitivo per un robot, ma con una regola ferrea: deve stare all'interno di un gadget minuscolo, come uno smartwatch o un drone alimentato a batteria. Questo è il mondo dell' "Edge AI", dove l'intelligenza artificiale vive su piccoli dispositivi invece che su enormi e voraci server cloud. Per far sì che ciò funzioni, gli ingegneri devono risolvere un enigma complicato: hanno bisogno di un cervello abbastanza intelligente da riconoscere volti o suoni, ma abbastanza piccolo e veloce da poter funzionare senza esaurire la batteria in pochi minuti.

Per trovare il design perfetto per il cervello, gli scienziati utilizzano un metodo chiamato Neural Architecture Search (NAS). Immagina questo come uno chef superveloce e automatizzato che prova milioni di ricette diverse (design di reti neurali) per trovare quella che ha il sapore migliore (accuratezza più elevata) utilizzando la minor quantità di ingredienti (potenza di calcolo). Di solito, questi chef cucinano con ingredienti a "precisione completa", che è come usare misure esatte e pesanti. Ma per i piccoli gadget, devi passare alla "quantizzazione", che è come passare a misurini più piccoli e leggeri (usare meno bit per rappresentare i numeri). La grande domanda è: se cambi i misurini, la ricetta che sembrava perfetta in cucina avrà lo stesso sapore sulla strada? Questo articolo approfondisce proprio questa questione, esplorando come il cambiamento del sistema di misurazione influenzi la ricerca del miglior cervello robotico e come adattare quel cervello a un chip speciale e riconfigurabile.

---

Il viaggio in tre fasi verso un cervello minuscolo

Gli autori di questo articolo propongono un metodo intelligente in tre fasi per risolvere il problema di far entrare l'IA nell'hardware. Lo chiamano un approccio "NAS-then-quantized" (NAS-poi-quantizzato), che è un po' come progettare un'auto al computer prima, poi testare come si comporta su una strada sterrataie sconnessa e, infine, costruire il motore in base al terreno.

Fase 1: Il Frontend Indipendente dall'Hardware
In primo luogo, il team utilizza un modello "surrogato" — un predittore intelligente che indovina quanto sia buono un design senza costruirlo effettivamente. Addestrano questo predittore su una massiccia libreria di 15.625 diversi design di reti neurali (da un dataset chiamato NAS-Bench-201). Questa fase è "hardware-agnostic", il che significa che non si cura ancora dello specifico chip; cerca solo i migliori design in base all'accuratezza e a quante operazioni matematiche (FLOPs) richiedono. Utilizzano due strategie di ricerca: una semplice "Random Search" (scegliere i design casualmente) e una "Multi-Objective Evolutionary Algorithm" (che imita la selezione naturale per far evolvere design migliori). Dopo questa fase, hanno una lista ristretta di dieci candidati principali.

Fase 2: Il Ponte di Quantizzazione
Segue il controllo della realtà. Il team prende quei dieci migliori candidati e li rimpicciolisce utilizzando una tecnica chiamata Post-Training Quantization (PTQ), passando specificamente a INT4 (usando solo 4 bit per numero invece dei soliti 32). Questo è come prendere una foto in alta definizione e comprimerla per farla stare su un vecchio telefono. Utilizzano uno strumento chiamato Brevitas per farlo.

È qui che la questione si fa interessante. Quando comprimono i modelli, alcuni design che sembravano ottimi nella prima fase potrebbero fallire o peggiorare. Il "Ponte di Quantizzazione" agisce come un filtro. Riclassifica i design in base a quanto bene sopravvivono alla compressione. Se un design cade a pezzi, viene scartato. Se nessun design sopravvive, il sistema torna alla Fase 1 per riprovare. Hanno scelto INT4 perché, sebbene sia molto aggressivo, hanno scoperto che con un pizzico di addestramento extra (solo due epoche), i modelli potevano recuperare significativamente la loro accuratezza, saltando da un minimo del 9,49% fino all'83,53%, dimostrando che l'informazione originale del modello era stata ampiamente preservata.

Fase 3: Il Backend Consapevole dell'Hardware
Infine, i design sopravvissuti hanno bisogno di una casa. Il team mappa questi cervelli compressi su un tipo specifico di hardware chiamato CGRA (Coarse-Grained Reconfigurable Array). Pensa al CGRA come a una base LEGO dove puoi riorganizzare i blocchi per adattarli a qualsiasi forma. Utilizzano un algoritmo evolutivo per esplorare diversi modi per disporre l'hardware (cambiando il numero di unità di elaborazione, la profondità della memoria e i percorsi dei dati). Non costruiscono il chip fisico; invece, utilizzano un "free analytical oracle" — un simulatore matematico — per prevedere quanto sarebbe veloce ed efficiente ogni disposizione. Scelgono la configurazione che minimizza il ritardo e massimizza l'uso delle risorse dell'hardware.

La Grande Sorpresa: Non buttare via la vecchia mappa

La scoperta più eccitante di questo articolo non è solo il processo in tre fasi; è ciò che hanno imparato sulla relazione tra il mondo a "precisione completa" e il mondo "compresso".

Di solito, quando si comprime un modello, si potrebbe pensare di dover ricominciare la ricerca da capo, addestrando un nuovo predittore specificamente per il mondo compresso (INT4). Gli autori hanno testato questa idea. Hanno confrontato due approcci:

1. Il Dedicato Surrogato INT4: un predittore addestrato specificamente su dati compressi.
2. Il Surrogato Zero-Shot FP32: un predittore addestrato sui dati originali a precisione completa, che hanno poi usato per indovinare le prestazioni dei modelli compressi senza riaddestramento.

I risultati sono stati sorprendenti. Nelle simulazioni, il surrogato zero-shot FP32 ha ottenuto prestazioni migliori rispetto al dedicato INT4. Quando hanno eseguito le loro strategie di ricerca, il predittore FP32 ha trovato design che coprivano un intervallo più ampio dei migliori compromessi possibili (lo spazio Pareto) rispetto al predittore specifico per INT4.

Perché? Gli autori suggeriscono che i dati a precisione completa siano "più puliti" e meno rumorosi. Anche se il mondo compresso è diverso, la classifica di quali design sono "buoni" e quali sono "cattivi" rimane sorprendentemente simile. L'articolo nota che, sebbene l'ordine esatto dei design cambi (circa il 21% delle volte, un design che era migliore di un altro in precisione completa diventa peggiore dopo la compressione), la struttura generale dei "migliori" design rimane abbastanza stabile da rendere la vecchia mappa (il predittore FP32) ancora una guida affidabile.

La Stabilità dell'Enigma

Il team non ha solo tirato a indovinare; ha misurato il caos. Hanno esaminato tutti i 15.625 architetture per vedere quanto si spostasse la "frontiera di Pareto" (la lista dei migliori design assoluti) quando passavano a INT4.

• Lo Spostamento: La lista dei migliori design si è completamente riorganizzata. Nessuno dei design originali è sopravvuto come design top nel mondo compresso.
• Il Ribaltamento: Circa il 21,73% delle volte, la relazione tra due design è stata ribaltata (il Design A era migliore del Design B in precisione completa, ma il Design B è diventato migliore dopo la compressione).
• La Correlazione: Nonostante questo caos, la correlazione di classifica generale era comunque moderata (0,6655), il che significa che la "forma" generale dei buoni design è stata preservata.

Hanno anche scoperto che i modelli più piccoli e semplici (quelli con meno operazioni matematiche) erano molto più sensibili alla compressione, perdendo spesso accuratezza. I modelli più grandi e complessi erano sorprendentemente robusti, probabilmente perché la loro struttura riesce naturalmente a smussare gli errori introdotti dai numeri più piccoli.

Risultati Hardware

Infine, hanno preso tre dei loro migliori design sopravvissuti e li hanno mappati sull'hardware CGRA. Hanno scoperto che, nonostante i design fossero diversi, tutti convergevano esattamente sulla stessa configurazione hardware ottimale: una griglia di 16 righe e 66 colonne di unità di elaborazione con una specifica profondità di memoria. Ciò suggerisce che, per questo tipo di compito, il "punto ideale" dell'hardware è piuttosto costante, indipendentemente dal design specifico della rete neurale, purché il design utilizzi componenti simili.

Conclusione

Questo articolo suggerisce che non abbiamo bisogno di reinventare la ruota ogni volta che vogliamo rimpicciolire un modello di IA per un dispositivo minuscolo. Utilizzando un processo in tre fasi — trovare i migliori design in precisione completa, filtrarli attraverso un test di compressione e poi mapparli su un hardware flessibile — possiamo trovare efficientemente il perfetto equilibrio tra accuratezza e dimensioni. Cosa più importante, suggerisce che possiamo fidarci dei nostri strumenti di ricerca a precisione completa per guidarci anche nel mondo compresso, risparmiando tempo ed energie nella ricerca di portare un'IA potente nelle nostre tasche.