🤖 machine learning

Searching on a Budget: HW-NAS with 10 Latency Probes

Questo articolo propone un framework NAS hardware-aware a due stadi che addestra un controller su dispositivi sintetici utilizzando proxy di accuratezza senza addestramento, consentendogli di adattarsi in modo efficiente a dispositivi target non visti al momento del test cercando architetture efficienti in termini di latenza con sole poche sonde di latenza ad alta fedeltà.

Autori originali: Francesco Capuano, Gabriele Tiboni, Niccolò Cavagnero, Giuseppe Averta

Pubblicato 2026-05-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Francesco Capuano, Gabriele Tiboni, Niccolò Cavagnero, Giuseppe Averta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere uno chef che cerca di progettare la ricetta perfetta per un piatto. Hai due obiettivi: il piatto deve avere un sapore incredibile (alta accuratezza), ma deve anche essere cucinato abbastanza velocemente da servire una folla affamata prima che se ne vada (bassa latenza/energia).

Di solito, quando gli chef (ricercatori di AI) progettano queste ricette per cucine specifiche (dispositivi hardware come telefoni o robot), affrontano un grosso problema. Non possono semplicemente indovinare quanto tempo impiegherà un piatto a cuocere in una nuova cucina senza provarlo effettivamente. Ma cucinare effettivamente ogni singola variazione della ricetta è lento, costoso e rischioso.

Ecco come gli autori di questo articolo hanno risolto quel problema, utilizzando una semplice strategia in due fasi:

Il Problema: Il "Gioco delle Indovinate" è Rischioso

La maggior parte dei metodi attuali cerca di prevedere quanto tempo impiegherà un piatto a cuocere utilizzando un "libro di ricette" (approssimazioni analitiche) o un "indovino" (un predittore basato sull'apprendimento automatico).

Il Rischio: Se il tuo indovino sbaglia, potresti promettere alla folla un pasto di 5 minuti, ma in realtà ne servono 20. In situazioni critiche (come un robot che deve reagire istantaneamente), questo errore è inaccettabile.
Il Costo: Per rendere l'indovino accurato, spesso devi cucinare prima centinaia di piatti di prova, il che richiede molto tempo e denaro.

La Soluzione: Lo "Chef Viaggiatore" con una Mappa Magica

Gli autori propongono un nuovo modo per trovare la ricetta perfetta che richiede di assaggiare solo 10 piatti nella nuova cucina. Chiamano questo approccio "a due stadi".

Stadio 1: Addestramento in una "Cucina Sogno" (Dispositivi Sintetici)

Invece di cercare di imparare le regole di una cucina specifica, lo chef si allena in una cucina simulata, una cucina sogno, dove le regole cambiano casualmente ogni giorno.

L'Analogia: Immagina che lo chef si alleni in una cucina dove la velocità del fornello, la temperatura del forno e la nitidezza del coltello cambiano casualmente ogni volta che cucina. Un giorno il fornello è super veloce; il giorno dopo, è lento.
L'Obiettivo: Praticando in questo ambiente caotico e mutevole, lo chef impara un abilità generale: "Come adattare la mia ricetta in base a come si sente l'equipaggiamento proprio ora". Non memorizza un singolo fornello specifico; impara come adattarsi a qualsiasi fornello.
La Scorciatoia: Per risparmiare tempo durante questo addestramento, non cucinano effettivamente il piatto completo per assaggiarlo. Usano un "assaggio rapido" (un proxy senza addestramento) che stima se la ricetta sarebbe buona senza passare ore a cucinarla.

Stadio 2: La Cucina Reale (Deploy)

Ora, lo chef va in una cucina reale e specifica (come un iPhone o un robot) per cucinare davvero.

La Strategia: Lo chef non indovina. Cucina solo 10 piatti specifici (reti candidate) e ne misura i tempi esattamente.
L'Adattamento: Poiché lo chef ha passato anni ad allenarsi nella "Cucina Sogno" dove le condizioni cambiavano costantemente, è già un esperto nel leggere la situazione. Guarda i tempi di quei primi piatti, capisce: "Ah, questo fornello è più lento di quanto pensassi", e adatta immediatamente i successivi 9 piatti per adattarsi a quel fornello specifico.
Il Risultato: Sceglie il miglior piatto tra quei 10 test reali. Nessuna indovinata, nessun indovino, solo dati reali.

Perché Questo è Meglio (I Risultati)

L'articolo ha testato questo metodo contro altri approcci (come quello dell'"indovino") su 18 dispositivi diversi e persino su un vero iPhone 13.

L'Indovino: Ha cercato di prevedere il tempo di cottura per centinaia di piatti basandosi su pochi campioni. Spesso sbagliava il tempo, portando a piatti più lenti del promesso.
Lo Chef della "Cucina Sogno": Ha cucinato solo 10 piatti ma li ha misurati perfettamente.
L'Esito: Il metodo della "Cucina Sogno" ha trovato ricette che erano 8,7% più veloci nei test reali rispetto ai metodi basati sulla previsione.

La Grande Lezione

Se hai un budget molto limitato per i test (puoi controllare l'orologio solo 10 volte), è meglio misurare accuratamente poche cose che indovinare l'esito di molte cose.

Addestrando un "agente intelligente" su una vasta gamma di scenari falsi e casuali prima, diventa così bravo nell'adattarsi che può entrare in una cucina completamente nuova e sconosciuta, assaggiare solo 10 piatti e sapere istantaneamente esattamente come cucinare il pasto perfetto per quell'ambiente specifico.

In breve: Non cercare di prevedere il futuro; addestra la tua AI a essere un maestro dell'adattamento, poi lasciala fare alcuni controlli nel mondo reale per ottenere il lavoro fatto bene.

Riepilogo Tecnico: Ricerca con Budget Limitato: HW-NAS con 10 Sonde di Latenza

Enunciato del Problema
La Ricerca di Architetture Neurali Consapevole dell'Hardware (HW-NAS) mira ad automatizzare la progettazione di Reti Neurali Profonde (DNN) che bilancino le prestazioni del compito (ad esempio, accuratezza) con i vincoli hardware (ad esempio, latenza) per dispositivi con risorse limitate. Gli approcci esistenti affrontano un compromesso critico:

Misurazioni nel mondo reale: Compilare e valutare direttamente le reti candidate sui dispositivi target fornisce dati di latenza accurati, ma è computazionalmente costoso e dispendioso in termini di tempo, specialmente quando il dispositivo target cambia.
Approssimazioni: Tabelle di ricerca analitiche (LUT) o predittori di latenza appresi riducono i costi di ricerca ma introducono errori di stima. In applicazioni sensibili al rischio (ad esempio, robotica), questi errori possono portare a violazioni dei limiti di latenza, rendendo i progetti inaffidabili.

Inoltre, la maggior parte dei metodi HW-NAS è adattata a un singolo dispositivo target, richiedendo una nuova ricerca completa ogni volta che l'hardware di deployment cambia. C'è la necessità di una strategia HW-NAS multi-dispositivo che minimizzi il numero di costose sonde di latenza nel mondo reale, evitando al contempo le imprecisioni dei modelli predittivi.

Metodologia
Gli autori propongono un framework a due stadi che sposta la complessità dalla fase di deployment a una fase di pre-addestramento, consentendo l'adattamento a hardware non visto con interazione minima.

Meta-Addestramento su Dispositivi Sintetici (Stadio 1):
- Obiettivo: Addestrare un controllore di Apprendimento per Rinforzo (RL) per generalizzare su profili hardware diversi senza accedere al dispositivo target specifico.
- Randomizzazione del Dominio: Invece di addestrare su un singolo dispositivo, il controllore è esposto a una distribuzione di dispositivi "sintetici". Questi sono generati campionando modelli di latenza Gaussiani per ogni operazione basati su dati provenienti da 18 dispositivi diversi nel HW-NAS-Bench.
- Proxy Senza Addestramento: Per evitare il costo proibitivo di addestrare reti complete durante il RL, il controllore è supervisionato utilizzando proxy di accuratezza senza addestramento (specificamente $p_{FreeREA}$ , una combinazione di NASWOT, LogSynflow e SkipScore).
- Funzione di Ricompensa: L'agente massimizza una ricompensa che combina il proxy di accuratezza senza addestramento e un termine di latenza normalizzato, permettendogli di apprendere il compromesso tra prestazioni ed efficienza attraverso diversi paesaggi di latenza.
Deployment Zero-Shot con Sonde Dirette (Stadio 2):
- Adattamento: Il controllore pre-addestrato viene congelato e deployato su un nuovo dispositivo target non visto.
- Misurazione Diretta: Il controllore interagisce con il dispositivo target interrogando un numero molto ridotto di architetture candidate (ad esempio, 10 sonde). Per ogni query, compila la rete e misura la latenza reale post-compilazione.
- Storia dello Stato: La latenza misurata viene normalizzata e aggiunta alla storia dello stato. Il controllore utilizza questo feedback per condizionare la sua prossima azione (modificando l'architettura), imparando efficacemente il profilo di latenza specifico del dispositivo target attraverso l'osservazione diretta piuttosto che la previsione.
- Selezione: L'architettura finale viene selezionata dall'insieme dei candidati misurati basandosi sul miglior compromesso osservato, senza richiedere ulteriore addestramento o adattamento dei modelli predittivi.

Contributi Chiave

Addestramento RL Randomizzato: Una procedura che produce un controllore capace di interagire direttamente con dispositivi diversi al momento del test, addestrandosi su una distribuzione di profili di latenza sintetici.
Eliminazione dei Predittori: Il metodo scarta completamente le approssimazioni analitiche e i predittori di latenza appresi. Invece, si affida a misurazioni dirette sul dispositivo di appena 10 reti candidate, reso fattibile dalla conoscenza precedente trasferita dalla fase di addestramento sintetica.
Valutazione Senza Addestramento: L'integrazione di metriche senza addestramento per NAS basato su RL, che consente una rapida valutazione dei candidati senza il costo dell'addestramento completo della rete.

Risultati Sperimentali
Il metodo è stato valutato sullo spazio di ricerca NATS-Bench per CIFAR-10, utilizzando dati da 18 dispositivi e validato su un iPhone 13 mini reale.

Prestazioni vs Predittori: Sotto un budget rigoroso di 10 misurazioni sul dispositivo target, il metodo proposto ha raggiunto un percentile di latenza mediano di 1.65, superando significativamente la ricerca casuale (30.16) e una baseline di predittore di latenza stile HELP (4.51).
Validazione nel Mondo Reale: Su un iPhone 13 mini, con un budget totale di 20 misurazioni (divise tra normalizzazione e ricerca), il controllore proposto ha raggiunto una latenza mediana di 0.2261 ms, rispetto a 0.2477 ms per la baseline HELP-EA. Ciò rappresenta una riduzione dell'8.7% nella latenza mediana misurata.
Analisi del Fallimento dei Predittori: Lo studio ha evidenziato che i metodi basati su predittori (come HELP) spesso selezionavano architetture più lente di quanto previsto nella pratica (la latenza misurata era più lenta di quella prevista in 9/10 semi), mentre l'affidamento del metodo proposto alla misurazione diretta garantiva che la latenza dell'architettura selezionata fosse nota e verificata.
Trasferibilità: Il controllore si è adattato con successo a dispositivi tenuti da parte (ad esempio, edgegpu, fpga, pixel3, raspi4) utilizzando un protocollo leave-one-device-out, dimostrando un trasferimento efficace senza riaddestramento.

Significato e Affermazioni
Il paper sostiene che in scenari in cui l'accesso all'hardware target è scarso ma le misurazioni devono essere affidabili (deployment avverso al rischio), è preferibile misurare direttamente poche architetture attentamente scelte piuttosto che prevederne molte non misurate.

Affidabilità: Evitando i predittori di latenza, il metodo elimina il rischio che errori di stima invalidino le garanzie di latenza.
Efficienza: L'approccio riduce il costo totale di deployment ( $C$ ) limitando il numero di sonde ground-truth ( $|N|$ ) piuttosto che ridurre il costo per sonda ( $c$ ) tramite approssimazione.
Praticità: I risultati suggeriscono che un controllore RL pre-addestrato può efficacemente "imparare" le caratteristiche di latenza di un nuovo dispositivo attraverso una manciata di sonde dirette, rendendo la misurazione diretta un'alternativa vitale e superiore all'approssimazione in scenari HW-NAS a budget limitato e ad alto rischio.

Limitazioni
Gli autori riconoscono che lo studio è attualmente limitato allo spazio di ricerca delle topologie NATS-Bench e che la progettazione della distribuzione dei dispositivi sintetici ( $\Xi$ ) richiede ulteriore esplorazione per garantire un trasferimento ottimale. Inoltre, l'attuale focus è principalmente sulla latenza; è necessario un lavoro futuro per estendere il framework a vincoli multi-obiettivo inclusi memoria ed energia.