🤖 machine learning

Searching on a Budget: HW-NAS with 10 Latency Probes

Dit artikel stelt een tweestaps hardware-bewust NAS-raamwerk voor dat een controller traint op synthetische apparaten met behulp van trainingsvrije nauwkeurigheidsproxies, waardoor deze efficiënt kan worden aangepast aan onbekende doelapparaten tijdens het testen door te zoeken naar latentie-efficiënte architecturen met slechts enkele hoogtrouwheids-latiëntieprobes.

Oorspronkelijke auteurs: Francesco Capuano, Gabriele Tiboni, Niccolò Cavagnero, Giuseppe Averta

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesco Capuano, Gabriele Tiboni, Niccolò Cavagnero, Giuseppe Averta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte recept voor een gerecht te ontwerpen. Je hebt twee doelen: het gerecht moet heerlijk smaken (hoge nauwkeurigheid), maar het moet ook snel genoeg worden bereid om een hongerige menigte te bedienen voordat ze weggaan (lage latentie/energie).

Meestal, wanneer chefs (AI-onderzoekers) deze recepten ontwerpen voor specifieke keukens (hardware-apparaten zoals telefoons of robots), staan ze voor een groot probleem. Ze kunnen niet zomaar raden hoe lang een gerecht zal duren om te bereiden in een nieuwe keuken zonder het daadwerkelijk te proberen. Maar het daadwerkelijk bereiden van elke variatie van het recept is traag, duur en riskant.

Hier is hoe de auteurs van dit artikel dat probleem oplossen, met behulp van een eenvoudige twee-stappenstrategie:

Het Probleem: Het "Gokspel" is Riskant

De meeste huidige methoden proberen te voorspellen hoe lang een gerecht zal duren om te bereiden met behulp van een "receptenboek" (analytische benaderingen) of een "waarzegger" (een machinelearning-predictor).

Het Risico: Als je waarzegger het bij het verkeerde eind heeft, kun je de menigte misschien een maaltijd van 5 minuten beloven, maar duurt het eigenlijk 20 minuten. In kritieke situaties (zoals een robot die direct moet reageren) is deze fout onaanvaardbaar.
De Kosten: Om de waarzegger nauwkeurig te maken, moet je vaak eerst honderden proefgerechten bereiden, wat veel tijd en geld kost.

De Oplossing: De "Reizende Chef" met een Magische Kaart

De auteurs stellen een nieuwe manier voor om het perfecte recept te vinden die slechts vereist dat je 10 gerechten proeft in de nieuwe keuken. Ze noemen dit een "tweestaps" aanpak.

Stap 1: Opleiding in een "Droomkeuken" (Synthetische Apparaten)

In plaats van te proberen de regels van één specifieke keuken te leren, traint de chef in een gesimuleerde, droomkeuken waar de regels elke dag willekeurig veranderen.

De Analogie: Stel je voor dat de chef oefent in een keuken waar de snelheid van het fornuis, de temperatuur van de oven en de scherpte van het mes elke keer willekeurig veranderen wanneer ze koken. De ene dag is het fornuis supersnel; de volgende dag is het traag.
Het Doel: Door te oefenen in deze chaotische, veranderende omgeving leert de chef een algemene vaardigheid: "Hoe pas ik mijn recept aan op basis van hoe de apparatuur zich op dit moment aanvoelt." Ze onthouden niet één specifiek fornuis; ze leren hoe ze zich aan kunnen passen aan elk fornuis.
De Afkorting: Om tijd te besparen tijdens deze training koken ze het volledige gerecht niet daadwerkelijk om het te proeven. Ze gebruiken een "snelle smaaktest" (een trainingsvrije proxy) die inschat of het recept zou smaken zonder uren te koken.

Stap 2: De Echte Keuken (Implementatie)

Nu gaat de chef naar een echte, specifieke keuken (zoals een iPhone of een robot) om echt te koken.

De Strategie: De chef gokt niet. Ze koken slechts 10 specifieke gerechten (kandidaat-netwerken) en timen ze precies.
De Aanpassing: Omdat de chef jarenlang heeft getraind in de "Droomkeuken" waar de omstandigheden constant veranderden, is ze al een expert in het lezen van de sfeer. Ze kijken naar de timing van die eerste paar gerechten, beseffen: "Ah, dit fornuis is trager dan ik dacht," en passen de volgende 9 gerechten direct aan om te passen bij dat specifieke fornuis.
Het Resultaat: Ze kiezen het beste gerecht uit die 10 echte tests. Geen gokken, geen waarzeggers, alleen echte data.

Waarom Dit Beter Is (De Resultaten)

Het artikel testte dit tegen andere methoden (zoals de "waarzegger"-aanpak) op 18 verschillende apparaten en zelfs een echte iPhone 13.

De Waarzegger: Probeerde de kooktijd voor honderden gerechten te voorspellen op basis van een paar steekproeven. Het kreeg de tijd vaak verkeerd, wat leidde tot gerechten die trager waren dan beloofd.
De "Droomkeuken"-Chef: Kookte slechts 10 gerechten, maar mat ze perfect.
De Uitkomst: De "Droomkeuken"-methode vond recepten die in real-world tests 8,7% sneller waren dan de op voorspelling gebaseerde methoden.

De Grote Les

Als je een zeer beperkt budget hebt voor testen (je kunt de klok maar 10 keer controleren), is het beter om een paar dingen nauwkeurig te meten dan om de uitkomst van veel dingen te raden.

Door eerst een "slim agent" te trainen op een breed scala aan neppe, willekeurige scenario's, wordt het zo goed in aanpassing dat het een gloednieuwe, onbekende keuken kan binnenlopen, slechts 10 gerechten kan proeven, en direct precies weet hoe het perfecte maaltijd voor die specifieke omgeving moet bereiden.

Kortom: Probeer niet de toekomst te voorspellen; train je AI om een meester in aanpassing te zijn, en laat het vervolgens een paar real-world checks doen om het werk goed te doen.

Technische Samenvatting: Zoeken op een Budget: HW-NAS met 10 Latentieprobes

Probleemstelling
Hardware-bewuste Neural Architecture Search (HW-NAS) streeft er naar het automatiseren van het ontwerp van Deep Neural Networks (DNN's) die taakprestaties (bijvoorbeeld nauwkeurigheid) in evenwicht brengen met hardwarebeperkingen (bijvoorbeeld latentie) voor apparaten met beperkte middelen. Bestaande benaderingen staan voor een kritieke afweging:

Real-world metingen: Het direct compileren en benchmarken van kandidaat-netwerken op doelapparaten levert nauwkeurige latentiedata op, maar is computatieel duur en tijdrovend, vooral wanneer het doelapparaat verandert.
Benaderingen: Analytische opzoektabellen (LUT's) of geleerde latentie-predictoren verlagen de zoekkosten, maar introduceren schattingsfouten. In risicosensitieve toepassingen (bijvoorbeeld robotica) kunnen deze fouten leiden tot schendingen van latentiegrenzen, waardoor de ontwerpen onbetrouwbaar worden.

Bovendien zijn de meeste HW-NAS-methoden op maat gemaakt voor een enkel doelapparaat, wat een volledige her-zoekactie vereist telkens wanneer de implementatiehardware verandert. Er is behoefte aan een HW-NAS-strategie voor meerdere apparaten die het aantal dure, real-world latentieprobes minimaliseert, terwijl de onnauwkeurigheden van predictieve modellen worden vermeden.

Methodologie
De auteurs stellen een tweefasenraamwerk voor dat de complexiteit verschuift van de implementatiefase naar een pre-trainingfase, waardoor aanpassing aan onbekende hardware met minimale interactie mogelijk wordt.

Meta-training op synthetische apparaten (Fase 1):
- Doel: Een Reinforcement Learning (RL)-controller trainen om te generaliseren over diverse hardwareprofielen zonder toegang tot het specifieke doelapparaat.
- Domeinrandomisatie: In plaats van te trainen op één enkel apparaat, wordt de controller blootgesteld aan een verdeling van "synthetische" apparaten. Deze worden gegenereerd door Gaussische latentiemodellen voor elke bewerking te bemonsteren op basis van data van 18 verschillende apparaten in HW-NAS-Bench.
- Trainingsvrije proxies: Om de prohibitieve kosten van het trainen van volledige netwerken tijdens RL te vermijden, wordt de controller begeleid met behulp van trainingsvrije nauwkeurigheidsproxies (specifiek $p_{FreeREA}$ , een combinatie van NASWOT, LogSynflow en SkipScore).
- Beloningsfunctie: De agent maximaliseert een beloning die de trainingsvrije nauwkeurigheidsproxy combineert met een genormaliseerde latenteterm, waardoor het de afweging tussen prestaties en efficiëntie kan leren over variërende latentielandscaps.
Zero-shot implementatie met directe probes (Fase 2):
- Aanpassing: De vooraf getrainde controller wordt bevroren en ingezet op een nieuw, onbekend doelapparaat.
- Directe meting: De controller communiceert met het doelapparaat door een zeer klein aantal kandidaat-architecturen te bevragen (bijvoorbeeld 10 probes). Voor elke query compileert het het netwerk en meet het de werkelijke latentie na compilatie.
- Statusgeschiedenis: De gemeten latentie wordt genormaliseerd en aan de statusgeschiedenis toegevoegd. De controller gebruikt deze feedback om zijn volgende actie te conditioneren (het aanpassen van de architectuur), waardoor het effectief het specifieke latentieprofiel van het doelapparaat leert door directe observatie in plaats van voorspelling.
- Selectie: De definitieve architectuur wordt geselecteerd uit de set van gemeten kandidaten op basis van de beste waargenomen afweging, zonder verdere training of aanpassing van voorspellingen.

Belangrijkste bijdragen

Gerandomiseerde RL-training: Een procedure die een controller oplevert die in staat is om tijdens de testfase direct te interageren met diverse apparaten door te trainen op een verdeling van synthetische latentieprofielen.
Eliminatie van predictoren: De methode verwijdert volledig analytische benaderingen en geleerde latentie-predictoren. In plaats daarvan vertrouwt het op directe metingen op het apparaat van zo weinig mogelijk 10 kandidaat-netwerken, wat haalbaar wordt gemaakt door de voorafgaande kennis die is overgedragen vanuit de synthetische trainingsfase.
Trainingsvrije evaluatie: De integratie van trainingsvrije metrieken voor RL-gebaseerde NAS, waardoor snelle scoring van kandidaten mogelijk wordt zonder de kosten van volledige netwerkbtraining.

Experimentele resultaten
De methode werd geëvalueerd op de NATS-Bench zoekruimte voor CIFAR-10, met behulp van data van 18 apparaten en gevalideerd op een real-world iPhone 13 mini.

Prestaties versus predictoren: Onder een strikt budget van 10 metingen op het doelapparaat, behaalde de voorgestelde methode een mediaan latentiepercentiel van 1,65, wat aanzienlijk beter presteerde dan een willekeurige zoekopdracht (30,16) en een HELP-stijl latentie-predictor-baseline (4,51).
Real-world validatie: Op een iPhone 13 mini, met een totaal budget van 20 metingen (verdeeld over normalisatie en zoekopdracht), behaalde de voorgestelde controller een mediaan latentie van 0,2261 ms, vergeleken met 0,2477 ms voor de HELP-EA-baseline. Dit vertegenwoordigt een reductie van 8,7% in de gemeten mediaanlatentie.
Analyse van predictorfalen: De studie benadrukte dat op predictoren gebaseerde methoden (zoals HELP) vaak architecturen selecteerden die in de praktijk trager waren dan voorspeld (de gemeten latentie was trager dan voorspeld in 9/10 seeds), terwijl de afhankelijkheid van de voorgestelde methode van directe meting ervoor zorgde dat de latentie van de geselecteerde architectuur bekend en geverifieerd was.
Overdraagbaarheid: De controller slaagde erin om zich aan te passen aan vastgehouden apparaten (bijvoorbeeld edgegpu, fpga, pixel3, raspi4) met behulp van een leave-one-device-out-protocol, wat effectieve overdracht zonder hertraining aantoont.

Betekenis en claims
Het artikel betoogt dat in scenario's waar toegang tot doelhardware schaars is, maar metingen betrouwbaar moeten zijn (risico-averse implementatie), het preferabel is om een paar zorgvuldig gekozen architecturen direct te meten in plaats van veel ongemeten te voorspellen.

Betrouwbaarheid: Door af te zien van latentie-predictoren elimineert de methode het risico dat schattingsfouten latentiegaranties ongeldig maken.
Efficiëntie: De aanpak verlaagt de totale implementatiekosten ( $C$ ) door het aantal ground-truth probes ( $|N|$ ) te begrenzen in plaats van de kosten per probe ( $c$ ) te verlagen via benadering.
Praktijktoepasbaarheid: De resultaten suggereren dat een vooraf getrainde RL-controller effectief de latentiekenmerken van een nieuw apparaat kan "leren" door middel van een handvol directe probes, waardoor directe meting een levensvatbaar en superieur alternatief wordt voor benadering in scenario's voor HW-NAS met een laag budget en hoge risico's.

Beperkingen
De auteurs erkennen dat de studie momenteel beperkt is tot de NATS-Bench topologie-zoekruimte en dat het ontwerp van de verdeling van synthetische apparaten ( $\Xi$ ) verdere verkenning vereist om optimale overdracht te waarborgen. Bovendien ligt de huidige focus voornamelijk op latentie; er is toekomstig werk nodig om het raamwerk uit te breiden tot multi-objectieve beperkingen, waaronder geheugen en energie.