SEval-NAS: A Search-Agnostic Evaluation for Neural Architecture Search

Het paper introduceert SEval-NAS, een zoekalgoritme-onafhankelijke evaluatiemethode die architecturen omzet in vectoren om hardwarekosten zoals latentie en geheugen te voorspellen, waardoor nieuwe meetcriteria eenvoudig kunnen worden geïntegreerd in Neural Architecture Search.

De kern

Stel je voor dat je een kok bent die de perfecte pizza wil bakken. Maar in plaats van zelf recepten uit te proberen, laat je een robot dat doen. Deze robot, die we NAS (Neural Architecture Search) noemen, probeert duizenden verschillende pizza-recepten (neuronale netwerken) uit om te zien welke het lekkerst is.

Het probleem? Het is extreem duur en tijdrovend om elke pizza daadwerkelijk te bakken en te proeven. Soms duurt het uren om één recept te testen. En als je ook nog wilt weten of de pizza snel genoeg in de oven past (snelheid) of niet te veel kaas gebruikt (geheugen), moet je de robot de oven in duwen voor elk nieuw recept. Dat is te langzaam.

De auteurs van dit paper, SEval-NAS, hebben een slimme oplossing bedacht. Ze zeggen: "Waarom bakken we elke pizza echt als we kunnen voorspellen hoe hij smaakt, hoe snel hij klaar is en hoeveel kaas hij nodig heeft, gewoon door naar het recept te kijken?"

Hier is hoe hun methode werkt, vertaald naar alledaagse taal:

1. Het Recept in Woorden Omzetten (Net-to-String)

Elk neuronaal netwerk is eigenlijk een ingewikkeld bouwplan. De robot pakt dit bouwplan en zet het om in een simpele tekstreeks, alsof je een recept opschrijft: "Eerst een laag deeg, dan tomaat, dan kaas, dan oregano...".
In de wereld van AI noemen ze dit het autograd-graaf doorlopen. Het is alsof je de blauwdruk van een gebouw in een lijstje met woorden omzet, zodat een computer het makkelijk kan lezen.

2. De "Profeet" (De Evaluator)

Nu hebben ze een slimme "profeet" (een AI-model) gebouwd. Deze profeet leest het recept (de tekst) en zegt direct:

• "Dit recept smaakt waarschijnlijk 90% goed." (Nauwkeurigheid)
• "Deze pizza is klaar in 10 minuten." (Snelheid/Latency)
• "Deze pizza weegt 2 kilo." (Geheugen/Memory)

De profeet heeft niet de pizza nodig om dit te zeggen; hij kijkt alleen naar de structuur van het recept. Als er veel lagen kaas in het recept staan, weet hij dat de pizza zwaar wordt. Als er veel complexe stappen zijn, weet hij dat het lang duurt.

3. Waarom is dit zo handig? (Onafhankelijk van de Robot)

Het coolste aan SEval-NAS is dat het onafhankelijk werkt. Het maakt niet uit welke robot (zoekalgoritme) je gebruikt om de recepten te bedenken. Je kunt deze "profeet" gewoon in elke bestaande robot steken.
Stel je voor dat je een nieuwe robot koopt die heel snel recepten bedenkt. Je hoeft die robot niet te herschrijven; je plakt er gewoon een "smaak- en gewichtsvoorspeller" op. De robot bedenkt een recept, de profeet zegt: "Nee, die is te zwaar," en de robot probeert het volgende. Geen echte bakkerij nodig!

Wat hebben ze ontdekt? (De Resultaten)

De auteurs hebben dit getest met duizenden bestaande recepten (data uit benchmarks zoals NATS-Bench).

• Snelheid en Gewicht: De profeet was uitstekend in het voorspellen van hoe snel een pizza klaar is en hoeveel hij weegt. De voorspelling kwam bijna perfect overeen met de werkelijkheid. Dit betekent dat je deze tool perfect kunt gebruiken om AI-modellen te maken die snel werken op je telefoon of een kleine server.
• Smaak (Nauwkeurigheid): De profeet was minder goed in het voorspellen van de exacte smaak (nauwkeurigheid). Smaak is complexer en hangt van meer dingen af dan alleen de ingrediëntenlijst. Maar voor snelheid en gewicht werkt het fantastisch.

De Grootste Winnaar: Hardware-Aware NAS

In de echte wereld willen we vaak AI-modellen die niet alleen goed werken, maar ook snel zijn op specifieke apparaten (zoals een drone of een slimme camera).
Vroeger moest je de robot dwingen om rekening te houden met snelheid, wat de hele robot heel complex maakte. Met SEval-NAS kun je de robot simpelweg zeggen: "Bedenk alleen recepten die binnen 5 minuten klaar zijn." De profeet filtert direct de slechte opties eruit.

Samenvatting in één zin

SEval-NAS is als een super-snelle voorspeller die, puur door naar een recept te kijken, precies kan zeggen hoe snel en hoe zwaar een AI-model zal zijn, zodat je geen tijd en geld hoeft te verspillen aan het echt "bakken" (trainen) van duizenden slechte modellen.

Het paper laat zien dat we AI-ontwerp sneller en slimmer kunnen maken door slimme voorspellingen te gebruiken in plaats van blindelings alles uit te proberen.

Technische samenvatting

Probleemstelling

Neural Architecture Search (NAS) automatiseert het ontwerpen van neurale netwerken, maar de evaluatieprocedures zijn vaak hardgecodeerd in de zoekalgoritmen. Dit creëert twee belangrijke beperkingen:

1. Rigiditeit: Het is moeilijk om nieuwe evaluatiemetrics (zoals hardwarekosten) in te voeren zonder het zoekalgoritme volledig te herontwerpen.
2. Kosten: Traditionele evaluatie vereist vaak het volledig trainen van kandidaat-architecturen, wat leidt tot enorme rekentijd (bijvoorbeeld duizenden GPU-uren).
3. Hardware-Awareness: Voor hardware-bewuste NAS (HW-NAS), gericht op randapparaten (edge devices), zijn metrics zoals latentie en geheugengebruik cruciaal. Bestaande methoden zijn vaak beperkt tot één specifieke metric of vereisen complexe, gespecialiseerde voorspellers voor elke hardware-soort.

Er is behoefte aan een evaluatiemechanisme dat onafhankelijk is van het zoekalgoritme ("search-agnostic") en flexibel toepasbaar is op verschillende metrics.

Methodologie: SEval-NAS

De auteurs stellen SEval-NAS voor, een framework dat architecturen converteert naar een tekstuele representatie en deze gebruikt om prestatiemetrics te voorspellen zonder het netwerk te hoeven trainen. Het framework bestaat uit drie hoofdstappen:

1. Netwerk-naar-String Conversie:

   • Het framework traverseert de autograd-grafiek van een willekeurig neuraal netwerk (tijdens een forward pass met een willekeurige input).
   • Het extrahert structurele en operationele details (zoals convolutietypes, aantal filters, activatiefuncties) en genereert een gestandaardiseerde string-representatie.
   • Deze string wordt getokeniseerd tot een sequentie van tokens, wat een universele representatie biedt voor diverse NAS-taken.

2. Evaluator (Encoder-Predictor):

   • Encoder: Een transformer-based model (gebaseerd op T5) die de getokeniseerde string omzet in een hoog-dimensionele vector (embedding). Dit model vangt structurele en contextuele afhankelijkheden binnen de architectuur.
   • Predictor: Een volledig verbonden neurale laag die de embedding afbeeldt naar de voorspelde metrics (bijv. latentie, geheugen, nauwkeurigheid). Het aantal output-neuronen hangt af van het aantal doelen (single- of multi-objective).

3. Integratie in NAS-pipeline:

   • SEval-NAS fungeert als een plug-and-play module. De controller van een NAS-algoritme genereert architecturen, die door SEval-NAS worden geëvalueerd. De voorspelde metrics sturen de zoekstrategie (bijv. via een utility-functie) zonder dat het zoekalgoritme zelf significant hoeft te worden aangepast.

Belangrijkste Bijdragen

• Universele Conversie: Een mechanisme om elke neurale architectuur om te zetten in een tekstuele representatie via autograd-grafiektraversie, wat toepasbaar is op alle soorten NN's.
• Flexibele Evaluator: Een encoder-predictor netwerk dat kan worden getraind op willekeurige metrics, inclusief hardwarekosten, en meerdere doelen tegelijk kan voorspellen.
• Search-Agnostisch Design: Het framework is losgekoppeld van het zoekalgoritme en kan worden geïntegreerd in bestaande pipelines (zoals FreeREA) met minimale wijzigingen.
• Uitgebreide Validatie: Een ablatiestudie met verschillende modelgroottes (T5-small, T5-base, T5-large) op twee grote benchmarks.

Resultaten en Experimenten

De auteurs evalueerden SEval-NAS op NATS-Bench en HW-NAS-Bench voor de metrics nauwkeurigheid, latentie en geheugen.

• Correlatie met Hardware-metrics:
  • Er werd een sterke positieve correlatie (Kendall's $\tau$) gevonden tussen de voorspelde en werkelijke latentie en geheugengebruik. Dit geldt voor verschillende datasets (CIFAR-10, CIFAR-100, ImageNet16-120) en zes verschillende edge-apparaten (zoals Edge GPU, FPGA, Raspberry Pi 4).
  • De voorspelling van nauwkeurigheid toonde een zwakkere correlatie, wat aangeeft dat nauwkeurigheid minder direct afhankelijk is van de pure architecturale structuur dan hardwarekosten.
• Modelgrootte (Ablatie):
  • Op NATS-Bench presteerden T5-small, T5-base en T5-large vergelijkbaar op de Topology Search Space (TSS).
  • Op de Size Search Space (SSS) vertoonde het grootste model (T5-large) echter een iets lagere correlatie, wat suggereert dat grotere modellen niet altijd beter presteren voor deze specifieke taak.
  • Op HW-NAS-Bench verbeterden grotere modellen (T5-base/large) de latentie-correlatie op Edge GPU licht, mogelijk door het verminderen van het relatieve effect van ruis (kernel-launch overhead) bij grotere modellen.
• Integratie in FreeREA:
  • SEval-NAS werd geïntegreerd in het FreeREA-algoritme om hardware-beperkingen (latentie en geheugen) toe te voegen.
  • Het systeem slaagde erin om architecturen te rangschikken op basis van nieuwe constraints zonder de zoektijd significant te verhogen (de overhead van de inferentie was verwaarloosbaar vergeleken met andere NAS-methoden).
  • Latentie-constraints leverden vergelijkbare nauwkeurigheid op als de originele FreeREA, terwijl geheugen-constraints een kleinere pool van kandidaten opleverden (wat logisch is gezien de restrictie).

Betekenis en Conclusie

SEval-NAS biedt een krachtige oplossing voor de beperkingen van huidige NAS-methoden door een flexibel, trainingsvrij evaluatiemechanisme te introduceren.

• Hardware-voorspelling: Het is bij uitstek geschikt als voorspeller voor hardwarekosten (latentie/geheugen), wat essentieel is voor het deployen van modellen op edge devices.
• Adaptabiliteit: Het maakt het mogelijk om bestaande zoekalgoritmen snel aan te passen aan nieuwe hardware-eisen zonder de kern van het algoritme te herschrijven.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, zijn de huidige tests gebaseerd op benchmark-data. Toekomstig werk richt zich op het implementeren van een lichtgewicht versie van SEval-NAS voor on-device NAS en het verfijnen van de drempelwaarden voor zoekdynamiek.

Kortom, SEval-NAS vult een kritieke lacune in de NAS-literatuur door de evaluatie van hardware-efficiëntie te ontkoppelen van de zoekstrategie, waardoor snellere en meer doelgerichte architectuurontwikkeling mogelijk wordt.