NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

Stel je voor dat je de ultieme robothersenen probeert te bouwen, maar je hebt een strikte regel: ze moeten passen in een piepklein, op batterijen werkend gadget zoals een smartwatch of een drone. Dit is de wereld van "Edge AI", waar kunstmatige intelligentie leeft op kleine apparaten in plaats van op enorme, energieverslindende cloudservers. Om dit werkend te krijgen, moeten ingenieurs een lastige puzzel oplossen: ze hebben een brein nodig dat slim genoeg is om gezichten of geluiden te herkennen, maar ook klein en snel genoeg om te draaien zonder de batterij binnen minuten leeg te trekken.

Om het perfecte breinontwerp te vinden, gebruiken wetenschappers een methode genaamd Neural Architecture Search (NAS). Denk aan dit als een supersnelle, geautomatiseerde chef die miljoenen verschillende recepten (neurale netwerkontwerpen) probeert te koken om de één te vinden die het best smaakt (hoogste nauwkeurigheid) terwijl hij de minste ingrediënten gebruikt (rekenkracht). Meestal koken deze chefs met "full-precision" ingrediënten, wat is alsof je werkt met exacte, zware afmetingen. Maar voor piekleine gadgets moet je overstappen op "quantization" (kwantisatie), wat is alsof je overstapt op kleinere, lichtere maatbekers (het gebruik van minder bits om getallen weer te geven). De grote vraag is: als je de maatbekers verandert, smaakt het recept dat in de keuken perfect leek dan nog steeds hetzelfde op de weg? Dit paper duikt in precies die vraag en onderzoekt hoe het veranderen van het meetsysteem de zoektocht naar het beste robotbrein beïnvloedt en hoe je dat brein op een speciale, herconfigureerbare chip past.

---

De Drie-Traps Reis naar een Pieklein Brein

De auteurs van dit paper stellen een slimme, driestaps pijplijn voor om het probleem van het aanpassen van AI aan hardware op te lossen. Ze noemen het een "NAS-then-quantized" benadering, wat een beetje is als het ontwerpen van een auto op een computer, dan testen hoe deze omgaat met een hobbelige onverharde weg, en tot slot de motor bouwen die bij het terrein past.

Fase 1: De Hardware-Agnostische Frontend
Eerst gebruikt het team een "surrogaat"-model—een slim voorspeller die raadt hoe goed een ontwerp is zonder het daadwerkelijk te bouwen. Ze trainen deze voorspeller op een enorme bibliotheek van 15.625 verschillende neurale netwerkontwerpen (afkomstig uit een dataset genaamd NAS-Bench-201). Deze fase is "hardware-agnostisch", wat betekent dat het nog niet om de specifieke chip geeft; het zoekt alleen naar de beste ontwerpen op basis van nauwkeurigheid en hoeveel wiskundige operaties (FLOPs) ze nodig hebben. Ze gebruiken twee zoekstrategieën: een eenvoudige "Random Search" (het willekeurig kiezen van ontwerpen) en een "Multi-Objective Evolutionary Algorithm" (die natuurlijke selectie nabootst om betere ontwerpen te laten evolueren). Na deze fase hebben ze een shortlist van tien topkandidaten.

Fase 2: De Quantization Bridge
Vervolgens komt de realiteitscheck. Het team neemt die tien topkandidaten en krimpt ze in met een techniek genaamd Post-Training Quantization (PTQ), specifiek door over te schakelen naar INT4 (het gebruik van slechts 4 bits per getal in plaats van de gebruikelijke 32). Dit is als het nemen van een foto met een hoge definitie en deze comprimeren om op een oude telefoon te passen. Ze gebruiken een tool genaamd Brevitas om dit te doen.

Hier wordt het interessant. Wanneer ze de modellen comprimeren, kunnen sommige ontwerpen die in de eerste fase geweldig leken, falen of slechter worden. De "Quantization Bridge" fungeert als een filter. Het rangschikt de ontwerpen opnieuw op basis van hoe goed ze de compressie overleven. Als een ontwerp uit elkaar valt, wordt het weggegooid. Als er geen ontwerpen overleven, keert het systeem terug naar Fase 1 om het opnieuw te proberen. Ze kozen voor INT4 omdat, hoewel het zeer agressief is, ze ontdekten dat de modellen met een klein beetje extra training (slechts twee epochs) hun nauwkeurigheid aanzienlijk konden herstellen, van een lage 9,49% naar 83,53%, wat bewijst dat de oorspronkelijke modelinformatie grotendeels behouden bleef.

Fase 3: De Hardware-Aware Backend
Ten slotte hebben de overlevende ontwerpen een thuis nodig. Het team brengt deze gecomprimeerde breinen in kaart op een specifiek type hardware genaamd een CGRA (Coarse-Grained Reconfigurable Array). Denk aan een CGRA als een Lego-bord waarop je de blokjes kunt herschikken om bij elke vorm te passen. Ze gebruiken een evolutionair algoritme om verschillende manieren te verkennen om de hardware te arrangeren (het veranderen van het aantal verwerkingseenheden, geheugendiepte en datapaden). Ze bouwen niet de fysieke chip; in plaats daarvan gebruiken ze een "free analytical oracle"—een wiskundige simulator—om te voorspellen hoe snel en efficiënt elk arrangement zou zijn. Ze kiezen de configuratie die de vertraging minimaliseert en het gebruik van de hardwarebronnen maximaliseert.

De Grote Verrassing: Gooi de Oude Kaart Niet Weg

De meest opwindende ontdekking in dit paper is niet alleen de driestaps pijplijn; het is wat ze leerden over de relatie tussen de "full-precision" wereld en de "gecomprimeerde" wereld.

Normaal gesproken, wanneer je een model comprimeert, denk je misschien dat je de zoektocht vanaf nul moet beginnen door een nieuwe voorspeller te trainen die specifiek voor de gecomprimeerde (INT4) wereld is. De auteurs testten dit idee. Ze vergeleken twee benaderingen:

1. De Dedicated INT4 Surrogate: Een voorspeller die specifiek is getraind op gecomprimeerde data.
2. De FP32 Zero-Shot Surrogate: Een voorspeller die getraind is op de originele, full-precision data, die ze vervolgens gebruikten om de prestaties van de gecomprimeerde modellen te raden zonder hertraining.

De resultaten waren verrassend. In simulaties presteerde de FP32 zero-shot surrogate eigenlijk beter dan de specifieke INT4-voorspeller. Toen ze hun zoekstrategieën uitvoerden, vond de FP32-voorspeller ontwerpen die een breder bereik van de beste trade-offs (de "Pareto-ruimte") besloegen dan de INT4-specifieke voorspeller.

Waarom? De auteurs suggereren dat de full-precision data "schoner" en minder ruisachtig is. Zelfs al is de gecomprimeerde wereld anders, de rangschikking van welke ontwerpen "goed" en welke "slecht" zijn, blijft verrassend vergelijkbaar. Het paper merkt op dat hoewel de exacte volgorde van de ontwerpen verandert (ongeveer 21% van de tijd wordt een ontwerp dat in full precision beter was, slechter na compressie), de algemene structuur van de "beste" ontwerpen stabiel genoeg blijft zodat de oude kaart (de FP32-voorspeller) nog steeds een betrouwbare gids is.

De Stabiliteit van de Puzzel

Het team heeft niet alleen gegokt; ze hebben de chaos gemeten. Ze keken naar alle 15.625 architecturen om te zien hoeveel de "Pareto front" (de lijst van de absoluut beste ontwerpen) verschoof wanneer ze overstapten naar INT4.

• De Verschuiving: De lijst van topontwerpen reorganiseerde zich volledig. Geen van de oorspronkelijke topontwerpen overleefde als topontwerp in de gecomprimeerde wereld.
• De Flip: Ongeveer 21,73% van de tijd keerde de relatie tussen twee ontwerpen om (Ontwerp A was beter dan Ontwerp B in full precision, maar Ontwerp B werd beter na compressie).
• De Correlatie: Ondanks deze chaos was de algemene rangschikkingscorrelatie nog steeds matig (0,6655), wat betekent dat de algemene "vorm" van de goede ontwerpen behouden bleef.

Ze ontdekten ook dat kleinere, eenvoudigere modellen (die met minder wiskundige operaties) veel gevoeliger waren voor compressie en vaak nauwkeurigheid verloren. Grotere, complexere modellen waren verrassend robuust, waarschijnlijk omdat hun structuur de fouten die door de kleinere getallen worden geïntroduceerd, natuurlijk gladstrijkt.

De Hardware Resultaten

Ten slotte namen ze drie van hun beste overlevende ontwerpen en brachten deze in kaart op de CGRA-hardware. Ze ontdekten dat, ondanks dat de ontwerpen verschilden, ze allemaal convergeren naar exact dezelfde optimale hardwareconfiguratie: een raster van 16 rijen en 66 kolommen van verwerkingseenheden met een specifieke geheugendiepte. Dit suggat dat voor dit type taak, de "sweet spot" van de hardware vrij consistent is, ongeacht het specifieke neurale netwerkontwerp, zolang het ontwerp vergelijkbare bouwstenen gebruikt.

Conclusie

Dit paper suggereert dat we het wiel niet telkens opnieuw hoeven uit te vinden als we een AI-model willen verkleinen voor een klein apparaat. Door een driestaps proces te gebruiken—de beste ontwerpen vinden in full precision, ze filteren door een compressietest, en ze vervolgens in kaart brengen op flexibele hardware—kunnen we efficiënt de perfecte balans tussen nauwkeurigheid en grootte vinden. Het belangrijkste is dat het suggereert dat we onze full-precision zoekinstrumenten kunnen vertrouwen om ons zelfs in de gecomprimeerde wereld te leiden, wat tijd en moeite bespaart in de zoektocht om krachtige AI in onze zakken te krijgen.