HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

Dit artikel introduceert HERCULES, een nieuw raamwerk en taxonomie voor Neural Architecture Search dat de kritische doelstellingen van hardware-efficiëntie, robuustheid en continu leren verenigt om de ontwikkeling van inzetbare, levenslang lerende AI-systemen te sturen.

De kern

Stel je voor dat je een architect bent die de opdracht heeft om een huis te bouwen. Lange tijd was het enige ding dat er toe deed dat het huis er mooi uitzag (hoge nauwkeurigheid). Maar toen we deze "huizen" (AI-modellen) begonnen te verplaatsen van de blauwdrukken naar de echte wereld, realiseerden we ons dat er mooi uitzien niet genoeg was.

Dit artikel, getiteld HERCULES, betoogt dat je om een echt succesvol AI-huis te bouwen, drie moeilijke doelen tegelijkertijd in evenwicht moet brengen:

1. Efficiëntie: Het huis moet klein genoeg zijn om op een klein, op batterijen werkend apparaat te passen (zoals een smartwatch of een sensor), met zeer weinig energiegebruik.
2. Robuustheid: Het huis moet stevig genoeg zijn om stormen, aardbevingen of zelfs iemand die probeert in te breken te weerstaan (adversariale aanvallen of hardware-ruis).
3. Voortdurend Leren: Het huis moet in staat zijn om in de loop van de tijd te groeien en veranderen. Als er een nieuw gezinslid intrekt (een nieuwe taak), moet het huis zich kunnen uitbreiden om hen te huisvesten zonder dat de oude kamers instorten (vergeten van eerdere kennis).

Het Probleem: De "Silos"-Aanpak

De auteurs wijzen erop dat huidige AI-onderzoekers meestal huizen bouwen waarbij ze zich op slechts één van deze dingen richten.

• Sommigen bouwen kleine huizen die energie-efficiënt zijn, maar in een storm uit elkaar vallen.
• Sommigen bouwen fort-achtige huizen die supersterk zijn, maar te zwaar om te verplaatsen.
• Sommigen bouwen huizen waar makkelijk nieuwe kamers aan kunnen worden toegevoegd, maar die zo groot zijn dat ze de batterij direct leegtrekken.

Het artikel stelt dat je in de echte wereld een huis nodig hebt dat alle drie tegelijkertijd doet.

De Oplossing: Het HERCULES-kader

De auteurs stellen een nieuw kader voor dat HERCULES heet (Hardware-Efficient, Robust, and Continual LEarning Search). Ze noemen het naar de Griekse held Hercules, omdat de taak, net als voor de held, "ontzagwekkend" is.

Stel je HERCULES voor als een Hoofdartitect die niet zomaar een statische blauwdruk tekent. In plaats daarvan ontwerpt deze architect een "levend" huis met twee speciale kenmerken:

1. De "Slimme Schakelaar" (Dynamische Adaptiviteit):
   Stel je een huis voor met een slim verlichtingssysteem. Als je gewoon door de hal loopt, zijn de lichten gedimd (energie besparen). Maar als je een complexe maaltijd bereidt, gaan de lichten fel branden (meer stroom gebruiken voor betere resultaten).

   • In het artikel: Dit wordt een Dynamisch Neuraal Netwerk genoemd. De AI kan kiezen voor een "snelle gok" bij makkelijke taken (energie besparen) of een "diepe duik" bij moeilijke taken (nauwkeurigheid waarborgen). Het kan ook zijn interne bedrading opnieuw routeren als de hardware begint te haperen.

2. De "Modulaire Uitbreiding" (Voortdurend Leren):
   Stel je een huis voor met een magische fundering. Als er een nieuw gezinslid aankomt, kan het huis zachtjes een nieuwe vleugel toevoegen zonder de oude af te breken.

   • In het artikel: Dit lost "catastrofaal vergeten" op. De AI leert nieuwe taken door zijn structuur lichtjes uit te breiden, in plaats van zijn oude herinneringen te overschrijven.

De "Twaalf Arbeidsprestaties" van HERCULES

Net zoals Hercules twaalf onmogelijke taken moest volbrengen, zeggen de auteurs dat het bouwen van dit perfecte AI-systeem het overwinnen van 12 specifieke uitdagingen (of "arbeidsprestaties") vereist. Hier zijn een paar van de belangrijkste, vertaald naar alledaagse termen:

• Arbeidsprestatie 1: De Realiteitstest (Co-design van Hardware en Software).
  Bereken niet alleen hoeveel bakstenen je op papier nodig hebt. Je moet het huis testen op het werkelijke terrein waar het zal staan. Het AI-ontwerp moet rekening houden met de specifieke eigenaardigheden van de chip waarop het zal draaien.
• Arbeidsprestatie 2: De Stormtest (Schaalbare Robuustheid).
  Je kunt niet wachten op een orkaan om te testen of je huis veilig is. Je hebt een manier nodig om stormen snel te simuleren tijdens de ontwerpfase om ervoor te zorgen dat het huis niet instort.
• Arbeidsprestatie 3: Het Evenwichtsoefening (Plasticiteit versus Stabiliteit).
  Dit is het moeilijkste deel. Je wilt dat het huis flexibel genoeg is om een nieuwe kamer toe te voegen (plasticiteit), maar stabiel genoeg dat de nieuwe kamer de fundering niet doet barsten (stabiliteit). Het kader moet de perfecte balans vinden.
• Arbeidsprestatie 12: Het Langetermijnperspectief (Levenscyclus Duurzaamheid).
  De meeste AI is "implementeren en vergeten". HERCULES vraagt: "Wat gebeurt er over 5 jaar als de hardware oud wordt of de data verandert?" Het ontwerp moet duurzaam zijn voor de lange termijn, niet alleen voor dag één.

Waarom Dit Belangrijk Is

Het artikel concludeert dat we niet langer kunnen vertrouwen op aparte hulpmiddelen voor efficiëntie, kracht en groei. We hebben een verenigde aanpak nodig.

HERCULES is de routekaart voor het bouwen van AI die:

• Lichtgewicht genoeg is om op je telefoon of een sensor te draaien.
• Sterk genoeg is om slechte data of hardware-problemen het hoofd te bieden.
• Aanpasbaar genoeg is om voor altijd nieuwe dingen te leren zonder het oude te vergeten.

Het is een oproep om te stoppen met het bouwen van "statische" AI en te beginnen met het bouwen van "levende" AI die de rommelige, veranderende en hongerige echte wereld kan overleven.

Technische samenvatting

Technische Samenvatting: HERCULES – Hardware-efficiënte, Robuuste, Continue Leren Neural Architecture Search

1. Probleemstelling

Neural Architecture Search (NAS) heeft zich traditioneel gericht op het optimaliseren van de afweging tussen nauwkeurigheid en hardware-efficiëntie (bijvoorbeeld latentie, geheugen, energie). Nu AI-systemen echter overgaan van statische benchmarks naar implementatie in de echte wereld, is deze tweeledige focus onvoldoende. Moderne AI-toepassingen staan voor drie orthogonale maar onderling verbonden uitdagingen:

1. Efficiëntie: De noodzaak om te opereren binnen strikte resourcebeperkingen (energie, geheugen, rekenkracht) op randapparatuur (edge devices).
2. Robuustheid: De vereiste om betrouwbaarheid te behouden onder omgevingsvariabiliteit, inclusief adversariale verstoringen, door hardware veroorzaakte ruis (bijvoorbeeld geleidbaarheidsdrift in opkomende geheugentechnologieën) en distributieveranderingen.
3. Continue Leren (CL): Het vermogen om zich aan te passen aan sequentiële taken zonder catastrofaal vergeten, waarbij plasticiteit (het leren van nieuwe kennis) en stabiliteit (het behouden van oude kennis) in evenwicht worden gebracht.

De huidige NAS-literatuur behandelt deze doelen grotendeels geïsoleerd van elkaar. Er bestaan surveys voor hardware-bewuste NAS, robuuste NAS, of continue-lerende NAS, maar geen enkele biedt een verenigd perspectief dat alle drie als even fundamenteel beschouwt. Bovendien slagen bestaande oplossingen er vaak niet in rekening te houden met het dynamische karakter van implementatie in de echte wereld, waarbij modellen zich moeten aanpassen aan veranderende datastromen en hardware-degradatie in de loop van de tijd. De centrale onderzoeksvraag die wordt behandeld is: Is het mogelijk om het ontwerp van neurale netwerkarchitecturen te automatiseren dat prestatiebetrouwbaarheid handhaaft onder hardware-ruis en dataverschuivingen, terwijl strikte energiebudgetten en evoluerende taakeisen worden gerespecteerd?

2. Methodologie en Taxonomie

Het artikel stelt een uitgebreide taxonomie van NAS-benaderingen voor door middel van de "drieledige lens" van efficiëntie, robuustheid en continue leren. Het categoriseert bestaande methoden in drie primaire pijlers en analyseert hun kruispunten:

A. Efficiëntie (Hardware-bewuste NAS)

De survey onderzoekt methoden die zijn geoptimaliseerd voor resource-beperkte omgevingen, ingedeeld in:

• Modelcompressie: Het integreren van pruning, kwantisatie en architectuurschaling direct in de zoeklus (bijvoorbeeld MSuNAS, CNAS, APQ).
• Dynamische Neurale Netwerken: Architecturen die de berekening aanpassen aan de ingangcomplexiteit, zoals Early-Exit Networks (EENNs), Mixture-of-Experts (MoE) en Multi-Branch Networks (bijvoorbeeld EExNAS, HADAS, InstaNAS).
• Hardware-Software Co-design: Het gezamenlijk optimaliseren van neurale architecturen en versnellerparameters (bijvoorbeeld FPGA/ASIC-configuraties, dataflows) om Pareto-optimale oplossingen te bereiken die niet haalbaar zijn door één kant vast te zetten (bijvoorbeeld Codesign-NAS, DNA, NACIM).

B. Robuustheid

Het artikel categoriseert robuustheidsbewuste NAS in vijf bronnen van verstoring:

• Flatness-optimalisatie: Het zoeken naar vlakke minima in het verlieslandschap om generalisatie en stabiliteit te verbeteren (bijvoorbeeld R-DARTS, GeNAS, A2M).
• Adversariale Robuustheid: Optimaliseren tegen opzettelijke verstoringen met technieken zoals adversariaal trainen en Lipschitz-regularisatie (bijvoorbeeld ADVRUSH, RNAS, WsrNAS).
• Robuustheid tegen Hardware-ruis: Aanpakken van non-idealiteiten in In-Memory Computing (IMC)-apparaten zoals RRAM en PCM, waaronder geleidbaarheidsdrift en stochastische schakeling (bijvoorbeeld CMQ, UAE, AnalogNAS).
• Robuustheid tegen Resource-verschuiving: Aanpassen aan dynamische energiebeschikbaarheid (bijvoorbeeld scenario's met energieopwekking).
• Multimodale Robuustheid: Het waarborgen van stabiliteit over verschillende modaliteiten en domeinverschuivingen heen (bijvoorbeeld NAS-OOD, MFAS, Harmonic-NAS).

C. Continue Leren

De survey identificeert dat weinig NAS-werken CL geïsoleerd optimaliseren. De meeste CL-gerichte NAS-methoden worden beoordeeld in de context van gezamenlijke optimalisatie met efficiëntie. Belangrijke benaderingen zijn:

• Op expansie gebaseerd: Dynamisch vergroten van de netwerkbreedte of -diepte naarmate nieuwe taken zich voordoen (bijvoorbeeld Continual NAS, CLEAS, BNS).
• Op regularisatie gebaseerd: Het gebruik van straffen om te voorkomen dat gewichtsupdates interfereren met eerdere taken (bijvoorbeeld REC).
• Op distillatie gebaseerd: Het overdragen van kennis van oude naar nieuwe modellen.

D. Het Gat

Het artikel benadrukt kritieke zwaktes in huidige oplossingen:

• Statisch perspectief: De meeste hardware-bewuste NAS gaat uit van een statische, ruisvrije omgeving, en faalt in het anticiperen op hardware-degradatie of distributieveranderingen in de loop van de tijd.
• Temporele blindheid: Robuustheidsgerichte NAS negeert vaak de noodzaak van aanpasbaarheid, waardoor modellen ontstaan die robuust maar rigide zijn (onbekwaam om nieuwe taken te leren).
• Hardware-overhead: Robuuste architecturen brengen vaak aanzienlijke parameter-overhead met zich mee, waardoor ze ongeschikt zijn voor TinyML-budgetten.
• Isolatie: Efficiëntie, robuustheid en CL worden zelden gezamenlijk geoptimaliseerd, wat leidt tot suboptimale afwegingen voor implementatie in de echte wereld.

3. Belangrijkste Bijdragen: Het HERCULES-kader

Om deze gaten op te vullen, stellen de auteurs HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search) voor, een nieuw kader en een taxonomie voor NAS van de volgende generatie.

Kaderarchitectuur

HERCULES breidt traditionele NAS uit door een Arch Adapter-module in te voeren die basisarchitecturen (uit de zoekruimte $\Gamma_x$) verrijkt met dynamische capaciteiten (uit de configuratieruimte $\Gamma_\theta$), waardoor een verfijnde zoekruimte $\Gamma_{\tilde{x}}$ ontstaat.

• Inputs: Datasets, architecturale sets, hyperparameters voor dynamisch gedrag, evaluatieparameters, vooraf bekende informatie (bijvoorbeeld hardware-ruisprofielen, patronen van energieopwekking) en beperkingen.
• Output: Een set Pareto-optimale neurale netwerken die statisch of dynamisch zijn (met integratie van runtime-aanpasbaarheid).
• Optimalisatiedoel: Een beperkte meerdoelwitfunctie die een kostenfunctie $G$ minimaliseert die de volgende aspecten in evenwicht brengt:
  • $F_A(\tilde{x})$: Nauwkeurigheid (of Gemiddelde Incrementale Nauwkeurigheid $F_{AIA}$ voor CL).
  • $F_C(\tilde{x})$: Resourcekosten (latentie, energie, geheugen).
  • $F_R(\tilde{x}, \rho, \Delta)$: Robuustheid tegen diverse omgevingsverstoringen.

De Twaalf Arbeidsproeven van HERCULES

Het artikel definieert twaalf technische uitdagingen (wensen) die nodig zijn om inzetbare, levenslange lerende AI-systemen te realiseren:

1. Hardware-Software Co-design: Integratie van NAS met compilers en runtimes voor daadwerkelijke prestaties.
2. Schaalbare Robuustheidsschatting: Efficiënt schatten van robuustheidsmetrieken zonder prohibitieve overhead.
3. Plasticiteit-Stabiliteit-evenwicht: Het expliciet optimaliseren van de afweging tussen het leren van nieuwe taken en het behouden van oude kennis.
4. Implementatie-trouw: Zorgen dat evaluaties tijdens de zoekfase de operationele omstandigheden in de echte wereld trouw benaderen met behulp van vooraf bekende informatie.
5. Doelmodellering: Het behandelen van efficiëntie, robuustheid en CL als orthogonale, eersteklas doelen.
6. Dynamische Aanpasbaarheid: Optimaliseren van zowel statische motieven als runtime-aanpassingsbeleid.
7. Expressieve Zoekruimtes: Inclusie van architecturale blokken die in staat zijn om over alle drie de pijlers te optimaliseren.
8. Meerdoelwit Zoekstrategieën: Ontwikkelen van algoritmen om de niet-convexe Pareto-grens van de drie doelen te navigeren.
9. Omgevingsafstemming: Toespitsen van zoekruimtes en strategieën op specifieke implementatieomgevingen.
10. Reproduceerbaarheid van Benchmarks: Voorstellen van een verenigde HERCULES-Bench die incrementeel leren, OOD-robustheid en hardware-variabiliteit combineert.
11. Zoek-efficiëntie: Optimaliseren van de rekenkosten van het NAS-proces zelf.
12. Levenscyclusduurzaamheid: Rekening houden met langetermijnimplementatiekosten, inclusief hertraining en onderhoud onder verouderende hardware.

4. Resultaten en Bewijs

Het artikel presenteert geen nieuwe experimentele resultaten van een nieuw algoritme, maar biedt een uitgebreide survey en synthese van bestaande literatuur.

• Tabellen I–VIII: Het artikel categoriseert en vat systematisch meer dan 50 NAS-methoden samen over de drie pijlers heen. Het beschrijft hun doelen, zoekkosten, datasets en prestatie-metrieken.
• Gatanalyse: De survey toont aan dat terwijl individuele pijlers goed bestudeerd zijn, gezamenlijke optimalisatie zeldzaam is. Bijvoorbeeld: weinig werken optimaliseren CL geïsoleerd; de meeste doen dit gezamenlijk met efficiëntie. Evenzo komt robuustheid vaak ten koste van efficiëntie, en wordt dynamische aanpasbaarheid pas beginnend geïntegreerd met robuustheid en efficiëntie.
• Synthese: De analyse onthult dat het vakgebied convergeert naar de noodzaak van gezamenlijke optimalisatie, wat de behoefte aan het HERCULES-kader valideert.

5. Betekenis en Beweringen

Het artikel claimt betekenis als een blauwdruk voor het vakgebied Neural Architecture Search.

• Verenigd Perspectief: Het is de eerste survey die expliciet efficiëntie, robuustheid en continue leren behandelt als even fundamentele en orthogonale doelen, verdergaand dan de gesiloerde visie van huidig onderzoek.
• Paradigmaverschuiving: Het pleit voor een verschuiving van "implementeren-en-vergeten" statische NAS naar "levenslange lerende" dynamische NAS die rekening houdt met omgevings- en temporele dynamiek.
• Fundamenteel Kader: Door HERCULES en zijn twaalf arbeidsproeven te definiëren, biedt het artikel een gestructureerde set wensen voor toekomstig onderzoek, die de ontwikkeling van echt inzetbare AI-systemen leidt.
• Toekomstige Richtingen: Het artikel suggereert bescheiden dat, hoewel HERCULES een kader biedt voor het ontwerpen van dynamische netwerken, toekomstig werk aanpasbaarheid in het zoekproces zelf moet integreren (Dynamische NAS) en de kring moet sluiten met feedback van echte hardware om "auto-evoluerende" systemen te bereiken.

Kortom, het artikel stelt dat de toekomst van AI-implementatie berust op architecturen die niet alleen nauwkeurig zijn, maar inherent veerkrachtig, resource-bewust en in staat om mee te evolueren met hun operationele omgevingen. HERCULES wordt voorgesteld als het conceptuele en technische fundament om dit doel te bereiken.