Technische Samenvatting: Het Structureren van Open-Ended NAS met Semi-Gestructureerde Ontwerpkennis

Probleemstelling

Huidige methoden voor Neural Architecture Search (NAS) staan voor een fundamentele afweging tussen de flexibiliteit van de zoekruimte en de efficiëntie van de verkenning. Traditionele NAS-benaderingen vertrouwen op gesloten, vooraf gedefinieerde zoekruimten (bijv. combinaties van vaste operatoren zoals 3x3 convoluties), wat de ontdekking van nieuwe architecturen beperkt. Daarentegen stellen recente methoden voor NAS met ondersteuning van Large Language Models (LLM) een "open-ended" zoektocht mogelijk door direct de broncode van modellen te genereren, waardoor het creëren van nieuwe blokken en topologieën wordt vergemakkelijkt. Deze open-ended benaderingen lijden echter vaak aan inefficiënte verkenning. Ze vertrouwen frequent op ongestructureerde kennispools die zijn afgeleid van LLM-priors of ruwe paper-mining, wat leidt tot:

1. Gekantelde en Kwalitatief Minderwaardige Ideeën: De zoekruimte kan vervuild raken door te domeinspecifieke, taakspecifieke of irrelevante ontwerpprincipes (bijv. het ontwerpen van verliesfuncties of verwerking van 3D-puntwolken) die niet van toepassing zijn op visuele backbones.
2. Inefficiënt Sampling: Zonder gestructureerde organisatie ontbreekt het aan diversiteit bij het selecteren van ontwerptideeën, waardoor vaak compacte maar hoogpresterende modellen worden over het hoofd gezien of veelbelovende gebieden van de Pareto-grens niet worden verkend.
3. Schending van Hardwarebeperkingen: Naïeve mutatiestrategieën genereren vaak modellen die de hardwarebudgetten (FLOPs, aantal parameters) overschrijden, wat leidt tot hun directe verwerping en een vermindering van de diversiteit van kandidaten.

Methodologie

De auteurs stellen een tweeledige aanpak voor om deze inefficiënties aan te pakken: Semi-geautomatiseerde Structurering van Modelontwerpattributen en het FairNAD-kader.

1. Semi-geautomatiseerde Structurering van Modelontwerpattributen

Om hoogwaardige, diverse ontwerpkennis te selecteren, introduceren de auteurs een hiërarchische Modelontwerpattributenboom ($D_{attr}$).

• Structuur: De boom is georganiseerd in drie niveaus: Granulariteit (Operatie, Blok/Connectiviteit, Netwerk), Hoofdcategorie (bijv. Feature Extraction, Normalisatie) en Subcategorie (bijv. Gecombineerde Convolutie, Laagnormalisatie).
• Constructie: De bovenste twee niveaus worden vooraf gedefinieerd door experts om een brede dekking te waarborgen. De subattributen worden semi-geautomatiseerd gegenereerd door een LLM te prikken met referentiebroncode van state-of-the-art (SOTA) modellen (bijv. ResNet, ViT, EfficientNet) en een vooraf gedefinieerde attribuutsjabloon.
• Kennisextractie: Deze gestructureerde boom wordt gebruikt om ontwerptideeën uit academische papers te filteren en te extraheren. Papers worden eerst gescreend om te waarborgen dat ze overeenkomen met de attribuutboom. Geldige papers worden vervolgens verwerkt om fijnmazige ideeën te extraheren, die worden getagd met hun corresponderende attributen in $D_{attr}$. Dit proces filtert irrelevante of te specifieke kennis eruit, wat resulteert in een gecureerde Database voor Modelontwerpkennis ($D_{kn}$).

2. Het FairNAD-kader

FairNAD is een evolutionair zoekkader dat de gestructureerde kennisdatabase gebruikt om efficiënte open-ended Neural Architecture Design (NAD) uit te voeren. Het hanteert een mutatiestrategie met meerdere typen en een feedbacklus:

• Mutatie met Fair Idea Sampling: Om een gekantelde verkenning te voorkomen, worden ideeën uniform uit $D_{kn}$ gesampled op basis van hun attribuuttags (granulariteit, hoofdcategorie). Dit voorkomt dat de zoektocht wordt gedomineerd door populaire maar potentieel suboptimale trends (bijv. excessieve attention-mechanismen). De granulariteitsteg dicteert ook het mutatiedoel (bijv. het wijzigen van een operatie versus de netwerkstructuur).
• Pareto-bewuste Mutatie: Om het probleem van het over het hoofd zien van compacte modellen aan te pakken, worden in deze fase oudermodellen gesampled van de Pareto-grens (een afweging tussen nauwkeurigheid en hardwarebeperkingen). Er wordt een dubbele strategie toegepast:
  • Upscaling: Modellen onder de drempel van het hardwarebudget worden opgeschaald (vergroting van breedte/depth).
  • Hyperparameteraanpassing: Modellen die dicht bij of boven de drempel liggen, ondergaan hyperparameter-tuning (bijv. kernelgrootte, stride).
• LLM-gedreven Iteratieve Mutatie: Om convergentie te versnellen, voert het kader iteratieve verfijning uit op hoogpresterende modellen. De LLM analyseert de geschiedenis van succesvolle mutaties en genereert nieuwe ideeën binnen vergelijkbare attributencategorieën om veelbelovende kandidaten verder te optimaliseren.
• Feedbacklus: Een kritiek onderdeel voor het behoud van diversiteit en validiteit. gegenereerde code ondergaat drie verificatiestadia:
  1. Uitvoeringsverificatie: Waarborgt dat code compileerbaar en uitvoerbaar is; bij fouten wordt de LLM gevraagd om te debuggen.
  2. Budgetverificatie: Controleert FLOPs en parametergrootte. Als beperkingen worden geschonden, wordt het model automatisch verkleind (bijv. door vermindering van diepte of breedte) in plaats van verworpen.
  3. Structurele verificatie: Waarborgt dat het model meerlagig is en structureel verschilt van de ouder.

Belangrijkste Bijdragen

1. Semi-geautomatiseerde Kennisstructurering: Het paper introduceert een methode om ongestructureerde ontwerpkennis uit papers te organiseren in een hiërarchische attribuutboom. Dit maakt het filteren van ruisachtige, domeinspecifieke ideeën mogelijk en creëert een diverse, hoogwaardige kennisbasis voor NAS.
2. FairNAD-kader: Een nieuw zoekkader dat mutaties met meerdere typen (Fair Idea Sampling, Pareto-bewust en LLM-gedreven iteratief) integreert met een feedbacklus. Deze aanpak balanceert verkenning (diversiteit) en exploitatie (prestaties) terwijl hardwarebeperkingen worden gerespecteerd.
3. State-of-the-Art Prestaties: De methode toont aanzienlijke verbeteringen aan op standaard benchmarks ten opzichte van bestaande handgemaakte en op LLM gebaseerde NAS-methoden.

Experimentele Resultaten

De auteurs hebben FairNAD geëvalueerd op de NAS-Bench-201-benchmark met behulp van de CIFAR-10, CIFAR-100 en ImageNet16-120 datasets. De zoektocht was beperkt tot specifieke aantallen parameters (1,5M) en FLOPs-limieten.

• Prestatiewinst: In vergelijking met de huidige state-of-the-art open-ended NAS-methode (NADER) behaalde FairNAD verbeteringen in testnauwkeurigheid van:
  • 0,84% op CIFAR-10
  • 2,17% op CIFAR-100
  • 2,35% op ImageNet16-120
• Ablatiestudies:
  • Gestructureerde Kennis: Het gebruik van gestructureerde inspiratie (in plaats van ruwe paper-inspiratie of LLM-priors) verbeterde de testnauwkeurigheid met 0,37 punten op CIFAR-100.
  • Fair Sampling: Het implementeren van fair idea sampling verbeterde de nauwkeurigheid met 1,81 punten, wat het belang van diverse attribuutverkenning onderstreept.
  • Mutatie met Meerdere Typen: De combinatie van Pareto-bewuste en LLM-gedreven iteratieve mutaties leverde de beste resultaten op. Opmerkelijk genoeg was LLM-gedreven mutatie alleen nadelig, wat de noodzaak bevestigt van de diversiteit die door Pareto-sampling wordt geboden.
  • Feedbacklus: Het verwijderen van de budgetverificator degradeerde de prestaties en doorloopspercentages aanzienlijk, wat de rol ervan aantoont bij het behoud van diverse kandidaten die anders zouden worden verworpen.

Betekenis en Claims

Het paper stelt dat FairNAD een cruciale basis legt voor toekomstig onderzoek in open-ended NAS door aan te tonen dat het structureren van ontwerpkennis essentieel is voor efficiënte verkenning. De auteurs betogen dat het simpelweg vertrouwen op het "open-ended" vermogen van LLM's onvoldoende is; het zoekproces moet worden geleid door gecureerde, hiërarchische kennis en in evenwicht worden gebracht door mutatiestrategieën in meerdere fasen.

De ontdekte architecturen vertonen unieke kenmerken die doorgaans niet worden aangetroffen in standaard NAS, zoals:

• Aangepaste attention-mechanismen (bijv. DPCA met zowel gemiddelde als max pooling).
• Dynamische feature-sharing mechanismen (bijv. FeaturePool).
• Niet-standaard kanaalgroottes en laagdieptes (bijv. het gebruik van 51, 102, 204 kanalen in plaats van machten van twee).
• Hybride benaderingen die CNN's combineren met positionele encoding of gespecialiseerde activatiefuncties (bijv. BandLimitedReLU).

De auteurs positioneren dit werk als een stap in de richting van het verminderen van de afhankelijkheid van handmatig expertontwerp en het mogelijk maken van de ontdekking van krachtigere, efficiëntere en nieuwere neurale architecturen door externe kennis op een gestructureerde, systematische manier te benutten. Zij erkennen de hoge computatiekosten van de zoektocht, maar presenteren dit als een noodzakelijke investering om prestatieniveaus te bereiken die met conventionele methoden niet haalbaar zijn.