Technische Samenvatting: Van Regressie naar Inference: Meta-Leren Predictors voor Neural Architecture Search

Probleemstelling

Neural Architecture Search (NAS) heeft tot doel het ontwerp van deep learning-architecturen te automatiseren, een taak die noodzakelijk is vanwege de hoge afhankelijkheid van modelprestaties van architecturale keuzes. De omvang van moderne zoekruimtes maakt echter een exhaustieve evaluatie computationeel onhaalbaar. Predictie-gebaseerde NAS is opgekomen als oplossing, waarbij geleerde predictors worden gebruikt om de prestaties van kandidaat-architecturen te schatten zonder volledige training.

Ondanks hun nut vertrouwen bestaande predictors doorgaans op supervised regressie om een vaste mapping te leren van architectuurrepresentaties naar prestatiemetrics. Deze aanpak kent kritieke beperkingen in de NAS-context:

1. Data-schaarste: NAS opereert in een regime waarin slechts een klein deel van de zoekruimte kan worden waargenomen.
2. Overfitting en Generalisatie: Vaste mappings getraind op beperkte steekproeven generaliseren vaak niet naar ongezette architecturen, wat leidt tot slechte prestaties buiten de verdeling.
3. Misalignement met Implementatie: Conventionele regressie reflecteert het implementatiescenario niet expliciet, waarbij voorspellingen moeten worden gebaseerd op partiële waarnemingen van de zoekruimte in plaats van een globale vaste functie.

Methodologie

De auteurs stellen een fundamentele herformulering voor van NAS-prestatievoorspelling, met een verschuiving van deterministische regressie naar conditionele functiinference binnen een meta-learningkader.

Kernkader: Convolutional Neural Process (ConvNP)

In plaats van een statische functie $y = f(x)$ te leren, modelleert de predictor de conditionele verdeling van doeloutput gegeven waargenomen architectuur-prestatieparen (de contextset). De auteurs maken gebruik van een Convolutional Neural Process (ConvNP), dat bestaat uit:

• Encoder: Aggregeert informatie uit de contextset naar latente representaties.
• Decoder: Voorspelt doeloutput conditioned op deze latente representaties.
• Mechanisme: Het model leert een verdeling over functies, waardoor het ongezette output kan infereren uit partiële waarnemingen terwijl het rekening houdt met onzekerheid. Dit maakt gebruik van de translatie-equivalentie van convolutiestructuren om te extrapoleren buiten de ondersteuning van waargenomen input.

Constructie van Synthetische Taken

Om de ConvNP te trainen onder een meta-learningparadigma, genereren de auteurs een verdeling van taken uit een enkele beschikbare dataset ($D$) via:

1. Resampling: Het creëren van synthetische taken door het waargenomen data met vervanging te resampen.
2. Shuffling: Het willekeurig ordenen van datapunten om permutatie-invariantie te stimuleren.
3. Splitsing Context-Doel: Elke synthetische taak wordt uitsluitend gesplitst in een contextset ($C$) en een doelset ($T$). Dit simuleert het NAS-inferentiescenario waarbij het model prestaties moet voorspellen op basis van een subset van waargenomen architecturen.

Meta-Feature Extractie

De auteurs ontwerpen een set van eenvoudige maar effectieve meta-features voor cel-gebaseerde architecturen, met focus op drie aspecten:

• Statistische Informatie: Aantallen van specifieke operaties (bijv. $3\times3$ Conv, $1\times1$ Conv) en knopen.
• Architecturale Complexiteit: Pad-gebaseerde gewichten toegewezen aan operaties op basis van complexiteit (bijv. $3\times3$ Conv = 3, Max-pooling = 1), geaggregeerd tot maten zoals maximum/minimum pad-gewichten en totale parameters.
• Structurele Informatie: Metrieken afgeleid van de adjacentiematrix, waaronder aantal randen, verhouding randen tot knopen, en maximale in/uit-graden.
  Deze features worden genormaliseerd naar het bereik $[0, 1]$.

Leerdoel

Omdat NAS prioriteit geeft aan het identificeren van hoogpresterende architecturen boven perfecte distributieve voorspelling, combineren de auteurs twee doelen:

1. Regressieverlies ($L_{MSE}$): Moedigt nauwkeurige voorspelling van validatie-accuraatheid aan.
2. Rankingverlies ($L_{rank}$): Een pairwise margin-based verlies dat de correcte relatieve ordening van kandidaat-architecturen in de doelset afdwingt.
   Het totale doel is $L_{total} = L_{MSE} + \lambda L_{rank}$. De auteurs merken op dat likelihood-gebaseerde doelen (standaard in NPs) empirisch minder effectief en efficiënt bleken dan directe mean-voorspelling met ranking-supervisie voor architectuurselectie.

Belangrijkste Bijdragen

1. Nieuwe Formulering: Het artikel herdefinieert NAS-voorspelling als een probleem van conditionele functiinference met behulp van ConvNP, en beweegt weg van vaste mappings naar modellen die zijn conditioned op partiële waarnemingen.
2. Meta-Learning Strategie: Het introduceert een strategie voor het genereren van synthetische taken via resampling en shuffling, waardoor de predictor kan generaliseren onder extreme data-schaarste.
3. Evaluatieperspectief: De auteurs betogen dat sterke globale ranking-metrics (bijv. Kendall's tau) niet noodzakelijk leiden tot betere architectuurselectie. Zij pleiten voor selectie-gerichte metrics zoals Top-K-prestaties.
4. Empirische Validatie: Uitgebreide experimenten op NAS-Bench-101 en NAS-Bench-201 tonen de effectiviteit van de methode aan.

Experimentele Resultaten

De methode werd geëvalueerd op NAS-Bench-101 (CIFAR-10) en NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) tegenover diverse baselines, waaronder regressiemodellen (LR, RF, MLP, XGB), op Graph Neural Networks gebaseerde predictors (NP, CAP, CARL) en zoekalgoritmen (RS, RE).

• Voorspellende Nauwkeurigheid: ConvNP behaalde concurrerende of superieure validatie- en test-accuraatheid. Op NAS-Bench-101 bereikte het 94,76% validatie- en 94,09% test-accuraatheid, presterend beter dan de meeste regressiebaselines en zoekalgoritmen.
• Top-K Prestaties: Hoewel ConvNP niet altijd de hoogste globale rank-correlatie (Kendall's tau) bereikte vergeleken met gespecialiseerde ranking-methoden zoals CARL, toonde het consistent superieure Recall@k. Het identificeerde hoogpresterende architecturen effectiever naarmate $k$ toenam, met name in regimes met weinig data.
• Data-efficiëntie: Experimenten met variërende trainingssetgroottes (van 50 tot 860 steekproeven) toonden aan dat ConvNP significant profiteert van meer data in regimes met weinig data, waarbij prestatiewinsten verzadigen naarmate het datavolume groeit.
• Ablatiestudies: Het verwijderen van de splitsing context-doel of de generatie van synthetische taken leidde tot significante prestatiedalingen, wat de noodzaak van de meta-learning-formulering bevestigt. Het combineren van regressie- en rankingverlies bleek superieur aan het gebruik van een van beide alleen.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het aligneren van het trainingsproces van NAS-predictors met het daadwerkelijke implementatiescenario. Door voorspelling te modelleren als inference uit partiële waarnemingen, adresseert de methode de inherente data-schaarste van NAS effectiever dan traditionele supervised regressie.

Een belangrijke insight die wordt benadrukt, is dat globale ranking-metrics niet altijd zijn afgestemd op het praktische doel van NAS. De auteurs tonen aan dat optimalisatie voor selectie-gerichte metrics (Top-K) effectievere architectuurselectie oplevert, zelfs als de globale rank-correlatie iets lager is dan die van gespecialiseerde ranking-modellen. Het werk suggereert dat toekomstige NAS-predictors prioriteit moeten geven aan probabilistische en meta-learning-benaderingen die de conditionele aard van het zoekproces beter weerspiegelen.

De auteurs erkennen beperkingen, waaronder iets lagere globale ranking-prestaties vergeleken met gespecialiseerde ranking-predictors, gevoeligheid voor het ontwerp van synthetische taken, en extra computationele overhead vergeleken met eenvoudige regressors. Zij merken ook op dat hun evaluatie momenteel beperkt is tot specifieke benchmark-zoekruimtes.