Technische Samenvatting: Neural Architecture Search voor Generative Adversarial Networks

1. Probleemstelling

Het ontwerp van Generative Adversarial Networks (GANs) is inherent uitdagend vanwege de complexiteit van hun architectuur en de instabiliteit van hun trainingsdynamiek. Handmatige architectuurselectie en hyperparameteroptimalisatie vereisen aanzienlijke deskundige kennis, zijn tijdrovend en leveren vaak suboptimale resultaten op. Bovendien lijden GANs aan problemen zoals mode collapse, waarbij de generator een beperkte variëteit aan monsters produceert, en convergentie-instabiliteit, waarbij de discriminator er niet in slaagt om betekenisvolle gradiënten te leveren. Hoewel Neural Architecture Search (NAS) is opgekomen als een oplossing om het modelontwerp te automatiseren, brengt de toepassing ervan op GANs unieke moeilijkheden met zich mee, waaronder de gelijktijdige optimalisatie van twee concurrerende netwerken (generator en discriminator) en de hoge computationele kosten van zoekprocessen. Bestaande literatuuroverzichten over dit onderwerp waren ofwel verouderd (vóór 2021) of misten een uitgebreide dekking van recente ontwikkelingen, datasetdiversiteit en reproduceerbaarheidsproblemen.

2. Methodologie

Dit artikel presenteert een uitgebreid overzicht en een kritische analyse van NAS-technieken toegepast op GANs, waarbij onderzoek uit de periode 2021 tot 2025 wordt gesynthetiseerd. De studie houdt zich aan de door Kitchenham voorgestelde richtlijnen, maar merkt op dat het geen strikt systematisch overzicht is (bijv. PRISMA).

Zoekstrategie en Selectie:

• Bronnen: Literatuur werd verzameld via Google Scholar, ACM, ScienceDirect, IEEE, ArXiv en Springer.
• Snowballing: Zowel backward als forward snowballing technieken werden toegepast om relevante studies te identificeren die niet door de initiële databasezoekopdrachten werden gevangen.
• Inclusiecriteria: Studies moesten in het Engels zijn, peer-reviewed of reputabele preprints, en zich primair richten op architectuurzoekopdrachten voor GANs met voldoende methodologische details.
• Exclusiecriteria: Studies die zich richtten op hyperparameteroptimalisatie, latente ruimte-exploratie of een gebrek aan technische transparantie vertoonden, werden uitgesloten.

Analytisch Kader:
De auteurs ontwikkelden een gestructureerd vergelijkend kader om vier specifieke onderzoeksvragen (Research Questions, RQs) te adresseren:

1. RQ1: Welke NAS-benaderingen worden toegepast op GANs? (Gecategoriseerd naar zoekstrategie: Evolutionaire Algoritmen, Reinforcement Learning, Gradiënt-gebaseerd).
2. RQ2: Wat zijn de belangrijkste verkende zoekruimtes? (Gecategoriseerd naar structuur: Cell-gebaseerd, Geheel/Ketens-structuur, Hybride).
3. RQ3: Welke evaluatiemethoden worden gebruikt? (Metrics zoals Inception Score (IS), Fréchet Inception Distance (FID), computationele kosten en gebruikte datasets).
4. RQ4: Wat zijn de hiaten in het huidige onderzoek?

3. Belangrijkste Bijdragen en Bevindingen

3.1. Categorisering van NAS-benaderingen

De review identificeert drie dominante zoekstrategieën, waarbij Evolutionaire Algoritmen (EA) het meest prevalent zijn (11 werken), gevolgd door Reinforcement Learning (RL) en gradiënt-gebaseerde methoden (elk 5 werken).

• Evolutionaire Algoritmen (EA): Deze methoden, zoals E-GAN, Lipizzaner en Mustangs, maken gebruik van mutatie- en crossover-operaties om populaties van architecturen te evolueren. Ze worden geprezen om hun vermogen om multi-objective optimalisatie te hanteren (het balanceren van IS, FID en modelgrootte) en voor het verkennen van diverse zoekruimtes. Echter, ze leunen vaak zwaar op de objectieffunctie en kunnen computationeel intensief zijn.
• Reinforcement Learning (RL): Benaderingen zoals AutoGAN en AGAN gebruiken controllers (bijv. RNNs, LSTMs) om sequentieel architecturen te construeren. Hoewel effectief, kampen RL-methoden vaak met uitdagingen op het gebied van schaalbaarheid en hoge computationele kosten (bijv. AGAN die 1200 GPU-dagen vereist). Recente off-policy methoden (bijv. E2GAN, T2IGAN) hebben de monster-efficiëntie verbeterd.
• Gradiënt-gebaseerde Methoden: Technieken zoals AdversarialNAS, DEGAS en DAMGAN maken gebruik van differentieerbare zoekruimtes om architecturen te optimaliseren via gradiëntafdaling. Deze methoden bieden over het algemeen een superieure zoekefficiëntie (bijv. DAMGAN die de zoekopdracht voltooit in 0,09 GPU-dagen) en stabiliteit, maar kunnen beperkt zijn tot generator-alleen zoekopdrachten of specifieke zoekruimtebeperkingen.

3.2. Analyse van de Zoekruimte

• Cell-gebaseerde Structuren: De meest voorkomende benadering, waarbij de zoekopdracht zich richt op het vinden van optimale "cells" (bouwblokken) die worden gestapeld om het uiteindelijke netwerk te vormen. Dit vermindert de omvang van de zoekruimte en verbetert de efficiëntie.
• Geheel/Ketens-structuur: Betreft het zoeken naar de volledige sequentie van lagen. Hoewel dit meer ontwerpvrijheid biedt, verhoogt het de complexiteit van de zoekruimte.
• Hybride Benaderingen: Sommige frameworks (bijv. EvoGAN, Bi-GAN) combineren discrete architecturale beslissingen met continue parameterverfijning.

3.3. Evaluatie en Prestaties

Het artikel analyseert prestaties over standaard datasets (MNIST, CIFAR-10, STL-10, CelebA, LSUN).

• Metrics: Inception Score (IS) en Fréchet Inception Distance (FID) blijven de dominante evaluatiemetrieken. De auteurs merken echter ook de beperkingen hiervan op, inclusief potentiële biases en het onvermogen om mode collapse of menselijk waargenomen kwaliteit volledig te vatten.
• Resultaten: Evolutionaire algoritmen en gradiënt-gebaseerde methoden hebben state-of-the-art prestaties aangetoond in specifieke contexten. Bijvoorbeeld, EWSGAN (EA) bereikte een FID van 9,09 op CIFAR-10, terwijl DAMGAN (Gradiënt-gebaseerd) 10,27 bereikte met aanzienlijk minder zoektijd.
• Computationele Kosten: Zoektijden variëren sterk, van 0,09 GPU-dagen (DAMGAN) tot meer dan 1200 GPU-dagen (AGAN), wat een kritieke afweging tussen zoekefficiëntie en architecturale prestaties benadrukt.

4. Geïdentificeerde Hiaten en Toekomstige Richtingen

Het artikel identificeert verschillende kritieke hiaten in de huidige stand van het onderzoek:

1. Discriminator Zoekopdracht: De meeste bestaande methoden richten zich op het optimaliseren van de generator, waarbij de discriminator vaak vast blijft staan of een vooraf gedefinieerde structuur heeft. Specifieere zoekmethoden voor superieure discriminator-architecturen zijn grotendeels nog onverkend.
2. Datasetdiversiteit: Onderzoek is sterk bevooroordeeld naar de richting van CIFAR-10 en STL-10. Er is een gebrek aan validatie op diverse, hoog-resolutie of domeinspecifieke datasets zoals CelebA, LSUN en COCO, wat de generaliseerbaarheid van de bevindingen beperkt.
3. Conditionele en Gespecialiseerde Generatie: De meeste NAS-GANs richten zich op onconditionele beeldgeneratie. Er is behoefte aan meer onderzoek naar conditionele generatie, image-to-image translatie en andere modaliteiten (bijv. tekst, tijdreeksen).
4. Evaluatiemetrieken: Het vertrouwen op IS en FID is onvoldoende. Het artikel pleit voor robuuste, holistische metrieken die diversiteit, getrouwheid (fidelity) en realisme beter beoordelen, potentieel inclusief menselijke evaluatie.
5. Interpreteerbaarheid en Duurzaamheid: Het "black box"-karakter van door NAS gegenereerde architecturen mist interpreteerbaarheid. Daarnaast vereist de hoge milieukosten (energieverbruik en CO2-voetafdruk) van uitgebreide zoekprocessen aandacht via energie-efficiënte algoritmen.
6. Opkomende Architecturen: De toepassing van NAS op transformer-gebaseerde GANs blijft onverkend.

5. Betekenis van de Studie

Dit artikel dient als een cruciale bron voor onderzoekers door de ontwikkelingen van 2021 tot 2025 te synthetiseren en de beperkingen van eerdere surveys aan te pakken. De betekenis ligt in:

• Het Bieden van een Gestructureerd Kader: Het aanbieden van een duidelijke taxonomie van NAS-GAN methoden op basis van zoekstrategieën, ruimtes en evaluatiecriteria.
• Het Benadrukken van Reproduceerbaarheid en Bias: Het expliciet wijzen op het gebrek aan transparantie in de rapportage van de zoekruimte en de overmatige afhankelijkheid van specifieke datasets en metrieken.
• Het Leiden van Toekomstig Onderzoek: Door de hiaten — zoals de noodzaak voor discriminator-zoekopdrachten, diverse datasetevaluatie en duurzame NAS-praktijken — duidelijk af te bakenen, stuurt het artikel de gemeenschap in de richting van robuustere, meer generaliseerbare en ethisch verantwoorde GAN-ontwikkeling.

De auteurs concluderen dat hoewel NAS het ontwerp van GANs aanzienlijk heeft geavanceerd, het veld moet evolueren om computationele efficiëntie, evaluatierobustheid en bredere toepassingsscenario's aan te pakken om het volledige potentieel van geautomatiseerde generatieve modellering te realiseren.