Technische Samenvatting: Transformer-gestuurde Zwermintelligentie voor Frugale Neural Architecture Search

Probleemstelling

Neural Architecture Search (NAS) wordt traditioneel beperkt door prohibitieve computationele kosten, die vaak duizenden GPU-dagen en massieve clusters vereisen, wat de toegankelijkheid voor niet-gefinancierde laboratoria beperkt. Bovendien worden bestaande NAS-benaderingen geconfronteerd met twee primaire uitdagingen:

1. Over-parameterisatie: Veel ontdekte architecturen zijn computationeel redundant ten opzichte van de taakcomplexiteit, wat leidt tot "model bloat" (modelopzwelling) dat ongeschikt is voor edge-implementatie.
2. Methodologische hiaten: Traditionele Reinforcement Learning (RL) controllers vertrouwen vaak op Recurrent Neural Networks (RNN's) of LSTM's, die moeite hebben met het vastleggen van langetermijn topologische afhankelijkheden in netwerkontwerp. Daarentegen lijden pure zwerm-metaheuristieken (bijv. Artificial Bee Colony) aan een "cold-start" probleem, waarbij willekeurige initialisatie in enorme discrete zoekruimtes leidt tot voortijdige convergentie op suboptimale architecturen.

Huidige oplossingen zoals differentiële NAS (DARTS) kunnen instabiel zijn, terwijl op Large Language Models (LLM) gebaseerde controllers vaak lijden aan "functionele verstrengeling" en zware externe ondersteuning vereisen. Er is behoefte aan een "frugale" (zuinige), toegankelijke framework die autonoom efficiënte, taakspecifieke netwerken kan ontwerpen op consumentenhardware zonder menselijke tussenkomst.

Methodologie: De nas-torch Framework

Het paper stelt nas-torch voor, een modulaire, "white-box" NAS-framework die een memetische optimalisatiepipeline hanteert. Deze aanpak hybridiseert de globale macro-zoekcapaciteiten van een autoregressieve Transformer met de lokale micro-exploitatie van een zwermintelligentie-algoritme.

1. Autoregressieve Transformer Controller (Macro-Search)

• Architectuur: Als vervanging voor de traditionele RNN maakt de framework gebruik van een lichtgewicht autoregressieve Transformer controller (~68.000 parameters).
• Mechanisme: De zoekruimte is gediscretiseerd in een vocabulaire van 15 functionele tokens (bijv. specifieke convolutieformaten, residual blocks, pooling, dropout en stop-tokens). De Transformer genereert netwerktopologieën als variabel-lengte sequenties van deze tokens.
• Training: De controller wordt getraind via Reinforcement Learning (RL) met behulp van de REINFORCE policy gradient methode.
• Beloningsfunctie: Er wordt een multi-objective beloning gebruikt: $Reward = Accuracy - (\lambda \times Depth)$. Dit straft de diepte van het model expliciet af om bloat te voorkomen en parameter-efficiëntie te stimuleren.
• Dynamische Entropie: Om voortijdige convergentie tijdens de RL-training te voorkomen, is een dynamisch entropie-mechanisme geïmplementeerd. Als de prestaties stagneren, neemt de entropiecoëfficiënt ($\beta$) toe, wat de Transformer dwingt om divergente sequenties te genereren en lokale minima te ontsnappen.

2. Proxy Evaluatie Strategie

Om frugaliteit te waarborgen, gebruikt de framework een low-fidelity proxy evaluatie:

• Kandidaten worden getraind voor een klein aantal epochs (doorgaans 10) op een subset van 40% van de trainingsdata.
• Prestaties worden gescoord op een disjoint 10% validatiesplit.
• De officiële testset wordt tijdens de zoektocht nooit geraadpleegd.
• Vroegtijdige stopzetting (early stopping) wordt afgedwongen als de validatie-accuratesse stagneert.
• Een rangcorrelatieanalyse bevestigde een Spearman's $\rho$ van 0,721 tussen proxy-scores en volledige training-accuratesse, wat de betrouwbaarheid van de proxy valideert.

3. Memetische Zwerm Exploitatie (Micro-Search)

• Warm-Start: De door de Transformer gegenereerde architectuur dient als een "warm-start" voedselbron voor een Artificial Bee Colony (ABC) algoritme.
• Lokale Exploitatie: Het ABC-algoritme voert lokale topologische mutaties uit (het wijzigen van hyperparameters, het wisselen van activaties, het toevoegen/verwijderen van lagen) om de blauwdruk van de Transformer fijn te stemmen.
• Anti-Stagnatie: Een limietmechanisme zorgt ervoor dat als een specifieke buurt na een ingesteld aantal pogingen geen verbetering oplevert, "scout bijen" die regio verlaten en opnieuw initialiseren, waardoor de zwerm voorkomt vast te komen zitten in lokale minima.
• Topologische Consistentie: Een dynamische parser (DynamicNet) simuleert forward passes met dummy tensors om automatisch ruimtelijke dimensies te reconciliëren, wat garandeert dat alle gegenereerde architecturen wiskundig geldig zijn vóór de PyTorch instantiatie.

Belangrijkste Bijdragen

1. Lichtgewicht Transformer Controller: Introductie van een ~68k parameter autoregressieve Transformer die causale sequentierepresentaties gebruikt om als een structurele prior te fungeren, ter vervanging van zwaardere RNN/LSTM controllers.
2. Frugale Multi-Objective Beloning: Een beloningsfunctie die een strikte dieptestraf integreert om model bloat actief te mitigeren, gericht op embedded en edge implementatiebeperkingen.
3. Memetische Pipeline: Een hybride "Transformer-gestuurde ABC"-aanpak die de macro/micro kloof overbrugt. De Transformer biedt een topologisch gezonde "warm-start", terwijl de zwerm fijnmazige lokale exploitatie uitvoert, wat de zoekkosten aanzienlijk vermindert vergeleken met pure RL of pure zwermmethoden.
4. Domein-Agnostisch: Demonstratie van het vermogen van de framework om diverse taken (tabulaire regressie, medische classificatie en sterk ongebalanceerde fraude detectie) te optimaliseren op een enkele consumenten-GPU.

Experimentele Resultaten

De framework werd geëvalueerd op een NVIDIA RTX 3060 (6GB) onder strikte computationele budgetten.

• CIFAR-10:

  • De hybride methode (met dieptestraf) bereikte 84,85% accuratesse met slechts ~174.000 parameters in ongeveer 3 uur zoektijd.
  • Zonder de dieptestraf steeg de accuratesse naar 86,82%, maar met significante bloat (~229k parameters).
  • Vergeleken met baselines: de hybride aanpak presteerde beter dan standalone ABC (76,19%) en Random Search (83,51%), terwijl het een veel kleiner footprint behield dan Simulated Annealing (dat 87,21% bereikte maar ~294k parameters vereiste).
  • De zoekkosten werden genormaliseerd naar ~2,08 TFLOPS-dagen, wat ongeveer 6 tot 7 keer lager is dan DARTS en orden van grootte lager dan fundamentele RL-gebaseerde NAS.

• Credit Card Fraude Detectie (Imbalanced Tabular Data):

  • De framework optimaliseerde autonoom voor F1-Score op een sterk ongebalanceerde dataset (0,2% fraudepercentage).
  • Het ontdekte een compact netwerk van ~4.600 parameters dat een F1-Score van 0,71 bereikte (Precisie: 0,6467, Recall: 0,8095).

• CIFAR-100 (Scalability Stress Test):

  • Op de complexere 100-klasse dataset bereikte de framework een gemiddelde accuratesse van 52,36%.
  • De auteurs merken op dat dit een capaciteitsbottleneck benadrukt van de beperkte macro-vocabulaire (standaard convoluties) en de gevoeligheid van de proxy evaluatie voor ruis in scenario's met weinig samples per klasse, waarbij de dieptestraf incidenteel faalde om ongecontroleerde laag-stapeling te voorkomen.

Betekenis en Claims

Het paper positioneert nas-torch niet als een methode om state-of-the-art accuratesse op massieve benchmarks te bereiken, maar als een proof of concept voor het democratiseren van NAS. De primaire betekenis ligt in het demonstreren dat:

• Toegankelijkheid: Zeer efficiënte, taakspecifieke feature extractors autonoom op consumentenhardware (enkele GPU) binnen uren kunnen worden gegenereerd, in plaats van weken op supercomputers.
• Frugaliteit: Door algoritmisch de diepte te straffen en een memetische pipeline te gebruiken, produceert de framework modellen die 1,5x tot 5x kleiner zijn dan standaard baselines (zoals ResNet-20) terwijl ze concurrerende prestaties leveren voor specifieke taken.
• Flexibiliteit: De aanpak is domein-agnostisch en handelt succesvol niet-visuele modaliteiten en ongebalanceerde data af zonder handmatige herstructurering.

De auteurs concluderen dat deze aanpak een stabiel, snel en hulpbron-efficiënt alternatief biedt voor huidige NAS-paradigma's, waardoor onderzoekers en engineers de zware pre-training fasen en menselijke empirische tuning kunnen omzeilen. Toekomstig werk wordt voorgesteld om de zoekvocabulaire te verrijken met geavanceerde macro-cells (bijv. Inverted Residuals) en training-vrije evaluatiemetrieken te integreren om de zoektijd verder te reduceren.