Preparation of Fractal-Inspired Computational Architectures for Automated Neural Design Exploration

Probleemstelling

Het handmatig ontwerpen van diepe neurale netwerken is tijdrovend en vereist aanzienlijke rekenkracht. Bestaande methoden voor Neural Architecture Search (NAS) en AutoML (zoals DARTS of ENAS) zijn weliswaar succesvol, maar hebben vaak enorme hoeveelheden GPU-tijd nodig (duizenden uren) en genereren vaak complexe, ondoorzichtige architecturen die moeilijk te analyseren zijn. Aan de andere kant bieden gestructureerde benaderingen, zoals fractale netwerken, een interpretabel alternatief, maar deze zijn tot nu toe niet systematisch geëxploreerd op grote schaal. Er is een behoefte aan een framework dat een gebalanceerde zoekruimte biedt: geautomatiseerd, schaalbaar, maar wel gebaseerd op begrijpelijke structurele patronen zonder de extreme rekenkosten van traditionele NAS.

Methodologie: FractalNet Framework

Het paper introduceert FractalNet, een template-gedreven framework dat automatisch convolutionele neurale netwerken (CNN's) genereert en evalueert op basis van fractale ontwerpprincipes. Het systeem vermijdt dure zoekalgoritmen door te werken binnen een goed gestructureerde architectuurruimte gedefinieerd door recursieve fractale templates.

Het framework bestaat uit drie kerncomponenten:

1. Generator Module:

   • Genereert kandidaat-architecturen door gecontroleerde permutaties van laagconfiguraties (convolutie, normalisatie, activatie, dropout).
   • Varieert in structuurparameters zoals fractale diepte ($N$) (het aantal recursieve niveaus) en kolombreedte (het aantal parallelle paden binnen een fractaal blok).
   • Filtert incompatibele configuraties (bijv. onmogelijke laagvolgorde) om trainingsstabiliteit te garanderen.

2. Fractal Template Module:

   • Implementeert de recursieve structuur. Een fractaal blok $F(N)$ wordt gedefinieerd als:
     • Als $N=1$: Een enkel convolutieblok.
     • Als $N>1$: Een concatenatie van $F(N-1)$ en een nieuw convolutieblok.
   • Deze recursie creëert meerdere paden met verschillende dieptes binnen één netwerk, wat zorgt voor feature reuse en een stabielere gradiëntstroom (gradient flow), zelfs zonder expliciete residual connections.

3. Runner Module:

   • Verantwoordelijk voor training, evaluatie en logging.
   • Gebruikt PyTorch met Stochastic Gradient Descent (SGD).
   • Optimaliseert rekenkosten door Automatic Mixed Precision (AMP) en gradient checkpointing te gebruiken, wat de GPU-geheugeneisen drastisch verlaagt.
   • Logt metrics zoals verlies, validatie-accuraatheid, geheugengebruik en trainingstijd.

Experimentele Opstelling:

• Dataset: CIFAR-10 (60.000 afbeeldingen, 10 klassen).
• Training: 5 epochs, SGD (learning rate 0.01, momentum 0.9), batch size 16.
• Hardware: NVIDIA RTX 3090/4090 GPU's.
• Scope: Meer dan 1.200 unieke architecturen automatisch gegenereerd en getest.

Belangrijkste Bijdragen

1. Template-gedreven Framework: Een nieuw systeem voor de automatische generatie van fractaal-geïnspireerde CNN-architecturen dat geen zware NAS-methoden vereist.
2. Gestructureerde Zoekruimte: Definieert een zoekruimte gebaseerd op fractale diepte, kolombreedte en configureerbare laagsequenties, wat zorgt voor een balans tussen diversiteit en interpretatie.
3. Geautomatiseerde Pipeline: Een end-to-end pipeline die in staat is om meer dan 1.200 variaties van neurale netwerken te genereren, te trainen en te benchmarken met minimale menselijke tussenkomst.
4. Empirische Analyse: Een uitgebreide analyse van hoe structurele parameters (diepte en breedte) prestaties, convergentie en efficiëntie beïnvloeden op de CIFAR-10 dataset.

Resultaten

De experimenten leverden de volgende inzichten op:

• Prestaties: De gegenereerde fractale architecturen bereikten een gemiddelde validatie-accuraatheid van 60–70% en een maximale prestatie van 80,18% na slechts 5 epochs van training.
• Stabiliteit: Architecturen met een matige fractale diepte ($N=3$ of $4$) en een kolombreedte van 3 tot 4 presteerden het beste. Ze bieden een optimale balans tussen representatiecapaciteit en optimalisatieproblemen.
• Convergentie: De netwerken tonen stabiel trainingsgedrag en verbeteren consistent van epoch 1 naar epoch 5, wat aantoont dat ze zelfs bij korte trainingstijden betekenisvolle features kunnen leren.
• Efficiëntie:
  • Gemiddelde trainingstijd per epoch: ~5 minuten.
  • GPU-geheugengebruik: 4–5 GB.
  • Succesrate van training: ~97%.
• Vergelijking: Hoewel de absolute accuraten lager liggen dan de allerbeste, handmatig geoptimaliseerde NAS-modellen op CIFAR-10, is het doel niet om de state-of-the-art te verslaan, maar om een schaalbare, interpreteerbare en rekenkundig goedkope methode te tonen voor het verkennen van architectuurgebieden.

Betekenis en Conclusie

Het paper demonstreert dat fractaal-geïnspireerde ontwerpen een krachtig alternatief zijn voor traditionele, rekenintensieve NAS-methoden. Door gebruik te maken van recursieve zelfgelijkende patronen, kan het framework een groot aantal architecturen systematisch verkennen zonder de complexiteit en kosten van "black-box" zoekalgoritmen.

De belangrijkste conclusie is dat fractale templates een interpreteerbare en schaalbare basis vormen voor geautomatiseerd neurale architectuuronderzoek. Ze bieden een manier om de trade-off tussen netwerkdiepte en -breedte effectief te beheren. Hoewel de huidige resultaten gebaseerd zijn op korte training en één dataset, bewijst het framework de haalbaarheid van een nieuwe aanpak voor large-scale architectuurexploratie die minder rekenkracht vereist en meer inzicht biedt in de relatie tussen structuur en prestatie.