Technische Samenvatting: Delta-gebaseerde Neuro-architectuur Zoek via Codeverschillen

Probleemstelling

Neuro-architectuur Zoek (NAS) heeft tot doel het ontwerpen van diepe neurale netwerken te automatiseren. Hoewel recente benaderingen die Large Language Models (LLM's) gebruiken om uitvoerbare PyTorch-code te genereren veelbelovend zijn, lijden ze onder een kritieke beperking: het paradigma van volledige generatie. Bestaande methoden vereisen dat de LLM bij elke iteratie volledige modelimplementaties vanaf nul synthetiseert. Deze aanpak is rekenkundig duur, produceert uitgebreide output (typisch 200+ regels code) en faalt erin om de structurele kennis te benutten die is ingebed in bestaande, werkende architecturen. Bovendien is eerder LLM-gebaseerd NAS-werk grotendeels beperkt gebleven tot evaluaties op één dataset (bijv. CIFAR-10) of tot beperkte multi-dataset scopes, wat de beoordeling van generalisatievermogen beperkt.

Methodologie: Delta-code Generatie

De auteurs stellen Delta-code Generatie voor, een paradigma waarbij fijn-afgestemde LLM's compacte unified diffs (delta's) genereren om bestaande basisarchitecturen te verfijnen in plaats van volledige modellen te synthetiseren. Deze aanput put inspiratie uit software-engineeringpraktijken waarbij code wordt gewijzigd via patches in plaats van herschreven.

Kernpijplijn

Het raamwerk werkt via een iteratief protocol van 22 cycli:

1. Selectie van Basislijn: Het systeem steekt basislijn-architecturen uit het LEMUR-dataset, een gecureerde collectie neurale netwerken met prestatieannotaties over meerdere datasets.
2. Delta-generatie: De LLM ontvangt de broncode van de basislijn en een datasetbeschrijver. In plaats van een volledig bestand uit te geven, genereert het een gestructureerde XML-output die bevat:
   • <delta>: Een unified diff in standaard patchformaat (contextregels, toevoegingen, verwijderingen).
   • <hp> en <tr>: Gestructureerde tags voor hyperparameters en datatransformaties (volgend op NNGPT-conventies), hoewel de evaluatie de oorspronkelijke hyperparameters van de basislijn gebruikt om architecturale wijzigingen te isoleren.
3. Toepassing & Validatie: De gegenereerde diff wordt toegepast op de basislijn-code met standaard patchhulpmiddelen. Succesvolle patches ondergaan syntaxisvalidatie, instantiatiecontroles en training van één epoch.
4. Filtering: Om structurele diversiteit en kwaliteit te behouden, moeten toegelaten architecturen twee filters doorstaan:
   • Nauwkeurigheidsfilter: Het model moet na één epoch minstens 40% top-1 validatienauwkeurigheid bereiken.
   • Nieuwheidsfilter: Met behulp van MinHash-Jaccard-ähnelijkheid moet de gegenereerde code ten minste 90% structurele dissimilariteit ($\tau_{nov} = 0.90$) vertonen ten opzichte van het bestaande corpus om mode-collapse te voorkomen.
5. Fijnafstelling: De LLM wordt iteratief fijn-afgestemd via LoRA (Low-Rank Adaptation) op het statische, gecureerde LEMUR-corpus. Cruciaal blijft de trainingsdata voor LoRA vast; de uitbreidende pool van gegenereerde architecturen dient uitsluitend als een diverse set basislijnen voor toekomstige delta-generatie, niet als trainingsdata voor de LLM zelf.

Experimentele Opstelling

De studie evalueert drie LLM's van de 7B-klasse over zes diverse beeldclassificatiedatasets (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA):

• DeepSeek-Coder-7B-Instruct-v1.5 (Code-gespecialiseerd)
• Qwen2.5-Coder-7B-Instruct (Code-gespecialiseerd)
• Mistral-7B-Instruct-v0.3 (Algemeen-instruct, niet-code-gespecialiseerd)

Alle modellen ondergaan 22 fijnafstellingscycli met 50 kandidaten per cyclus (1.100 totale kandidaten per LLM). Prestaties worden gemeten met validatienauwkeurigheid van de eerste epoch als proxy, consistent met eerdere LLM-gebaseerde NAS-literatuur.

Belangrijkste Resultaten

1. Efficiëntie en Outputlengte

Het delta-paradigma bereikt een enorme reductie in tokenverbruik. Bij alle drie de LLM's zijn de outputlengtes uniform compact:

• DeepSeek: 30,4 regels (85% reductie vs. volledige generatie)
• Qwen: 31,4 regels (84% reductie)
• Mistral: 49,5 regels (75% reductie)
  Dit vertegenwoordigt een 75–85% reductie vergeleken met de ~200+ regels die typisch zijn voor volledige generatie-basislijnen, wat neerkomt op een aggregatiebesparing van ongeveer 5,4x in outputtokens.

2. Generatiebetrouwbaarheid en Nauwkeurigheid

Onder een gedeeld clusterprotocol met een gebalanceerde pool van zes datasets-basislijnen presteren alle drie de LLM's significant beter dan de volledige generatie-basislijn (Khalid et al. [24]) en de iteratieve bevroren-LLM-aanpak (Gu et al. [13]):

• Rate van Geldige Generatie: DeepSeek (75,3%), Qwen (72,1%), Mistral (66,6%) vs. Volledige Generatie (50,6%).
• Gemiddelde Nauwkeurigheid Eerste Epoch: DeepSeek (65,8%), Qwen (64,6%), Mistral (66,1%) vs. Volledige Generatie (42,3%).
• Beste Nauwkeurigheid Eerste Epoch (CIFAR-10): Mistral (85,5%), DeepSeek (85,2%), Qwen (80,6%) vs. Volledige Generatie (63,98%) en Gu et al. (71,5%).

3. Multi-dataset Generalisatie

In tegenstelling tot eerder werk dat beperkt was tot CIFAR-10 of drie datasets, generaliseert de delta-aanpak succesvol over alle zes datasets, inclusief uitdagende fijnkorrelige classificatie (CIFAR-100) en gezichtsattributen (CelebA). Alle drie de LLM's behaalden beste nauwkeurigheden van de eerste epoch van 99,5% op MNIST en ~95% op SVHN.

4. Modelonafhankelijkheid

De prestatiewinsten worden gedreven door het paradigma (delta-generatie) in plaats van de specifieke keuze van de LLM. Ondanks verschillen in pre-training (code-gespecialiseerd vs. algemeen-instruct) clusteren de drie modellen strak op alle kopmetrieken, met overlappende betrouwbaarheidsintervallen. Zelfs de algemene Mistral-7B, die iets langere diffs genereert, bereikt de hoogste CIFAR-10-nauwkeurigheid (85,5%).

Betekenis en Claims

Het artikel positioneert Delta-gebaseerde Neuro-architectuur Zoek als een token-efficiënt, multi-domein en LLM-onafhankelijk alternatief voor volledige model-synthese. De auteurs doen drie primaire claims met betrekking tot de betekenis van hun werk:

1. Paradigma boven Model: De verschuiving van volledige-bestand-generatie naar diff-gebaseerde generatie is de primaire drijver van prestatiewinsten. Dit blijkt uit het feit dat het vervangen van het outputformaat voor dezelfde basis-LLM (DeepSeek-Coder-7B) en hetzelfde iteratieve protocol de rate van geldige generatie buiten het betrouwbaarheidsinterval van de volledige generatie-basislijn brengt.
2. Cross-dataset Dekking als Ontwerpdimensie: Door te opereren op diffs, behoudt de pijplijn de werkende dataset-specifieke steigers van basislijnen, wat generalisatie naar zes diverse datasets mogelijk maakt zonder de LLM per domein opnieuw te trainen. Dit staat in contrast met eerder werk dat bijna uitsluitend op CIFAR-10 werd geëvalueerd.
3. Asymptotische Efficiëntie: De 75–85% outputlengtereductie compenseert zich over iteraties, waardoor de aanpak aanzienlijk haalbaarder wordt voor lokale implementatie op consument-GPU's waar LLM-inferentie de dominante kostenpost is.

De auteurs merken op dat alle nauwkeurigheidsclaims vertrouwen op de validatieproxy van de eerste epoch, die zij valideren via een volledige trainingsstudie van 50 epochs op de top-20 architecturen. Deze studie bevestigt dat de 1-epoch proxy prestatierangschikkingen betrouwbaar behoudt (Spearman $\rho = 0.926$ voor Mistral), waardoor de methode zich aan het bovenste eind bevindt van NAS-proxy-correlaties die in de literatuur worden gerapporteerd.

Het werk concludeert dat hoewel het diff-formaat een unieke "context mismatch"-faalmodus introduceert, de algehele voordelen in efficiëntie, structurele integriteit en multi-domein generalisatie delta-gebaseerde generatie vestigen als een robuuste vooruitgang in LLM-gedreven NAS.