Technische Samenvatting: Convergentietheorie voor Iteratieve LLM-gebaseerde Neuronale Architectuurzoektocht

1. Probleemstelling

Neuronale Architectuurzoektocht (NAS) is recentelijk verschoven van vooraf gedefinieerde zoekruimten naar het gebruik van Large Language Models (LLM's) als open-ended generatoren van uitvoerbare torch.nn.Module-programma's. Hoewel empirische studies (bijvoorbeeld Khalid et al., Adhikari et al.) aantonen dat het iteratief fijnafstemmen van een LLM op zijn eigen succesvolle generaties zowel de betrouwbaarheid van de generatie als de kwaliteit van de architectuur verbetert, bestaat er geen formele convergentietheorie voor deze klasse van algoritmen.

Belangrijke theoretische hiaten die worden aangepakt, zijn:

• Leidt iteratief LLM-fijnafstemmen bewezen tot een verbetering van de architectuurkwaliteit?
• Onder welke voorwaarden convergeert het proces?
• Waarom bereikt "delta-generatie" (het genereren van unified diffs) een hoger percentage geldige generaties dan volledige code-generatie?
• Wat is de theoretische rol van nieuwheidsfiltering bij het voorkomen van degeneratieve oplossingen (mode collapse)?
• Hoe kan de betrouwbaarheid van rangschikkingen op basis van proxies (met korte trainingsepoches) worden gekwantificeerd?

2. Methodologie en Wiskundig Kader

De auteurs modelleren iteratieve LLM-NAS als een parametrische Cross-Entropy (CE)-methode over uitvoerbare programma's. Het kader legt een formele link tussen het LLM-fijnafstemproces en het goed bestudeerde CE-optimalisatiealgoritme.

Kerndefinities

• Architectuurruimte ($\mathcal{A}$): De verzameling syntactisch geldige, uitvoerbare Python-programma's die een torch.nn.Module definiëren.
• Kwaliteitsfunctie ($q$): Koppelt een architectuur aan zijn validatie-accuraatte tijdens de eerste epoch op een vast dataset.
• Elite-set ($E_\tau$): Architecturen waarbij $q(a) \geq \tau$.
• Iteratief Proces:
  1. Genereren: Steek $N$ kandidaten uit de huidige LLM-verdeling $p_{\theta_t}$.
  2. Evalueren en Filteren: Selecteer elite-architecturen die een MinHash–Jaccard-nieuwheidsfilter passeren.
  3. Bijwerken: Fijnafstem de LLM-parameters $\theta$ met behulp van de vereniging van de elite-set en het statische corpus (minimaliseren van cross-entropy-verlies).

Theoretische Aannames

De bewijzen rusten op specifieke aannames, met name:

• Regulariteit: Gebonden kwaliteit, positieve initiële massa van elite-architecturen, en consistente schatting naarmate de steekproefgrootte groeit.
• Kwaliteits-monotone Projectie: De CE-projectie op de parametrische familie (LLM) behoudt of verbetert de gemiddelde kwaliteit van de verdeling.
• Token-Foutmodel: Een Markov-ketenmodel van de eerste orde voor tokenfouten (ter vervanging van de onafhankelijke-token-aanname) om delta- versus volledige-code-generatie te analyseren.
• Proxy-betrouwbaarheid: Gaat uit van een bivariate Normale verdeling tussen proxy (korte training) en volledige trainingsaccuraatte.

3. Belangrijkste Bijdragen en Theoretische Resultaten

Het artikel bewijst zes hoofdresultaten:

A. Equivalentie met Parametrische CE (Stelling 1)

Iteratief LLM-fijnafstemmen op elite-architecturen is wiskundig equivalent aan de Cross-Entropy-update beperkt tot de parametrische familie van de LLM. De stap van fijnafstemmen minimaliseert de Kullback–Leibler (KL)-divergentie tussen de empirische verdeling van elite-steekproeven en de generatieverdeling van de LLM.

B. Monotone Kwaliteitsverbetering (Stelling 2)

Onder de gestelde aannames is de verwachte architectuurkwaliteit ($Q_t$) monotoon niet-dalend over cycli, tot een term voor schattingsfout bij eindige steekproeven $\epsilon_t = O(N^{-1/2})$.

C. Convergentie naar een Vast Punt (Stelling 3 & Corollarium 4)

• De kans op het genereren van een elite-architectuur ($C_t$) convergeert met een geometrische snelheid naar een vast punt $C^*$: $C_t \geq 1 - (1 - \rho_0)^t$.
• LoRA-beperking: Als de LLM wordt aangepast via LoRA (Low-Rank Adaptation), is de expressiviteit van de parametrische familie beperkt. Bijgevolg convergeert het proces naar een plateau $C^* \leq 1$ in plaats van 1, wat empirische waarnemingen van prestatiedekkels verklaart.

D. Voordeel van Delta-generatie (Stelling 5 & Corollarium 6)

Met behulp van een Markov-tokenfoutmodel van de eerste orde bewijzen de auteurs dat delta-generatie (het genereren van diffs) een strikt hoger percentage geldige generaties bereikt dan volledige code-generatie.

• De verhouding van geldige rates hangt af van de reductiefactor voor uitvoerlengte $\alpha$ (waarbij $L_\delta = \alpha L_{full}$).
• De theorie voorspelt een verhouding $> 1$, met een gekalibreerde voorspelling van $\approx 2,23$ onder specifieke parameters, hoewel empirische resultaten een verhouding van $1,41$ toonden (wat de richting bevestigt maar de grootte onderschat vanwege niet-gemodelleerde langetermijn-correlaties).

E. Preventie van Mode Collapse (Stelling 7)

De toepassing van een MinHash–Jaccard-nieuwheidsfilter zorgt ervoor dat het corpus "gescheiden" blijft. Theoretisch voorkomt dit dat de LLM instort tot een enkele architectuur (mode collapse), waardoor een niet-nul entropie in de generatieverdeling wordt behouden.

F. Gesloten-vorm Proxy-betrouwbaarheid (Stelling 8)

Het artikel leidt een gesloten-vorm relatie af tussen het Signaal-ruisverhouding (SNR) van de proxy-taak en de Spearman-rangcorrelatie ($\rho_S$) tussen rangschikkingen op basis van proxy en volledige training:
$$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$$
waarbij $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$.

• Diagnose: Een noodzakelijke voorwaarde voor betrouwbare rangschikkingen op basis van proxies is $\sigma^2_{arch} \gg \sigma^2_{noise}$ (hoge architecturale variantie ten opzichte van ruis).
• Dekkeleffect: De theorie verklaart waarom de proxy-betrouwbaarheid plateaut wanneer het SNR laag is (bijvoorbeeld in datasets met lage architecturale diversiteit).

4. Empirische Validatie

De auteurs hebben deze theorieën getest tegen een experiment van 22 cycli met drie LLM's (Mistral, Qwen, DeepSeek) en 3.300 gegenereerde architecturen.

• Consistente Kwantitatieve Voorspellingen:
  • Monotone Kwaliteit: De gladgestreken trend van de gemiddelde kwaliteit was niet-dalend voor alle modellen.
  • Nieuwheid: Nieuwe architecturen werden in elke cyclus toegelaten, wat mode collapse voorkwam.
• Consistentie van Effectrichting:
  • Elite-concentratie: De concentratie $C_t$ plateautte op 73–76%, consistent met het LoRA-expressiviteitsplafond (convergerend naar $C^* < 1$).
  • Proxy-betrouwbaarheid: De ordening van Spearman-correlaties (Mistral > Qwen > DeepSeek) kwam perfect overeen met de SNR-rangschikking. DeepSeek toonde een niet-significante correlatie, consistent met voorspellingen voor laag SNR.
• Afwijkingen:
  • Delta-rate-verhouding: De waargenomen verhouding (1,41) was lager dan de gekalibreerde theoretische voorspelling (2,23), toegeschreven aan formaat-ongeldige diffs en correlaties die verder gaan dan het Markov-model van de eerste orde.
  • Qwen-correlatie: De waargenomen Spearman-correlatie (0,635) overschreed de bivariate Normale voorspelling (0,10) door afsnijding van de accuraatte-plafond, een beperking die door de auteurs wordt opgemerkt.

5. Betekenis en Claims

Het artikel claimt de eerste formele convergentiegaranties te bieden voor iteratieve LLM-gebaseerde NAS. De betekenis ligt in:

1. Theoretische Unificatie: Het identificeren van LLM-NAS als een parametrische CE-methode, waardoor de toepassing van gevestigde convergentietheorie voor optimalisatie mogelijk wordt.
2. Verklaren van Empirische Verschijnselen: Het bieden van wiskundige rechtvaardiging voor waarom delta-generatie beter werkt en waarom prestatieplateaus optreden bij LoRA.
3. Diagnostisch Hulpmiddel: Het aanbieden van een gesloten-vorm formule om de betrouwbaarheid van rangschikkingen op basis van proxies te diagnosticeren op basis van SNR, wat eerder waargenomen maar onverklaarde "dekkeleffecten" verklaart.

De auteurs blijven bescheiden, met de opmerking dat hun empirische validatie rust op één bestaande dataset en dat de theoretische grenzen voor met LoRA aangepaste modellen (convergentie naar $C^* < 1$) conditioneel zijn op aannames over expressiviteit die analytisch moeilijk te verifiëren zijn. Toekomstig werk wordt geïdentificeerd als het uitbreiden van convergentiesnelheden naar laag-rang beperkingen en het behandelen van afgeknipte accuratete-ondersteuningen.