Riepilogo Tecnico: Ricerca di Architetture Neurali Basata su Delta tramite Differenze di Codice

Enunciato del Problema

La Ricerca di Architetture Neurali (NAS) mira ad automatizzare la progettazione di reti neurali profonde. Sebbene gli approcci recenti che utilizzano Modelli Linguistici di Grande Formato (LLM) per generare codice PyTorch eseguibile abbiano mostrato promesse, soffrono di una limitazione critica: il paradigma di generazione completa. I metodi esistenti richiedono all'LLM di sintetizzare implementazioni complete di modelli da zero ad ogni iterazione. Questo approccio è computazionalmente costoso, produce output verbosi (tipicamente oltre 200 righe di codice) e non sfrutta la conoscenza strutturale incorporata nelle architetture esistenti e funzionanti. Inoltre, i precedenti lavori sulla NAS basata su LLM sono stati in gran parte vincolati a valutazioni su singoli dataset (ad esempio CIFAR-10) o a scope multi-dataset limitati, restringendo la valutazione delle capacità di generalizzazione.

Metodologia: Generazione di Codice Delta

Gli autori propongono la Generazione di Codice Delta, un paradigma in cui LLM fine-tuned generano diff unificati compatti (delta) per rifinire architetture di base esistenti piuttosto che sintetizzare modelli interi. Questo approccio trae ispirazione dalle pratiche di ingegneria del software in cui il codice viene modificato tramite patch piuttosto che riscritto.

Pipeline Principale

Il framework opera attraverso un protocollo iterativo di 22 cicli:

1. Selezione della Base: Il sistema campiona architetture di base dal dataset LEMUR, una raccolta curata di reti neurali con annotazioni sulle prestazioni su più dataset.
2. Generazione del Delta: L'LLM riceve il codice sorgente della base e un descrittore del dataset. Invece di produrre un file completo, genera un output XML strutturato contenente:
   • <delta>: Un diff unificato nel formato patch standard (righe di contesto, aggiunte, eliminazioni).
   • <hp> e <tr>: Tag strutturati per iperparametri e trasformazioni dei dati (seguendo le convenzioni NNGPT), sebbene la valutazione utilizzi gli iperparametri originali della base per isolare i cambiamenti architetturali.
3. Applicazione e Validazione: Il diff generato viene applicato al codice di base utilizzando utility patch standard. Le patch di successo subiscono validazione sintattica, controlli di istanziazione e training di un singolo epoca.
4. Filtraggio: Per mantenere diversità strutturale e qualità, le architetture ammesse devono superare due filtri:
   • Filtro di Accuratezza: Il modello deve raggiungere almeno 40% di accuratezza di validazione top-1 dopo un'epoca.
   • Filtro di Novità: Utilizzando la somiglianza MinHash-Jaccard, il codice generato deve esibire almeno 90% di dissimilarità strutturale ($\tau_{nov} = 0.90$) rispetto al corpus esistente per prevenire il collasso modale.
5. Fine-Tuning: L'LLM viene iterativamente fine-tuned tramite LoRA (Adattamento a Basso Rango) sul corpus LEMUR statico e curato. Crucialmente, i dati di training per LoRA rimangono fissi; il pool in espansione di architetture generate serve solo come un insieme diversificato di basi per la futura generazione di delta, non come dati di training per l'LLM stesso.

Configurazione Sperimentale

Lo studio valuta tre LLM di classe 7B su sei dataset diversificati di classificazione di immagini (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA):

• DeepSeek-Coder-7B-Instruct-v1.5 (Specializzato in codice)
• Qwen2.5-Coder-7B-Instruct (Specializzato in codice)
• Mistral-7B-Instruct-v0.3 (Istruzione generale, non specializzato in codice)

Tutti i modelli subiscono 22 cicli di fine-tuning con 50 candidati per ciclo (1.100 candidati totali per LLM). Le prestazioni sono misurate utilizzando l'accuratezza di validazione della prima epoca come proxy, coerentemente con la letteratura precedente sulla NAS basata su LLM.

Risultati Chiave

1. Efficienza e Lunghezza dell'Output

Il paradigma delta ottiene una massiccia riduzione nel consumo di token. Su tutti e tre gli LLM, le lunghezze degli output sono uniformemente compatte:

• DeepSeek: 30,4 righe (riduzione dell'85% rispetto alla generazione completa)
• Qwen: 31,4 righe (riduzione dell'84%)
• Mistral: 49,5 righe (riduzione del 75%)
  Ciò rappresenta una riduzione del 75–85% rispetto alle ~200+ righe tipiche delle basi di generazione completa, traducendosi in un risparmio aggregato di circa 5,4x nei token di output.

2. Affidabilità della Generazione e Accuratezza

Sotto un protocollo di cluster condiviso con un pool di base bilanciato su sei dataset, tutti e tre gli LLM superano significativamente la baseline di generazione completa (Khalid et al. [24]) e l'approccio iterativo con LLM congelato (Gu et al. [13]):

• Tasso di Generazione Valida: DeepSeek (75,3%), Qwen (72,1%), Mistral (66,6%) vs. Generazione Completa (50,6%).
• Media Accuratezza Prima Epoca: DeepSeek (65,8%), Qwen (64,6%), Mistral (66,1%) vs. Generazione Completa (42,3%).
• Migliore Accuratezza Prima Epoca (CIFAR-10): Mistral (85,5%), DeepSeek (85,2%), Qwen (80,6%) vs. Generazione Completa (63,98%) e Gu et al. (71,5%).

3. Generalizzazione Multi-Dataset

A differenza dei lavori precedenti limitati a CIFAR-10 o tre dataset, l'approccio delta generalizza con successo su tutti e sei i dataset, inclusa la classificazione fine-grained impegnativa (CIFAR-100) e gli attributi facciali (CelebA). Tutti e tre gli LLM hanno raggiunto le migliori accuratezze della prima epoca del 99,5% su MNIST e di ~95% su SVHN.

4. Agnosticismo del Modello

I guadagni di prestazioni sono guidati dal paradigma (generazione delta) piuttosto che dalla scelta specifica dell'LLM. Nonostante le differenze nel pre-training (specializzato in codice vs. istruzione generale), i tre modelli si raggruppano strettamente su tutte le metriche principali, con intervalli di confidenza sovrapposti. Anche il Mistral-7B generico, che genera diff leggermente più lunghi, raggiunge la massima accuratezza su CIFAR-10 (85,5%).

Significato e Affermazioni

Il paper posiziona la Ricerca di Architetture Neurali Basata su Delta come un'alternativa efficiente in termini di token, multi-dominio e agnostica rispetto all'LLM alla sintesi completa del modello. Gli autori avanzano tre affermazioni principali riguardo al significato del loro lavoro:

1. Paradigma sopra Modello: Il passaggio dalla generazione di file completi alla generazione basata su diff è il principale motore dei guadagni di prestazioni. Ciò è dimostrato dal fatto che sostituire il formato di output per lo stesso LLM di base (DeepSeek-Coder-7B) e lo stesso protocollo iterativo sposta il tasso di generazione valida fuori dall'intervallo di confidenza della baseline di generazione completa.
2. Copertura Cross-Dataset come Dimensione di Progettazione: Operando su diff, la pipeline preserva l'impalcatura specifica del dataset funzionante delle basi, consentendo la generalizzazione su sei dataset diversificati senza ri-addestrare l'LLM per dominio. Ciò contrasta con i lavori precedenti che hanno valutato quasi esclusivamente su CIFAR-10.
3. Efficienza Asintotica: La riduzione della lunghezza dell'output del 75–85% si accumula attraverso le iterazioni, rendendo l'approccio significativamente più fattibile per la distribuzione locale su GPU consumer dove l'inferenza LLM è il costo dominante.

Gli autori notano che tutte le affermazioni di accuratezza si basano sul proxy di validazione della prima epoca, che validano tramite uno studio di training completo di 50 epoche sulle prime 20 architetture. Questo studio conferma che il proxy di 1 epoca preserva affidabilmente le classifiche delle prestazioni (Spearman $\rho = 0,926$ per Mistral), collocando il metodo all'estremità superiore delle correlazioni proxy NAS riportate in letteratura.

Il lavoro conclude che, sebbene il formato diff introduca una modalità di fallimento unica di "mismatch del contesto", i benefici complessivi in termini di efficienza, integrità strutturale e generalizzazione multi-dominio stabiliscono la generazione basata su delta come un avanzamento robusto nella NAS guidata da LLM.