💻 computer science

Structuring Open-Ended NAS: Semi-Automated Design Knowledge Structuring with LLMs for Efficient Neural Architecture Search

Questo articolo propone un framework semi-automatizzato che sfrutta i modelli linguistici di grandi dimensioni per strutturare la conoscenza progettuale in un modello di alto livello per creare spazi di ricerca diversificati, combinato con l'algoritmo FairNAD dotato di mutazione multi-tipologia e cicli di feedback, per scoprire in modo efficiente architetture neurali ad alte prestazioni che superano i metodi dello stato dell'arte sui benchmark CIFAR e ImageNet.

Autori originali: Yuiko Sakuma, Masakazu Yoshimura, Marcel Gröpl, Zitang Sun, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

Pubblicato 2026-05-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuiko Sakuma, Masakazu Yoshimura, Marcel Gröpl, Zitang Sun, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire lo chef robot definitivo, il più efficiente. In passato, gli ingegneri dovevano progettare manualmente ogni ingranaggio, leva e circuito. Questo processo era lento, costoso e limitato da ciò che l'ingegnere già conosceva.

Per accelerare il processo, gli scienziati hanno inventato la Ricerca di Architetture Neurali (NAS). Pensala come un robot che prova a costruire altri robot per te. Tuttavia, la NAS tradizionale era come dare al robot una piccola cassetta degli attrezzi pre-confezionata. Poteva solo mescolare e abbinare gli attrezzi che gli erano stati forniti (come una chiave inglese o un cacciavite). Non poteva inventare un nuovo attrezzo o rendersi conto che un martello potrebbe essere migliore per quel lavoro specifico.

Poi sono arrivati i Modelli Linguistici su Grande Scala (LLM), i "robot super-intelligenti" che possono leggere milioni di libri e scrivere codice. I ricercatori hanno provato a utilizzare questi LLM per progettare gli chef robot. Questo era entusiasmante perché l'LLM poteva immaginare qualsiasi attrezzo, non solo quelli nella cassetta degli attrezzi. Ma c'era un problema: l'LLM era spesso confuso. Attingeva idee dalla sua vasta memoria che erano troppo specifiche, troppo strane o semplicemente sbagliate, portando a una ricerca caotica e inefficiente.

Questo articolo introduce un nuovo metodo chiamato FairNAD per risolvere questo caos. Ecco come funziona, utilizzando analogie semplici:

1. La "Biblioteca Strutturata" (Strutturazione Semi-Automatizzata della Conoscenza)

Invece di lasciare che l'LLM prenda idee a caso da un mucchio enorme e disordinato di documenti (come scavare in una discarica), gli autori hanno costruito una biblioteca strutturata.

Il Problema: Se chiedi a un LLM: "Dammi un'idea di progetto", potrebbe suggerire qualcosa come "Usa un scanner laser 3D per una foto 2D", che è inutile. Oppure potrebbe suggerire "Usa un tipo specifico di meccanismo di attenzione" il 70% delle volte, ignorando altre buone idee.
La Soluzione: Gli autori hanno creato un sistema di archiviazione ad albero (un albero degli attributi). Hanno organizzato le idee di progetto in categorie ordinate:
- Livello 1: È una piccola parte (Operazione), un modulo (Blocco) o l'intero robot (Rete)?
- Livello 2: Che cos'è? (Ad esempio, Estrazione delle caratteristiche, Normalizzazione).
- Livello 3: Dettagli specifici (Ad esempio, Convoluzione raggruppata).
L'Analogia: Immagina un bibliotecario che non ti consegna semplicemente un libro a caso. Invece, ti chiede: "Hai bisogno di un libro sui motori (Operazione) o sui telai (Blocco)?" e poi trova il motore V8 specifico (Sottocategoria) di cui hai bisogno. Questo garantisce che l'LLM riceva idee di alta qualità e pertinenti e non si blocchi su una sola tendenza (come "tutto deve essere un Transformer").

2. Lo "Chef Equo" (Framework FairNAD)

Una volta costruita la biblioteca, gli autori utilizzano un processo di ricerca speciale chiamato FairNAD. Pensalo come una gara di cucina dove l'obiettivo è trovare la ricetta migliore.

Fase 1: La Degustazione dell'"Idea Equa" (Mutazione con Campionamento Equo delle Idee)
- Il Problema: Di solito, gli algoritmi di ricerca scelgono solo le idee "migliori" che hanno visto finora, ignorando quelle strane o piccole.
- La Soluzione: FairNAD costringe l'LLM a degustare idee da ogni categoria della biblioteca in modo equo. Garantisce che un'idea "piccola ed efficiente" abbia la stessa possibilità di essere testata rispetto a un'idea "grande e potente". Questo impedisce alla ricerca di rimanere bloccata in un solco.
Fase 2: L'Equilibrio "Pareto" (Mutazione Consapevole di Pareto)
- Il Problema: A volte un robot è piccolo e veloce ma non molto intelligente. Altre volte, è un genio ma troppo pesante per muoversi. La ricerca standard spesso ignora quelli "piccoli ma intelligenti" perché non sono ancora i migliori in assoluto.
- La Soluzione: FairNAD guarda il "Fronte di Pareto". Immagina un grafico dove un asse è "Velocità" e l'altro è "Intelligenza". FairNAD cerca specificamente i robot che si trovano sul bordo di questo grafico: quelli che sono i più intelligenti possibile per la loro dimensione. Se un robot è troppo piccolo, riceve un "ingrandimento" (più livelli). Se è troppo grande, riceve un "aggiustamento" (migliori impostazioni).
Fase 3: La "Rifinitura Iterativa" (Mutazione Iterativa Guidata dall'LLM)
- Il Problema: Una volta trovata una buona ricetta, vuoi perfezionarla.
- La Soluzione: Il sistema prende i robot con le prestazioni migliori e chiede all'LLM di modificarli ripetutamente, come uno chef che assaggia e regola il condimento finché non è perfetto.
La "Rete di Sicurezza" (Ciclo di Feedback)
- Il Problema: A volte l'LLM scrive codice che si blocca, usa troppa memoria o crea un robot con una sola gamba.
- La Soluzione: Prima che un nuovo progetto venga accettato, passa attraverso un'ispezione in tre fasi:
  1. Funziona? (Controllo di esecuzione)
  2. È troppo grande? (Controllo del budget - se è troppo pesante, all'LLM viene chiesto di ridurlo).
  3. È davvero un robot? (Controllo strutturale - assicurandosi che abbia più livelli e non sia solo una copia di quello vecchio).
- Se fallisce, all'LLM viene chiesto di correggerlo immediatamente. Questo mantiene la ricerca diversificata e impedisce al sistema di sprecare tempo su progetti difettosi.

I Risultati

Gli autori hanno testato questo sistema su compiti standard di riconoscimento delle immagini (come identificare gatti contro cani nelle foto).

L'Esito: Il loro metodo ha trovato chef robot (reti neurali) significativamente migliori rispetto ai metodi precedenti.
Il Punteggio: Hanno migliorato l'accuratezza di 0,84 punti su un dataset, 2,17 punti su un altro e 2,35 punti su un terzo. Nel mondo dell'IA, questi sono salti enormi.

Riassunto

In breve, questo articolo dice: "Non lasciare che un'IA super-intelligente indovini a caso. Dagli un sistema di archiviazione strutturato per organizzare le sue conoscenze e usa un processo equo e multi-fase per testare le idee. In questo modo, non ottieni qualsiasi progetto; ottieni il miglior progetto possibile che si adatta ai tuoi limiti di dimensione e velocità".

L'articolo afferma che questo approccio rende la ricerca di nuove architetture IA più veloce, più diversificata e più riuscita rispetto al tentativo di farlo con un mucchio disordinato di idee non organizzate.

Riepilogo Tecnico: Strutturazione della NAS Open-Ended con Conoscenza di Progettazione Semi-Automatizzata

Enunciato del Problema

I metodi attuali di Neural Architecture Search (NAS) affrontano un compromesso fondamentale tra la flessibilità dello spazio di ricerca e l'efficienza dell'esplorazione. Gli approcci NAS tradizionali si basano su spazi di ricerca chiusi e predefiniti (ad esempio, combinazioni di operatori fissi come convoluzioni 3x3), che limitano la scoperta di nuove architetture. Al contrario, i recenti metodi NAS assistiti da Large Language Model (LLM) abilitano una ricerca "open-ended" generando direttamente il codice sorgente del modello, consentendo la creazione di nuovi blocchi e topologie. Tuttavia, questi approcci open-ended soffrono spesso di un'esplorazione inefficiente. Fanno frequentemente affidamento su pool di conoscenza non strutturati derivati da prior degli LLM o dall'estrazione grezza di articoli scientifici, portando a:

Idee di bassa qualità e distorte: Lo spazio di ricerca può essere contaminato da concetti di progettazione eccessivamente specifici per il dominio, per il compito o irrilevanti (ad esempio, progettazione di funzioni di perdita o elaborazione di nuvole di punti 3D) che non si applicano ai backbones visivi.
Campionamento inefficiente: Senza un'organizzazione strutturata, il campionamento delle idee di progettazione manca di diversità, spesso trascurando modelli compatti ma ad alte prestazioni o fallendo nell'esplorare regioni promettenti del fronte di Pareto.
Violazione dei vincoli hardware: Strategie di mutazione naive generano spesso modelli che superano i budget hardware (FLOPs, numero di parametri), portando al loro immediato scarto e a una riduzione della diversità dei candidati.

Metodologia

Gli autori propongono un approccio a due facce per affrontare queste inefficienze: Strutturazione Semi-Automatizzata degli Attributi di Progettazione del Modello e il framework FairNAD.

1. Strutturazione Semi-Automatizzata degli Attributi di Progettazione del Modello

Per selezionare conoscenza di progettazione di alta qualità e diversificata, gli autori introducono un Albero degli Attributi di Progettazione del Modello ( $D_{attr}$ ) gerarchico.

Struttura: L'albero è organizzato in tre livelli: Granularità (Operazione, Blocco/Connessione, Rete), Categoria Principale (ad esempio, Estrazione di Caratteristiche, Normalizzazione) e Sottocategoria (ad esempio, Convoluzione Gruppa, Normalizzazione a Strato).
Costruzione: I primi due livelli sono predefiniti da esperti per garantire una copertura ampia. I sottoparametri sono generati semi-automaticamente sollecitando un LLM con codici di riferimento di modelli all'avanguardia (SOTA) (ad esempio, ResNet, ViT, EfficientNet) e un modello di attributi predefinito.
Estrazione della Conoscenza: Questo albero strutturato viene utilizzato per filtrare ed estrarre idee di progettazione dagli articoli accademici. Gli articoli vengono prima selezionati per garantire che siano allineati con l'albero degli attributi. Gli articoli validi vengono poi elaborati per estrarre idee granulari, che vengono etichettate con i loro attributi corrispondenti in $D_{attr}$ . Questo processo filtra conoscenze irrilevanti o eccessivamente specifiche, risultando in un Database di Conoscenza di Progettazione del Modello ( $D_{kn}$ ) curato.

2. Il Framework FairNAD

FairNAD è un framework di ricerca evolutiva che utilizza il database di conoscenza strutturata per eseguire un Design di Architetture Neurali (NAD) open-ended efficiente. Impiega una strategia di mutazione multi-tipo e un ciclo di feedback:

Mutazione con Campionamento Equo delle Idee: Per garantire un'esplorazione non distorta, le idee sono campionate uniformemente da $D_{kn}$ in base ai loro tag di attributo (granularità, categoria principale). Questo impedisce che la ricerca sia dominata da tendenze popolari ma potenzialmente subottimali (ad esempio, meccanismi di attenzione eccessivi). Il tag di granularità determina anche l'obiettivo della mutazione (ad esempio, modificare un'operazione rispetto alla struttura della rete).
Mutazione Consapevole del Pareto: Per affrontare il problema del trascurare modelli compatti, questa fase campiona i modelli genitori dal fronte di Pareto (bilanciando accuratezza e vincoli hardware). Impiega una strategia duale:
- Upscaling: I modelli al di sotto della soglia del budget hardware vengono scalati verso l'alto (aumentando larghezza/profondità).
- Regolazione degli Iperparametri: I modelli vicini o che superano la soglia subiscono un'ottimizzazione degli iperparametri (ad esempio, dimensione del kernel, passo).
Mutazione Iterativa Guidata da LLM: Per accelerare la convergenza, il framework esegue un affinamento iterativo sui modelli ad alte prestazioni. L'LLM analizza la storia delle mutazioni di successo e genera nuove idee all'interno di categorie di attributi simili per ottimizzare ulteriormente i candidati promettenti.
Ciclo di Feedback: Un componente critico per mantenere diversità e validità. Il codice generato subisce tre fasi di verifica:
1. Verifica di Esecuzione: Assicura che il codice sia compilabile ed eseguibile; in caso di errori, l'LLM viene sollecitato a eseguire il debug.
2. Verifica del Budget: Controlla FLOPs e dimensione dei parametri. Se i vincoli vengono violati, il modello viene automaticamente ridimensionato verso il basso (ad esempio, riducendo profondità o larghezza) invece di essere scartato.
3. Verifica Strutturale: Assicura che il modello sia multistrato e strutturalmente distinto dal genitore.

Contributi Chiave

Strutturazione della Conoscenza Semi-Automatizzata: L'articolo introduce un metodo per organizzare la conoscenza di progettazione non strutturata dagli articoli in un albero di attributi gerarchico. Questo permette di filtrare idee rumorose e specifiche per il dominio e di creare una base di conoscenza diversificata e di alta qualità per la NAS.
Framework FairNAD: Un nuovo framework di ricerca che integra mutazioni multi-tipo (Campionamento Equo delle Idee, Consapevole del Pareto e Iterativa Guidata da LLM) con un ciclo di feedback. Questo approccio bilancia esplorazione (diversità) e sfruttamento (prestazioni) rispettando i vincoli hardware.
Prestazioni all'Avanguardia: Il metodo dimostra miglioramenti significativi rispetto ai metodi NAS esistenti creati a mano e basati su LLM su benchmark standard.

Risultati Sperimentali

Gli autori hanno valutato FairNAD sul benchmark NAS-Bench-201 utilizzando i dataset CIFAR-10, CIFAR-100 e ImageNet16-120. La ricerca è stata vincolata a specifici conteggi di parametri (1,5M) e limiti FLOPs.

Miglioramenti delle Prestazioni: Rispetto all'attuale metodo NAS open-ended all'avanguardia (NADER), FairNAD ha ottenuto miglioramenti nell'accuratezza di test di:
- 0,84% su CIFAR-10
- 2,17% su CIFAR-100
- 2,35% su ImageNet16-120
Studi di Ablazione:
- Conoscenza Strutturata: L'uso di ispirazione strutturata (rispetto a ispirazione grezza da articoli o prior degli LLM) ha migliorato l'accuratezza di test di 0,37 punti su CIFAR-100.
- Campionamento Equo: L'implementazione del campionamento equo delle idee ha migliorato l'accuratezza di 1,81 punti, evidenziando l'importanza dell'esplorazione diversificata degli attributi.
- Mutazione Multi-Tipo: La combinazione di mutazioni consapevoli del Pareto e iterative guidate da LLM ha prodotto i migliori risultati. Notevolmente, la mutazione guidata solo da LLM è stata dannosa, confermando la necessità della diversità fornita dal campionamento Pareto.
- Ciclo di Feedback: La rimozione del verificatore del budget ha degradato significativamente le prestazioni e i tassi di superamento, dimostrando il suo ruolo nel preservare candidati diversificati che altrimenti verrebbero scartati.

Significato e Affermazioni

L'articolo afferma che FairNAD stabilisce una fondazione cruciale per la ricerca futura nella NAS open-ended dimostrando che strutturare la conoscenza di progettazione è essenziale per un'esplorazione efficiente. Gli autori sostengono che fare affidamento semplicemente sulla capacità "open-ended" degli LLM è insufficiente; il processo di ricerca deve essere guidato da conoscenza curata e gerarchica e bilanciato da strategie di mutazione multi-stadio.

Le architetture scoperte mostrano caratteristiche uniche non tipicamente trovate nella NAS standard, come:

Meccanismi di attenzione personalizzati (ad esempio, DPCA che utilizza sia pooling medio che massimo).
Meccanismi di condivisione dinamica delle caratteristiche (ad esempio, FeaturePool).
Dimensioni dei canali e profondità dei livelli non standard (ad esempio, l'uso di 51, 102, 204 canali invece di potenze di due).
Approcci ibridi che combinano CNN con codifiche posizionali o funzioni di attivazione specializzate (ad esempio, BandLimitedReLU).

Gli autori collocano questo lavoro come un passo verso la riduzione della dipendenza dalla progettazione manuale degli esperti e verso la scoperta di architetture neurali più potenti, efficienti e innovative sfruttando la conoscenza esterna in modo strutturato e sistematico. Riconoscono l'alto costo computazionale della ricerca, ma lo inquadrano come un investimento necessario per raggiungere livelli di prestazioni irraggiungibili con i metodi convenzionali.