Riepilogo Tecnico: Dalla Regressione all'Inferenza: Meta-Apprendimento di Predittori per la Ricerca di Architetture Neurali

Enunciato del Problema

La Ricerca di Architetture Neurali (NAS) mira ad automatizzare la progettazione di architetture di deep learning, un compito reso necessario dall'alta dipendenza delle prestazioni del modello dalle scelte architetturali. Tuttavia, l'immensità degli spazi di ricerca moderni rende la valutazione esaustiva computazionalmente proibitiva. La NAS basata su predizione è emersa come soluzione, utilizzando predittori appresi per stimare le prestazioni delle architetture candidate senza un addestramento completo.

Nonostante la loro utilità, i predittori esistenti si basano tipicamente sulla regressione supervisionata per apprendere una mappatura fissa dalle rappresentazioni delle architetture alle metriche di prestazione. Questo approccio presenta limitazioni critiche nel contesto della NAS:

1. Scarsità di Dati: La NAS opera in un regime in cui può essere osservata solo una minuscola frazione dello spazio di ricerca.
2. Overfitting e Generalizzazione: Le mappature fisse addestrate su campioni limitati spesso falliscono nel generalizzare ad architetture non viste, portando a scarse prestazioni fuori distribuzione.
3. Disallineamento con il Deployment: La regressione convenzionale non riflette esplicitamente lo scenario di deployment, dove le previsioni devono essere condizionate a osservazioni parziali dello spazio di ricerca piuttosto che a una funzione globale fissa.

Metodologia

Gli autori propongono una riformulazione fondamentale della previsione delle prestazioni nella NAS, passando dalla regressione deterministica all'inferenza di funzioni condizionate all'interno di un framework di meta-apprendimento.

Framework Principale: Processo Neurale Convoluzionale (ConvNP)

Invece di apprendere una funzione statica $y = f(x)$, il predittore modella la distribuzione condizionale degli output target dati coppie architettura-prestazione osservate (l'insieme di contesto). Gli autori impiegano un Processo Neurale Convoluzionale (ConvNP), che consiste in:

• Encoder: Aggrega informazioni dall'insieme di contesto in rappresentazioni latenti.
• Decoder: Predice gli output target condizionati a queste rappresentazioni latenti.
• Meccanismo: Il modello apprende una distribuzione sulle funzioni, consentendogli di inferire output non visti da osservazioni parziali tenendo conto dell'incertezza. Questo sfrutta l'equivarianza alla traslazione delle strutture convoluzionali per estrapolare oltre il supporto degli input osservati.

Costruzione del Compito Sintetico

Per addestrare il ConvNP sotto un paradigma di meta-apprendimento, gli autori generano una distribuzione di compiti da un singolo dataset disponibile ($D$) tramite:

1. Resampling: Creazione di compiti sintetici ricampionando i dati osservati con reimmissione.
2. Shuffling: Ordinamento casuale dei punti dati per incoraggiare l'invarianza alla permutazione.
3. Divisione Contesto-Target: Ogni compito sintetico è diviso esclusivamente in un insieme di contesto ($C$) e un insieme target ($T$). Questo simula lo scenario di inferenza NAS in cui il modello deve prevedere le prestazioni basandosi su un sottoinsieme di architetture osservate.

Estrazione di Meta-Feature

Gli autori progettano un insieme di meta-feature semplici ma efficaci per architetture basate su celle, concentrandosi su tre aspetti:

• Informazioni Statistiche: Conteggi di operazioni specifiche (es. $3\times3$ Conv, $1\times1$ Conv) e nodi.
• Complessità Architetturale: Pesi basati sui percorsi assegnati alle operazioni in base alla complessità (es. $3\times3$ Conv = 3, Max-pooling = 1), aggregati in misure come pesi di percorso massimi/minimi e parametri totali.
• Informazioni Strutturali: Metriche derivate dalla matrice di adiacenza, inclusi conteggi degli archi, rapporti arco-nodo e gradi massimi in entrata/uscita.
  Queste feature sono normalizzate nell'intervallo $[0, 1]$.

Obiettivo di Apprendimento

Riconoscendo che la NAS dà priorità all'identificazione di architetture ad alte prestazioni rispetto alla previsione distribuzionale perfetta, gli autori combinano due obiettivi:

1. Perdita di Regressione ($L_{MSE}$): Incoraggia una previsione accurata dell'accuratezza di validazione.
2. Perdita di Ranking ($L_{rank}$): Una perdita basata sul margine pairwise che impone il corretto ordinamento relativo delle architetture candidate nell'insieme target.
   L'obiettivo totale è $L_{total} = L_{MSE} + \lambda L_{rank}$. Gli autori notano che gli obiettivi basati sulla verosimiglianza (standard nei NP) si sono rivelati empiricamente meno efficaci ed efficienti rispetto alla previsione media diretta con supervisione di ranking per la selezione delle architetture.

Contributi Chiave

1. Nuova Formulazione: Il documento ridefinisce la previsione nella NAS come un problema di inferenza di funzioni condizionate utilizzando ConvNP, allontanandosi dalle mappature fisse verso modelli condizionati a osservazioni parziali.
2. Strategia di Meta-Apprendimento: Introduce una strategia per generare compiti sintetici tramite resampling e shuffling, consentendo al predittore di generalizzare in condizioni di estrema scarsità di dati.
3. Prospettiva di Valutazione: Gli autori sostengono che forti metriche di ranking globale (es. tau di Kendall) non si traducono necessariamente in una migliore selezione delle architetture. Promuovono metriche orientate alla selezione come le prestazioni Top-K.
4. Validazione Empirica: Esperimenti completi su NAS-Bench-101 e NAS-Bench-201 dimostrano l'efficacia del metodo.

Risultati Sperimentali

Il metodo è stato valutato su NAS-Bench-101 (CIFAR-10) e NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) rispetto a varie baseline, inclusi modelli di regressione (LR, RF, MLP, XGB), predittori basati su Graph Neural Network (NP, CAP, CARL) e algoritmi di ricerca (RS, RE).

• Accuratezza Predittiva: ConvNP ha raggiunto accuratezze di validazione e test competitive o superiori. Su NAS-Bench-101, ha raggiunto il 94,76% di accuratezza di validazione e il 94,09% di accuratezza di test, superando la maggior parte delle baseline di regressione e degli algoritmi di ricerca.
• Prestazioni Top-K: Sebbene ConvNP non abbia sempre raggiunto la più alta correlazione di ranking globale (tau di Kendall) rispetto a metodi di ranking specializzati come CARL, ha costantemente dimostrato una Recall@k superiore. Ha identificato architetture ad alte prestazioni in modo più efficace all'aumentare di $k$, in particolare nei regimi a pochi dati.
• Efficienza dei Dati: Esperimenti che variavano le dimensioni del set di addestramento (da 50 a 860 campioni) hanno mostrato che ConvNP beneficia significativamente dell'aumento dei dati nei regimi a pochi dati, con guadagni di prestazione che si saturano all'aumentare del volume dei dati.
• Studi di Ablazione: La rimozione della divisione contesto-target o della generazione di compiti sintetici ha portato a cali significativi delle prestazioni, confermando la necessità della formulazione di meta-apprendimento. La combinazione di perdite di regressione e ranking si è rivelata superiore all'uso di una sola delle due.

Significato e Affermazioni

Il documento afferma che il suo significato principale risiede nell'allineamento della procedura di addestramento dei predittori NAS con lo scenario reale di deployment. Modellando la previsione come inferenza da osservazioni parziali, il metodo affronta la scarsità intrinseca di dati della NAS in modo più efficace rispetto alla regressione supervisionata tradizionale.

Un'idea chiave evidenziata è che le metriche di ranking globale non sono sempre allineate con l'obiettivo pratico della NAS. Gli autori dimostrano che l'ottimizzazione per metriche orientate alla selezione (Top-K) produce una selezione di architetture più efficace, anche se la correlazione di ranking globale è leggermente inferiore a quella dei modelli di ranking specializzati. Il lavoro suggerisce che i futuri predittori NAS dovrebbero dare priorità ad approcci probabilistici e di meta-apprendimento che riflettano meglio la natura condizionale del processo di ricerca.

Gli autori riconoscono le limitazioni, tra cui una prestazione di ranking globale leggermente inferiore rispetto ai predittori di ranking specializzati, la sensibilità alla progettazione dei compiti sintetici e un sovraccarico computazionale aggiuntivo rispetto ai semplici regressori. Notano inoltre che la loro valutazione è attualmente limitata a spazi di ricerca di benchmark specifici.