Robust MAE-Driven NAS: From Mask Reconstruction to Architecture Innovation

Sintesi Tecnica: MAE-Driven NAS Robusto

Problematica
La Ricerca di Architetture Neurali (NAS) è diventata uno strumento fondamentale per la scoperta autonoma di architetture di rete superiori, tuttavia i metodi tradizionali si affidano pesantemente a framework di apprendimento supervisionato. Questa dipendenza necessita di dataset etichettati estesi e laboriosi, creando un significativo collo di bottiglia in scenari con risorse limitate. Inoltre, gli esistenti metodi di ricerca di architetture differenziabili, come DARTS, soffrono di "collasso delle prestazioni" (performance collapse) in contesti non supervisionati, dove il processo di ricerca non riesce a identificare architetture robuste, spesso ricorrendo a scorciatoie subottimali come l'eccessivo uso di connessioni skip. Sebbene sforzi recenti abbiano esplorato la NAS non supervisionata per ridurre la dipendenza dalle etichette, non hanno affrontato pienamente i problemi di stabilità inerenti all'adattamento di DARTS a paradigmi auto-supervisionati.

Metodologia
Gli autori propongono MAE-NAS, un nuovo framework di NAS non supervisionato che sfrutta i Masked Autoencoders (MAE) per sostituire gli obiettivi di classificazione supervisionata con un compito di ricostruzione d'immagine. Il metodo integra il paradigma MAE nello spazio di ricerca di DARTS attraverso i seguenti meccanismi:

1. Obiettivo di Ottimizzazione Non Supervisionato: Invece di minimizzare la perdita di classificazione, MAE-NAS ottimizza la ricostruzione dell'immagine. Il framework impiega un problema di ottimizzazione a due livelli in cui i parametri dell'architettura ($\alpha$) vengono aggiornati per minimizzare la perdita di ricostruzione di validazione, mentre i pesi della rete ($w$) vengono aggiornati per minimizzare la perdita di ricostruzione di addestramento. L'input consiste in immagini casualmente mascherate immesse in un encoder (costruito sul campo di ricerca DARTS) e un decoder che ricostruisce l'immagine originale.
2. Decoder Gerarchico: Per affrontare il collasso delle prestazioni osservato in DARTS quando applicato a compiti non supervisionati, gli autori introducono un decoder gerarchico. Gli esperimenti hanno rivelato una forte correlazione tra il collasso delle prestazioni e il rapporto di mascheramento (masking ratio); nello specifico, bassi rapporti di mascheramento (inferiori a 0,5) inducono il collasso, mentre rapporti più elevati lo mitigano. Tuttavia, fare affidamento esclusivamente su alti rapporti di mascheramento rischia di escludere architetture promettenti a causa della sensibilità alle soglie. Il decoder gerarchico proposto elabora caratteristiche a risoluzione multipla ($F_1, F_2, F_3$) dall'encoder tramite percorsi paralleli, integrando informazioni a grana fine e grossolana. Questo design stabilizza il processo di ricerca accelerando il flusso del gradiente e imponendo l'apprendimento multi-scala, prevenendo efficacementamente il dominio delle connessioni skip che porta al collasso.
3. Integrazione Plug-and-Play: Il metodo è progettato per essere compatibile con varie varianti di DARTS e non richiede indicatori creati manualmente o overhead aggiuntivi, funzionando come un diretto sostituto dell'obiettivo supervisionato nei pipeline NAS esistenti.

Contributi Chiave

• NAS Senza Etichette via MAE: Il documento introduce la prima esplorazione dell'uso di Masked Autoencoders per la NAS completamente non supervisionata, consentendo una scoperta efficiente dell'architettura senza dati etichettati pur mantenendo l'adattabilità architettonica.
• Risoluzione del Collasso delle Prestazioni: Gli autori identificano il legame tra i rapporti di mascheramento e il collasso di DARTS negli scenari non supervisionati e propongono un decoder gerarchico come soluzione fondamentale per stabilizzare il processo di ricerca e garantire una selezione robusta dell'architettura.
• Efficienza e Robustezza: L'approccio offre una soluzione plug-and-play che si integra perfettamente con i metodi NAS supervisionati, eliminando la necessità di indicatori manuali e dimostrando una robustezza superiore attraverso diverse impostazioni di iperparametri.

Risultati Sperimentali
Estesi esperimenti sono stati condotti sui dataset CIFAR-10 e ImageNet utilizzando lo spazio di ricerca DARTS:

• Prestazioni: MAE-NAS ha raggiunto un'accuratezza Top-1 del 97,8% su CIFAR-10 e del 76,5% su ImageNet. Questi risultati superano le controparti supervisionate esistenti (es. DARTS, PC-DARTS) e altri metodi non supervisionati (es. UnNAS, RLNAS).
• Efficienza: Il metodo ha dimostrato riduzioni significative dei costi di ricerca, richiedendo solo 0,2 giorni GPU per CIFAR-10 e 2,3 giorni GPU per ImageNet, valori inferiori o comparabili ai metodi supervisionati pur evitando il costo dell'annotazione dei dati.
• Studi di Ablazione:
  • Sensibilità del Rapporto di Mascheramento: Il metodo ha mostrato robustezza attraverso vari rapporti di mascheramento (da 0,1 a 0,7), con un impatto minimo sulle prestazioni finali dell'architettura.
  • Impatto del Decoder Gerarchico: La rimozione del decoder gerarchico ha causato un grave collasso delle prestazioni a bassi rapporti di mascheramento (es. l'errore Top-1 è passato da ~2,67% a 5,87% con un rapporto di 0,2) e un aumento significativo delle connessioni skip (da 1 a 8), confermando il ruolo del decoder nel stabilizzare la ricerca.
  • Qualità della Ricostruzione: Le visualizzazioni hanno confermato che le architetture trovate con il decoder gerarchico producevano ricostruzioni d'immagine di qualità superiore, correlando con migliori prestazioni architettoniche.

Significatività e Rivendicazioni
Il documento sostiene che MAE-NAS fornisce una nuova prospettiva per affrontare il problema del collasso delle prestazioni in DARTS sotto scenari non supervisionati. Sostituendo gli obiettivi supervisionati con un compito di ricostruzione, il metodo elimina la necessità di dati etichettati ad alta intensità di risorse senza compromettere la capacità di generalizzazione. Gli autori affermano che il loro decoder gerarchico risolve fondamentalmente i problemi di instabilità associati alla DARTS non supervisionata, offrendo un framework robusto, efficiente e universalmente applicabile per la ricerca di architetture senza etichette. Il lavoro stabilisce i Masked Autoencoders come proxy efficaci per i compiti NAS, superando le metriche non supervisionate esistenti che soffrono di dipendenza dai dataset o incompatibilità con operatori non parametrici.