SEAL: Searching Expandable Architectures for Incremental Learning

Riepilogo Tecnico: SEAL (Searching Expandable Architectures for Incremental Learning)

Formulazione del Problema
L'Apprendimento Incrementale (IL) richiede che i modelli apprendano da un flusso sequenziale di task bilanciando plasticità (la capacità di apprendere nuove informazioni) e stabilità (la preservazione delle conoscenze passate). Una sfida primaria in questo dominio è il dimenticanza catastrofica (catastrophic forgetting), in cui l'apprendimento di nuovi dati sovrascrive le rappresentazioni precedenti. Sebbene la Ricerca di Architetture Neurali (NAS) abbia dimostrato successo in contesti statici, gli attuali approcci NAS-based per l'IL soffrono spesso di elevati costi computazionali dovuti alla ripetizione del processo di ricerca per ogni task e di un consumo di risorse impraticabile dovuto all'espansione illimitata del modello. Inoltre, molti metodi attuali si affidano a buffer di replay o soglie di espansione fisse che non si adattano bene agli scenari di apprendimento incrementale dei dati (data-incremental), dove campioni di dati disgiunti arrivano sequenzialmente senza accesso futuro.

Metodologia
Gli autori propongono SEAL, un framework NAS progettato specificamente per l'apprendimento incrementale dei dati. A differenza dei metodi precedenti che trattano la progettazione dell'architettura e la politica di espansione come processi separati o sequenziali, SEAL ottimizza congiuntamente sia l'architettura della rete neurale che la sua politica di espansione all'interno di una singola fase di ricerca.

I componenti chiave del framework SEAL includono:

1. Spazio di Ricerca Unificato: SEAL utilizza una supernet OFA (Once-For-All) basata su MobileNetV3 per definire lo spazio di ricerca. Ciò consente una valutazione rapida delle architetture candidate tramite il fine-tuning di pesi pre-addestrati invece di addestrare da zero. Lo spazio di ricerca è vincolato per garantire che ogni espansione risulti in una sottorete OFA valida.
2. Politica di Espansione Dinamica: Invece di espandere il modello ad ogni task, SEAL impiega una metrica di stima della capacità per determinare quando l'espansione è necessaria. Il modello viene espanso solo se la cross-entropy loss corrente sui nuovi dati supera una soglia relativa rispetto alle iterazioni precedenti (Eq. 10). Ciò evita una crescita non necessaria e mantiene la complessità del modello.
3. Ottimizzazione Multi-Obiettivo: Il framework formula il problema come un compito di ottimizzazione bi-obiettivo risolto tramite l'algoritmo genetico NSGA-II. I due obiettivi sono:
   • Accuratezza Incrementale: Una funzione che bilancia l'accuratezza media sull'ultimo set di task rispetto al numero di parametri (Eq. 12).
   • Robustezza (Flatness): Una metrica di piattezza invariante per la riscalatura che misura la stabilità del panorama della perdita (loss landscape) sotto perturbazioni di rumore moltiplicativo (Eq. 14). Ciò mira a guidare la ricerca verso minimi piatti, che sono più robusti ai cambiamenti di distribuzione.
4. Strategia di Addestramento: Per mitigare la dimenticanza catastrofica durante l'espansione, SEAL impiega un addestramento tramite cross-distillazione. Dopo un passaggio di espansione, il modello viene addestrato utilizzando una funzione di perdita combinata composta dalla standard cross-entropy loss e da una loss di divergenza di Kullback-Leibler (KL) rispetto ai target morbidi (soft targets) del modello pre-espansione (Eq. 11).
5. Modellazione Surrogata: Per accelerare la ricerca, SEAL utilizza meccanismi di adaptive-switching (simili a MSuNAS) per selezionare il modello surrogato più accurato (tra processi gaussiani o funzioni radiali di base) per predire le metriche di performance, evitando la necessità di un intero ri-addestramento di ogni candidato.

Contributi Chiave

• Ottimizzazione Congiunta: SEAL è presentato come il primo framework NAS che ricerca congiuntamente l'architettura ottimale e la sua politica di espansione in una singola fase, riducendo significativamente l'overhead computazionale rispetto ai metodi di ricerca task-per-task.
• Efficienza delle Risorse: Integrando le sottoreti OFA e l'espansione condizionale, SEAL alloca capacità aggiuntiva solo quando richiesto, rendendolo adatto ad ambienti con risorse limitate come IoT e TinyML.
• Integrazione della Piattezza (Flatness): Il lavoro integra una metrica di robustezza basata sulla piattezza direttamente nell'obiettivo della NAS per l'IL, dimostrando che l'ottimizzazione per minimi piatti migliora la stabilità e la generalizzazione negli scenari di apprendimento sequenziale.
• Focus sul Data-Incremental: Il framework si rivolge specificamente all'impostazione data-incrementale (dati disgiunti, stesso spazio di etichette) senza fare affidamento su esplicita memorizzazione di dati o buffer di replay.

Risultati Sperimentali
SEAL è stato valutato su tre dataset benchmark: CIFAR-10, CIFAR-100 e ImageNet16-120. Gli esperimenti hanno confrontato SEAL contro i baseline standard di IL (Naive, EWC, SI, LwF) e un limite superiore di Joint Training.

• Performance: SEAL ha ottenuto un'accuratezza media (AA) competitiva o superiore rispetto ai baseline. Ad esempio, su CIFAR-10, SEAL ha raggiunto il 95,35% di accuratezza, superando EWC (93,87%) e SI (94,31%). Su CIFAR-100, ha raggiunto l'83,94%, superando LwF (83,21%).
• Dimenticanza e Trasferimento: Il framework ha dimostrato una dimenticanza media (Average Forgetting) ridotta rispetto a diversi baseline (ad esempio, 4,81% su CIFAR-100 rispetto al 5,50% di LwF). Tuttavia, su CIFAR-10, il Forward Transfer (FWT) era inferiore ad alcuni baseline, il che gli autori attribuiscono a un potenziale overfitting sui task più recenti quando i task sono altamente simili.
• Multi-Obiettivo vs. Singolo Obiettivo: I risultati hanno indicato che l'approccio multi-obiettivo (ottimizzando sia l'accuratezza che la piattezza) ha prodotto scambi (trade-off) migliori rispetto all'ottimizzazione a singolo obiettivo. Nello specifico, i modelli ottimizzati per la piattezza tendevano ad avere meno parametri mantenendo un'alta accuratezza.
• Studi di Ablazione: Gli esperimenti hanno confermato che l'inizializzazione dei pesi espansi dalla supernet OFA (invece di pesi casuali) ha migliorato significativamente l'accuratezza e ridotto la dimenticanza. Allo stesso modo, l'uso della loss di cross-distillazione si è rivelato critico per mantenere le performance e ridurre la dimenticanza dopo l'espansione.
• Significatività Statistica: I test di Friedman hanno confermato che le differenze di performance tra SEAL e i baseline erano statisticamente significative in tutti i dataset e le metriche.

Significatività e Rivendicazioni
L'articolo sostiene che SEAL offra una soluzione più pratica per l'implementazione nel mondo reale allineandosi con i desiderata chiave per la NAS nell'IL: efficienza, scalabilità e adattabilità. Evitando il ri-addestramento ridondante e la crescita incontrollata del modello, SEAL affronta le criticità degli attuali approcci NAS-based per l'IL. Gli autori sottolineano che l'integrazione della piattezza come obiettivo di progettazione aiuta a creare modelli che sono robusti alle perturbazioni introdotte dai nuovi task. Sebbene lo studio si concentri sull'apprendimento incrementale dei dati, gli autori suggeriscono che il framework possa essere esteso ad altri scenari di IL, pur notando che le assunzioni sulla generalizzazione dell'architettura attraverso le divisioni dei dati potrebbero richiedere regolazioni per scenari domain- o class-incremental. Il lavoro posiziona la combinazione di NAS ed espansione selettiva come una direzione promettente per l'apprendimento efficiente e adattivo.