Growing Networks with Autonomous Pruning

1. Il Problema

Le Reti Neurali Convoluzionali (CNN) hanno ottenuto grandi successi nel riconoscimento delle immagini, ma la progettazione delle loro architetture rimane spesso un processo manuale, costoso in termini di tempo e basato su tentativi ed errori.
Esistono due approcci principali per l'automazione, ma entrambi presentano limiti significativi:

• Neural Architecture Search (NAS): Sebbene efficace, è computazionalmente molto costoso perché richiede l'addestramento di migliaia di modelli con diversi iperparametri.
• Pruning (Potatura) tradizionale: Consiste nell'addestrare una rete sovradimensionata e poi rimuovere i pesi non necessari. Tuttavia, l'addestramento iniziale della rete grande è oneroso e rischia l'overfitting. Inoltre, la dimensione iniziale dell'architettura deve essere scelta manualmente e potrebbe non essere ottimale.
• Reti in Crescita (Growing Networks): Partono da una rete piccola e aggiungono neuroni. Il rischio è che la crescita aggiunga ridondanza, portando a reti più grandi delle controparti a dimensione fissa con la stessa accuratezza.

L'obiettivo di questo lavoro è superare questi limiti creando un sistema che possa crescere e potare autonomamente durante l'addestramento, adattando dinamicamente la propria topologia e dimensione per massimizzare l'accuratezza minimizzando al contempo il numero di parametri.

2. Metodologia: GNAP (Growing Networks with Autonomous Pruning)

L'approccio proposto, GNAP, combina due meccanismi complementari: crescita e potatura autonoma, all'interno di un processo di ottimizzazione congiunta.

Architettura

GNAP si ispira alle DenseNets (Reti Convoluzionali Densamente Connesse), dove ogni strato è connesso a tutti gli strati successivi.

• La rete è organizzata in "blocchi densi" separati da strati di pooling.
• A differenza delle DenseNets statiche, GNAP è una rete in crescita: durante l'addestramento, il numero di strati convoluzionali per blocco e il numero di canali (neuroni) possono variare dinamicamente.
• L'architettura iniziale è semplice e la rete può espandersi o contrarsi in base alle necessità.

Potatura Autonoma (Autonomous Pruning)

Il cuore del metodo è una strategia di potatura basata sul gradiente, ispirata a lavori precedenti ma adattata per supportare sia la potatura non strutturata (singoli pesi) che strutturata (interi kernel convoluzionali).

• Gate Parametrici: Ogni peso (o kernel) è associato a un "gate" con parametri apprendibili.
• Distribuzione Gumbel-Softmax: Durante il forward pass, il gate viene aperto o chiuso campionando da una distribuzione Gumbel-Softmax, rendendo il processo differenziabile.
• Funzione di Loss: La funzione di perdita totale è la somma della loss di previsione (cross-entropy) e di una loss di sparsità:
  $$L = L_{pred} + \alpha \cdot ||g||_1$$
  Dove $||g||_1$ è la norma L1 dei gate aperti. L'obiettivo è spingere il modello a usare il minor numero possibile di parametri ($D_{target} = 0$) mantenendo alta l'accuratezza.

Fasi di Crescita

La rete cresce solo quando necessario, ovvero quando raggiunge un punto di saturazione e non può più migliorare le prestazioni con l'architettura attuale.

• Criterio di Attivazione: La crescita viene attivata quando la variazione relativa del numero di gate aperti si stabilizza (convergenza della topologia).
• Dove Crescere: I neuroni vengono aggiunti ovunque: $C$ nuovi neuroni per ogni strato esistente e un nuovo strato alla fine di ogni blocco.
• Inizializzazione dei Pesi:
  • I pesi tra nuovi neuroni e vecchi neuroni vengono inizializzati a zero o con una distribuzione Gaussiana per evitare di "inquinare" i neuroni già addestrati.
  • Strategia Innovativa: Per i pesi che collegano i nuovi neuroni agli strati successivi, viene utilizzata una decomposizione ai valori singolari (SVD) per generare vettori di pesi ortogonali rispetto ai pesi esistenti. Questo massimizza l'esplorazione di nuove direzioni nello spazio delle caratteristiche senza distruggere le conoscenze apprese.

Procedura di Addestramento

L'addestramento alterna fasi di ottimizzazione dei pesi (gradiente) e fasi di crescita.

• Si utilizza un criterio di early stopping modificato: si salva il modello non solo se l'accuratezza migliora, ma anche se il numero di parametri diminuisce mantenendo un'accuratezza equivalente (entro una soglia $\theta_a$).
• Alla fine dell'addestramento, una fase di "rifinitura" con un peso maggiore per la loss di sparsità aiuta a convergere verso reti ancora più sparse.

3. Risultati Sperimentali

Gli autori hanno testato GNAP su tre benchmark di classificazione di immagini: MNIST, CIFAR10 e CIFAR100.

• Efficienza e Accuratezza:
  • Su MNIST: 99.44% di accuratezza con soli 6.2k parametri (potatura non strutturata).
  • Su CIFAR10: 92.2% di accuratezza con 157.8k parametri.
  • Su CIFAR100: 67.84% di accuratezza con circa 125k parametri (potatura strutturata).
• Confronto con lo Stato dell'Arte:
  • GNAP supera o compete con metodi avanzati di pruning (come SNIP, GraSP, LTH) e NAS (MCUNet), spesso ottenendo risultati simili o migliori con un numero di parametri significativamente inferiore.
  • A differenza di molti metodi basati su pruning che partono da architetture dense predefinite (es. ResNet, VGG), GNAP non dipende da un'architettura iniziale specifica e può adattarsi alla complessità del dato.
• Analisi della Dinamica:
  • Le curve di apprendimento mostrano che le fasi di crescita aiutano a trovare soluzioni più efficaci, permettendo alla rete di diventare progressivamente più piccola pur mantenendo o migliorando l'accuratezza.
  • La potatura autonoma tende a convergere verso un comportamento deterministico, dove i gate sono quasi totalmente aperti o chiusi, eliminando la ridondanza.

4. Contributi Chiave

1. Nuovo Approccio di Addestramento: Una strategia alternata di crescita e potatura che adatta dinamicamente dimensione e topologia della rete durante l'addestramento, minimizzando la loss di classificazione.
2. Architettura CNN Dinamica e Flessibile: Un'architettura specifica che permette connessioni sparse da qualsiasi strato a qualsiasi strato successivo, facilitando l'espansione e la contrazione.
3. Potatura Strutturata e Non Strutturata: La capacità di rimuovere sia singoli pesi che interi kernel convoluzionali, rendendo il metodo adattabile a diverse esigenze hardware.
4. Inizializzazione Ortogonale: Una strategia innovativa per inizializzare i pesi dei nuovi neuroni in modo che siano ortogonali ai pesi esistenti, massimizzando l'utilità delle nuove unità aggiunte.

5. Significato e Impatto

Il lavoro GNAP rappresenta un passo significativo verso l'automazione completa del design delle reti neurali. Dimostra che è possibile addestrare reti estremamente sparse (con riduzioni di parametri dell'ordine del 98-99% rispetto alle reti dense) senza sacrificare l'accuratezza.

• Efficienza Computazionale: Riduce drasticamente il costo di inferenza e memoria, rendendo le reti adatte a dispositivi edge.
• Generalizzazione: Elimina la necessità di progettare manualmente architetture complesse o di addestrare prima reti enormi per poi potarle.
• Futuro: L'approccio apre la strada a ricerche su apprendimento continuo (continual learning) e adattamento a dati non i.i.d., dove la capacità di modificare la struttura della rete in tempo reale è cruciale.

In sintesi, GNAP offre un paradigma "cresci e pota" autonomo che bilancia perfettamente la capacità espressiva del modello con l'efficienza dei parametri, superando i limiti degli approcci statici o basati su pruning post-addestramento.