Riepilogo Tecnico: Regularizzazione della Concentrazione dei Pesi per Migliorare la Robustezza del Pruning in Condizioni di Alta Sparsità

Enunciato del Problema

Le reti neurali profonde (DNN) hanno raggiunto prestazioni all'avanguardia nelle attività di visione e linguaggio, ma spesso richiedono risorse computazionali sostanziali, limitandone il dispiegamento in ambienti con risorse limitate. Il pruning dei modelli mira a ridurre le dimensioni del modello rimuovendo i parametri meno importanti. Sebbene il pruning iterativo con riaddestramento sia efficace, risulta computazionalmente costoso. Il pruning one-shot, che rimuove i parametri ridondanti in un singolo passaggio senza riaddestramento, offre un'alternativa più efficiente. Tuttavia, i modelli addestrati con obiettivi standard spesso subiscono significativi cali di accuratezza sotto sparsità aggressive.

I lavori precedenti tentano di mitigare questo problema attraverso due direzioni principali:

1. Approcci basati sulla regolarizzazione (ad es. $\ell_1$, DeepHoyer) che modellano le distribuzioni dei pesi durante l'addestramento. Tuttavia, $\ell_1$ riduce tutti i pesi in modo uniforme, mentre DeepHoyer induce una sparsità invariante alla scala. Nessuno dei due concentra esplicitamente l'energia dei pesi su un piccolo sottoinsieme di parametri informativi.
2. Ottimizzatori robusti al pruning (ad es. SAM, CrAM, S2SAM) che appiattiscono il paesaggio della funzione di perdita per migliorare la generalizzazione.

La limitazione fondamentale identificata è che i metodi standard per indurre sparsità non affrontano esplicitamente il compromesso tra sparsità e conservazione delle informazioni. Quando l'importanza dei pesi è distribuita in modo diffuso, la rimozione di pesi a bassa magnitudine può comunque degradare le prestazioni perché l'energia "importante" non è sufficientemente concentrata su pochi parametri dominanti.

Metodologia: Regularizzatore di Concentrazione dei Pesi (WCR)

Gli autori propongono il Regularizzatore di Concentrazione dei Pesi (WCR), un regolarizzatore attivo durante l'addestramento progettato per rimodellare la distribuzione della magnitudine dei pesi. A differenza dei metodi convenzionali che riducono uniformemente i pesi, il WCR mira a concentrare l'energia dei pesi su un piccolo sottoinsieme di parametri, spingendo il resto verso zero. Questo crea una distribuzione "a coda pesante" in cui pochi parametri detengono la maggior parte dell'energia dei pesi, consentendo al pruning basato sulla magnitudine di rimuovere i parametri trascurabili con una perdita minima di prestazioni.

Formulazione Matematica

Il WCR opera penalizzando il reciproco della varianza dei pesi assoluti. Per un livello selezionato con pesi $w^{(\ell)}$, gli autori applicano prima una trasformazione liscia del valore assoluto per garantire la differenziabilità nell'origine:
$$\tilde{w}^{(\ell)}_i = \sqrt{(w^{(\ell)}_i)^2 + r} \approx |w^{(\ell)}_i|, \quad r = 10^{-8}$$
La varianza viene calcolata per livello per gestire le differenze di scala:
$$\text{Var}(\tilde{w}^{(\ell)}) = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \left( \tilde{w}^{(\ell)}_i - \frac{1}{n_\ell} \sum_{j=1}^{n_\ell} \tilde{w}^{(\ell)}_j \right)^2$$
La penalità di regolarizzazione $\psi(w)$ è la somma dei reciproci delle varianze su tutti i livelli selezionati:
$$\psi(w) = \sum_{w^{(\ell)} \in \mathcal{W}} \frac{1}{\text{Var}(\tilde{w}^{(\ell)}) + \epsilon}$$
dove $\epsilon = 10^{-8}$ garantisce la stabilità numerica. L'obiettivo totale di addestramento diventa:
$$\mathcal{L}_{total}(w) = \mathcal{L}(w) + \lambda \psi(w)$$
dove $\lambda > 0$ è un coefficiente di bilanciamento.

Analisi Teorica

Il documento fornisce un'analisi di convergenza che dimostra come il WCR preservi il tasso di convergenza standard della Discesa del Gradiente Stocastica (SGD). Sotto la condizione di $\beta_1$-liscezza della funzione di perdita e $\beta_2$-liscezza del regolarizzatore, l'obiettivo combinato soddisfa le garanzie standard di convergenza alla stazionarietà. Poiché il regolarizzatore è una funzione deterministica dei pesi, non introduce varianza aggiuntiva nel gradiente stocastico. Di conseguenza, il tasso di convergenza asintotico rimane $O(1/\sqrt{T})$, in linea con la SGD standard.

Contributi Chiave

1. Introduzione del WCR: Un nuovo regolarizzatore attivo durante l'addestramento che concentra l'energia dei pesi su un piccolo sottoinsieme di parametri, incoraggiando esplicitamente una distribuzione dei pesi a coda pesante anziché una riduzione uniforme.
2. Garanzie Teoriche: Dimostrazione che il WCR mantiene il tasso di convergenza standard della SGD sotto ipotesi di liscezza moderate.
3. Validazione Empirica: Valutazione completa in contesti diversificati, inclusi:
   • Classificazione di Immagini: ResNet-18/50, WideResNet-28-10 su CIFAR-10/100, SVHN, e ViT-B/32 su Tiny-ImageNet.
   • Segmentazione Medica: ResNet-50–UNet sul dataset LGG Brain MRI.
   • Fine-tuning di LLM: Qwen-2.5-1.5B e LLaMA-3.2-1B utilizzando LoRA su Commonsense-170K.
4. Compatibilità: Dimostrazione che il WCR è compatibile con e potenzia gli ottimizzatori esistenti robusti al pruning (SAM, CrAM, S2SAM) e può essere combinato con essi per ulteriori guadagni.

Risultati Sperimentali

Gli autori hanno valutato il WCR sotto pruning one-shot basato sulla magnitudine senza riaddestramento.

• Compiti di Visione (CNN e ViT): Il WCR ha migliorato costantemente l'accuratezza post-pruning, in particolare a livelli di sparsità elevati (ad es. 96% di pruning).
  • Su CIFAR-10 con ResNet-18, l'aggiunta del WCR alla SGD ha migliorato l'accuratezza al 96% di pruning dal 19,69% al 25,70%.
  • Quando combinato con SAM, il WCR ha prodotto miglioramenti drammatici: al 96% di pruning, l'accuratezza è salita dal 48,36% (SAM da solo) al 92,08% (SAM + WCR).
  • Tendenze simili sono state osservate con S2SAM (72,51% $\to$ 93,44%) e su SVHN (9,74% $\to$ 95,99%).
  • Per ViT-B/32, il WCR ha migliorato l'accuratezza al 80% di pruning su CIFAR-100 dal 64,11% (SAM) all'84,95%.
• Segmentazione Medica: Sul dataset LGG Brain MRI, il WCR ha migliorato significativamente i punteggi F1 e ridotto la distanza di Hausdorff sotto pruning dell'85% e dell'88%. In particolare, per la SGD all'88% di pruning, la baseline non è riuscita a produrre segmentazioni valide, mentre SGD + WCR ha raggiunto un punteggio F1 di 0,5280. I risultati qualitativi hanno mostrato che il WCR preserva meglio i confini delle lesioni rispetto alle baseline.
• Fine-tuning di LLM: Nel fine-tuning basato su LoRA, il WCR ha superato i regolarizzatori $\ell_1$ e DeepHoyer. Su Qwen-2.5-1.5B, il WCR ha raggiunto la più alta accuratezza media al 30% di pruning (69,54%) tra i regolarizzatori confrontati, dimostrando robustezza in scenari di fine-tuning efficiente in termini di parametri.
• Generalizzazione: L'analisi del principale autovalore di Hessian ha indicato che il WCR riduce la curvatura della superficie di perdita, suggerendo che guida l'ottimizzazione verso minimi più piatti, il che correla con una migliore generalizzazione.

Significato e Affermazioni

Il documento afferma che modellare la distribuzione della magnitudine dei pesi durante l'addestramento è un approccio efficace per migliorare la robustezza in condizioni di alta sparsità. Il significato del WCR risiede nella sua capacità di:

• Creare una separazione più netta tra parametri a grande magnitudine (informativi) e parametri a piccola magnitudine (trascurabili).
• Consentire al pruning basato sulla magnitudine di rimuovere una grande frazione di parametri con un impatto funzionale minimo.
• Operare come regolarizzatore autonomo o come componente complementare ai metodi di appiattimento del paesaggio della perdita come SAM.

Gli autori concludono che il WCR offre una soluzione pratica, attiva durante l'addestramento, al calo di accuratezza associato al pruning one-shot aggressivo, applicabile attraverso CNN, Transformer e Modelli Linguistici di Grande Dimensione, senza richiedere modifiche architetturali o riaddestramento dopo il pruning.