OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns

Riepilogo Tecnico: OUIDecay

Enunciato del Problema
Il decadimento dei pesi è un meccanismo di regolarizzazione standard per l'addestramento delle reti neurali convoluzionali (CNN), tuttavia viene tipicamente applicato come un coefficiente fisso condiviso uniformemente su tutti i livelli durante l'intero processo di addestramento. Questo trattamento uniforme trascura il fatto che diversi livelli nelle CNN moderne evolvono con dinamiche strutturali distinte e possono richiedere intensità di regolarizzazione variabili. Un singolo valore globale di decadimento può essere inutilmente restrittivo per alcuni livelli mentre essere troppo debole per altri. Sebbene esistano strategie adattive, come AdaDecay, queste si basano principalmente su informazioni derivate dai gradienti. Gli autori sostengono che l'adattamento della regolarizzazione potrebbe beneficiare di segnali che riflettono il comportamento funzionale interno della rete (pattern di attivazione) piuttosto che dalla sola geometria dell'ottimizzazione.

Metodologia: OUIDecay
Il documento propone OUIDecay, un programma di decadimento dei pesi adattivo, livello per livello e dipendente dal tempo, guidato dall'Indicatore di Sovradattamento-Sottadattamento (OUI). L'OUI è una metrica priva di etichette derivata dai pattern di attivazione che quantifica la variabilità strutturale di un livello della rete.

• La Metrica OUI: Il metodo utilizza una formulazione basata su batch dell'OUI (introdotta in lavori precedenti [4]) per garantire stabilità ed efficienza computazionale. Per un dato livello $i$ e un batch di prova $B_t$, il metodo calcola una maschera di attivazione binaria per ogni unità. Successivamente, calcola un "conteggio della minoranza" per ogni unità (il numero di campioni in cui l'unità è attiva se è per lo più inattiva, o viceversa). L'OUI a livello di livello è la media di questi conteggi della minoranza normalizzati. Un OUI elevato indica che le unità nel livello dividono il batch in modo equilibrato, mentre un OUI basso suggerisce un bias strutturale (le unità sono quasi sempre attive o inattive).
• Programma Adattivo: OUIDecay non cerca un valore "ideale" universale di OUI. Invece, utilizza la distribuzione relativa dei valori OUI tra i livelli per ridistribuire il decadimento dei pesi.
  • A intervalli periodici ($\tilde{t}$), il programma calcola $OUI_i(t)$ per tutti i livelli monitorati.
  • Identifica i valori minimo ($OUI_{min}$) e massimo ($OUI_{max}$) tra i livelli.
  • I coefficienti di decadimento livello per livello $\lambda_i(t)$ vengono assegnati mediante ridimensionamento lineare all'interno di un intervallo definito $[s_1, s_2]$ rispetto a un decadimento dei pesi di base $\lambda_{base}$. I livelli con valori OUI più vicini a $OUI_{min}$ ricevono coefficienti vicini a $s_1\lambda_{base}$, mentre quelli più vicini a $OUI_{max}$ ricevono coefficienti vicini a $s_2\lambda_{base}$.
• Filosofia di Progettazione: L'approccio è progettato per essere leggero e adatto all'addestramento online. Aggiorna i coefficienti periodicamente (ad esempio, ogni 500 iterazioni) piuttosto che ad ogni passo per evitare sensibilità alle fluttuazioni a breve termine dei batch. Fondamentalmente, si basa esclusivamente sui pattern di attivazione, non richiedendo dati di convalida o informazioni sui gradienti per la decisione di programmazione.

Contributi Chiave

1. Proposta di OUIDecay: Gli autori introducono un programma di decadimento dei pesi livello per livello per le CNN guidato dalla formulazione basata su batch dell'OUI.
2. Validazione Empirica: Il documento fornisce prove empiriche che, in diverse configurazioni CNN, OUIDecay migliora generalmente i risultati dell'addestramento rispetto sia al decadimento dei pesi fisso sia al metodo adattivo basato sui gradienti AdaDecay.

Risultati Sperimentali
Il metodo è stato valutato su quattro coppie modello-dataset: EfficientNet-B0 (Stanford Cars), ResNet50 (Food101), DenseNet121 (CIFAR100) e MobileNetV2 (CIFAR10). La metrica principale è stata la migliore perdita di convalida.

• Prestazioni: OUIDecay ha ottenuto la migliore media della migliore perdita di convalida in 7 casi su 8 delle configurazioni valutate (variando i valori del decadimento dei pesi di base).
• Confronto con i Baseline:
  • vs. Decadimento Fisso: OUIDecay ha costantemente superato il decadimento dei pesi fisso, in particolare negli esperimenti con EfficientNet-B0 e MobileNetV2.
  • vs. AdaDecay: OUIDecay ha superato l'AdaDecay basato sui gradienti nella maggior parte delle configurazioni. In modo notevole, negli esperimenti con ResNet50 e un decadimento dei pesi più elevato, AdaDecay ha mostrato un'alta varianza e prestazioni peggiori, mentre OUIDecay è rimasto stabile ed efficace.
  • Eccezioni: Nella configurazione DenseNet121/CIFAR100 con un decadimento dei pesi di base inferiore, AdaDecay ha prodotto risultati leggermente migliori rispetto a OUIDecay, sebbene OUIDecay abbia ripreso il vantaggio con un decadimento dei pesi di base più elevato.
• Efficienza: L'overhead computazionale per il calcolo del segnale OUI e l'aggiornamento dei pesi è stato trascurabile, rappresentando meno dello 0,2% del tempo totale dell'iterazione di addestramento. Studi di ablazione hanno confermato che il metodo è robusto rispetto alla scelta dell'intervallo di aggiornamento e dell'intervallo di ridimensionamento, con prestazioni ottimali osservate a frequenze di aggiornamento intermedie.

Significato e Affermazioni
Il documento afferma che OUIDecay dimostra che l'adattamento del decadimento dei pesi guidato dalle attivazioni è un'alternativa pratica ed efficace sia al decadimento fisso sia ai metodi adattivi basati sui gradienti. Il significato risiede nello spostare il segnale di controllo dal dominio dell'ottimizzazione (gradienti) al dominio funzionale (attivazioni), permettendo al programma di reagire a come la rete partiziona strutturalmente i dati di input.

Gli autori mantengono un ambito modesto, affermando esplicitamente che i risultati sono validati all'interno delle specifiche configurazioni CNN studiate e non necessariamente si generalizzano a tutte le famiglie di modelli (ad esempio, i Transformer) o regimi di addestramento. Posizionano OUIDecay non come una soluzione definitiva al problema del decadimento dei pesi, ma come un passo pratico verso strategie di regolarizzazione più flessibili, leggere e online che sfruttano segnali strutturali interni senza richiedere dati di convalida.