Riepilogo Tecnico: L'Iniezione di Rumore Intercalata Migliora le Prestazioni su Dati Puliti, Corrotti e OOD

Definizione del Problema

La Discesa del Gradiente Stocastico (SGD) e le sue varianti sono standard per l'ottimizzazione di superfici di perdita non convesse, tuttavia spesso faticano con minimi locali sottoperformanti. Sebbene l'iniezione deliberata di rumore (tipicamente Gaussiano) sia nota per migliorare la robustezza e la generalizzazione agendo come regolarizzatore, gli schemi di decadimento del rumore esistenti soffrono di significativi compromessi. Gli schemi di decadimento monotoni limitano la capacità dell'ottimizzatore di sfuggire a minimi subottimali durante le fasi avanzate dell'addestramento. Al contrario, gli approcci "curriculum" (da pulito a rumoroso) o "anti-curriculum" (da rumoroso a pulito) rischiano o di perdere il potere di regolarizzazione o di causare un sotto-apprendimento (underfitting) dei dati puliti e un catastrofico oblio delle caratteristiche precedentemente apprese. Inoltre, l'interazione specifica tra i tipi di rumore (ad esempio, Gaussiano vs impulso) e le architetture dei modelli (ad esempio, Reti Neurali Convoluzionali vs Vision Transformers) rimane scarsamente esplorata nel contesto della dinamica di ottimizzazione.

Metodologia

Curriculum di Rumore Intercalato

Gli autori propongono uno schema di rumore intercalato che alterna epoche di addestramento su dati puliti e su dati corrotti, invece di far decadere il rumore o effettuare un unico passaggio. Lo schema è definito da due parametri: $P$ (epoche senza rumore) e $L$ (epoche con rumore). L'indicatore di iniezione del rumore $I(t)$ è una funzione a onda quadra:
$$I(t) = \begin{cases} 1 & \text{se } t \mod (P + L) \geq P \\ 0 & \text{altrimenti} \end{cases}$$
Questo crea un modello "acceso-spento-acceso-spento", consentendo all'ottimizzatore di alternare l'esplorazione del panorama della perdita con il rumore con lo sfruttamento (exploitation) di dati puliti per raffinare i confini decisionali.

Analisi Teorica della Regolarizzazione

Il documento fornisce un'espansione di Taylor del secondo ordine della funzione di perdita $L(\theta, \tilde{x})$ attorno a un campione pulito $x$ per analizzare gli effetti di due tipi di rumore:

1. Rumore a Impulsi (Sale e Pepe): Modellato come $\tilde{x} = (1-m_t) \odot x + m_t \odot n$, dove $n$ è un rumore di Bernoulli. L'espansione della perdita attesa rivela tre componenti:

   • La perdita pulita.
   • Un termine di regolarizzazione del Jacobiano proporzionale al livello di rumore $\sigma_t$ e alla sensibilità dell'input $\nabla_x L$. Questo termine penalizza la sensibilità alle caratteristiche dei pixel ad alto contrasto.
   • Un termine di regolarizzazione della curvatura proporzionale alla diagonale dell'Essen (Hessian), pesato dal contrasto dei pixel.
   • Conclusione: Il rumore a impulsi approssima una regolarizzazione del Jacobiano direzionale, incoraggiando il modello a imparare caratteristiche su larga scala robuste alla corruzione locale dei pixel.

2. Rumore Gaussiano: Modellato come $\tilde{x} = x + n_t$ dove $n_t \sim \mathcal{N}(0, \sigma_t I)$. L'espansione della perdita attesa produce:

   • La perdita pulita.
   • Un termine di regolarizzazione della curvatura proporzionale alla traccia dell'Essen ($\text{Tr}(H_x)$).
   • Conclusione: A differenza del rumore a impulsi, il rumore Gaussiano fornisce una penalità di curvatura uniforme indipendente dal contrasto locale dei pixel, agendo in modo simile alla Sharpness-Aware Minimization (SAM), ma operando nello spazio dell'input piuttosto che nello spazio dei pesi.

Stabilizzazione della Norma del Gradiente

Una sfida primaria con il rumore intercalato è la volatilità delle magnitudo del gradiente quando si passa tra dati puliti e rumorosi. Per prevenire gradienti evanescenti o esplosivi, gli autori introducono un fattore di scala dinamico $p_t$:
$$p_t = f \cdot \frac{\|\nabla_\theta L(\theta_{t-1}, x)\|_2}{\|\nabla_\theta L(\theta_t, \tilde{x})\|_2}$$
dove $f$ è un parametro di sintonizzazione. L'aggiornamento rumoroso è scalato da $p_t$, assicurando che la magnitudo degli aggiornamenti durante le epoche rumorose rimanga comparabile alle magnitudo dei gradienti puliti.

Contributi Chiave

1. Curriculum di Rumore Intercalato: Introduzione di uno schema di rumore che alterna epoche pulite e rumorose, superando i metodi standard di curriculum, anti-curriculum e decadimento monotono su compiti di dati puliti, corrotti e Out-of-Distribution (OOD).
2. Formulazione Teorica: Derivazione che dimostra come il rumore a impulsi agisca come un regolarizzatore del Jacobiano direzionale, mentre il rumore Gaussiano agisca come una penalità di curvatura. Ciò spiega perché diversi tipi di rumore beneficiano di diverse architetture.
3. Stabilizzazione della Norma del Gradiente: Una tecnica innovativa per stabilizzare la volatilità dell'addestramento causata dal cambio di distribuzione dei dati, consentendo l'uso di alti livelli di rumore senza destabilizzare l'ottimizzazione.
4. Preferenze Specifiche per l'Architettura: Evidenza empirica che dimostra come le Reti Neurali Convoluzionali (ResNet) beneficino maggiormente del rumore a impulsi (contrastando il bias di località), mentre i modelli basati sull'Attenzione (ViT) performano meglio con il rumore Gaussiano (contrastando la tendenza a cogliere caratteristiche spurie su larga scala).
5. Ortogonalità e Stacking: Dimostrazione che l'iniezione di rumore intercalata può essere sovrapposta (stacked) ai metodi di robustezza esistenti (Cutout, SAM, AugMix, VIPAug) per ottenere ulteriori miglioramenti con un costo computazionale trascurabile.

Risultati Sperimentali

Il metodo è stato valutato su CIFAR-100, CIFAR-100-C, ImageNet-1k, ImageNet-C e ImageNet-R utilizzando architetture WideResNet, ResNet50 e ViT.

• Prestazioni sui Dati Puliti: Contrariamente all'intuizione che il rumore degradi le prestazioni sui dati puliti, lo schema intercalato ha migliorato l'accuratezza del test sui dati puliti rispetto all'addestramento solo su dati puliti. Ad esempio, su CIFAR-100, il rumore a impulsi intercalato ha ridotto l'errore sui dati puliti dello 0,9% rispetto al baseline.
• Robustezza alla Corruzione e OOD: Sono stati osservati miglioramenti significativi sui dataset corrotti (CIFAR-100-C, ImageNet-C) e sui dataset OOD (ImageNet-R).
  • Su ImageNet-1k con ResNet50, il rumore a impulsi intercalato ha ridotto l'Errore Medio di Corruzione (mCE) dell'1,8% e l'errore OOD dell'1,4% rispetto al baseline SGD.
  • Su ViT, il rumore Gaussiano intercalato ha ridotto l'mCE del 3,4% e l'errore OOD del 2,1% rispetto al baseline AdamW.
• Confronto con le Augmentation: Il metodo ha superato o eguagliato schemi di augmentation complessi come Cutout, SAM e AugMix. Quando sovrapposto ad AugMix, ha fornito ulteriori guadagni (ad esempio, riducendo l'errore pulito di CIFAR-100 di un ulteriore 0,9% e l'mCE dello 0,4%).
• Studi di Ablazione:
  • Scaling del Gradiente ($f$): Un valore di $f \approx 0,4$ è risultato offrire il miglior compromesso tra accuratezza sui dati puliti e robustezza alla corruzione.
  • Periodo ($P$): La performance ottimale si è verificata con $P \in [5, 10]$. Un rumore troppo frequente ha danneggiato l'accuratezza sui dati puliti; un rumore troppo infrequente ha ridotto la forza di regolarizzazione.

Significato e Rivendicazioni

Il documento sostiene che l'iniezione di rumore intercalata sia uno strumento semplice ed efficace che migliora le prestazioni del modello su dati puliti, rumorosi e OOD con un costo computazionale essenzialmente nullo. A differenza dei metodi che richiedono ulteriori passaggi forward/backward (ad esempio, SAM) o trasformazioni complesse dei dati, questo metodo richiede solo il monitoraggio della norma del gradiente pulito precedente per scalare gli aggiornamenti rumorosi.

Gli autori sostengono che il successo di questo metodo derivi dalla sua capacità di:

1. Fuggire dai Minimi Locali: Le epoche rumorose forniscono "scosse" che permettono all'ottimizzatore di sfuggire a minimi acuti e subottimali.
2. Prevenire l'Oblio Catastrofico: Le epoche pulite agiscono come "promemoria", assicurando che il modello mantenga rappresentazioni delle caratteristiche accurate.
3. Targetizzare i Bias Induttivi: Selezionando il tipo di rumore appropriato (impulso per le CNN, Gaussiano per i ViT), il metodo penalizza specificamente i fallimenti incoraggiati dal bias induttivo del modello (ad esempio, l'eccessiva dipendenza da caratteristiche locali dei pixel nelle CNN o da caratteristiche globali spurie nei ViT).

Il lavoro suggerisce che il rumore non debba essere visto solo come uno strumento di regolarizzazione per la robustezza, ma come un meccanismo per migliorare l'obiettivo di ottimizzazione stesso, portando a minimi più piatti e generalizzabili.