Sintesi Tecnica: Inflazione del Rango di Fisher: Una Firma Spettrale della Memorizzazione sotto Rumore delle Etichette

Definizione del Problema

Le reti neurali profonde addestrate con rumore delle etichette (label noise) esibiscono una traiettoria di apprendimento distinta: esse apprendono prima pattern strutturati condivisi tra gli esempi puliti e successivamente memorizzano le etichette corrotte che contraddicono la distribuzione sottostante dei dati. Mentre la ricerca esistente ha ampiamente caratterizzato quando avviene la memorizzazione utilizzando metriche come la perdita di training/test, la dinamica delle predizioni o la geometria delle rappresentazioni, rimane un vuoto nella comprensione di come gli esempi corrotti rimodellino la struttura spettrale dei gradienti di addestramento durante questa transizione. Nello specifico, la visione geometrica globale di come evolve la covarianza del gradiente durante il passaggio dall'apprendimento della struttura alla memorizzazione rimane poco esplorata.

Metodologia

Gli autori propongono un'analisi spettrale della matrice di dispersione del gradiente di Fisher centrato derivata dai gradienti dell'ultimo strato per i singoli campioni di addestramento.

Definizioni Core

• Dispersione del Gradiente di Fisher Centrato ($S$): Sia $g_i$ il gradiente vettorializzato dello strato affine finale per l'esempio $i$. Gli autori definiscono il gradiente centrato $\bar{g}_i = g_i - \mu$, dove $\mu$ è il gradiente medio. La matrice di dispersione è $S = \sum \bar{g}_i \bar{g}_i^\top$.
• Rango Effettivo: Il paper utilizza il rango effettivo di entropia, definito come $er(S) = \exp(H(S))$, dove $H(S)$ è l'entropia spettrale degli autovalori normalizzati di $S$. Questa metrica quantifica il numero di direzioni effettive in cui la varianza del gradiente è distribuita.
• Attribuzione Leave-One-Out (LOO): Per identificare quali esempi guidano i cambiamenti di rango, gli autori definiscono $\Delta_i = er(S) - er(S_{-i})$, dove $S_{-i}$ è la matrice di dispersione calcolata rimuovendo l'esempio $i$ e ricentrando i dati. Un $\Delta_i$ positivo indica che l'esempio contribuisce all'inflazione del rango.

Framework Teorico

Gli autori sviluppano una teoria spettrale per spiegare tre osservazioni empiriche:

1. Inflazione del Rango: La corruzione delle etichette aumenta il rango effettivo della covarianza del gradiente.
2. Arricchimento da Corruzione: I campioni corrotti contribuiscono più dell'inflazione del rango rispetto ai campioni puliti.
3. Indebolimento del Segnale: Il segnale di attribuzione diminuisce una volta completata la memorizzazione.

La teoria postula che le etichette corrotte iniettino massa di covarianza in direzioni spettrali a bassa energia o precedentemente inutilizzate della dispersione del gradiente di Fisher. Ciò aumenta l'entropia spettrale, incrementando di conseguenza il rango effettivo. Gli autori derivano una formula di attribuzione LOO del primo ordine mostrando che gli esempi con gradienti allineati con le "direzioni spettrali che aumentano il rango" (dove il coefficiente di sensibilità spettrale $\beta_k > 0$) contribuiscono maggiormente all'inflazione. Dimostrano inoltre che, una volta che lo spettro del gradiente normalizzato si stabilizza (post-memorizzazione), i segnali di attribuzione individuali svaniscono.

Setup Sperimentale

Il fenomeno viene valutato attraverso:

• Dataset: CIFAR-10, CIFAR-100 (con corruzione sintetica simmetrica delle etichette) e CIFAR-10N (con errori di annotazione umana naturalmente occorrenti).
• Architetture: SmallCNN, ResNet18 e Vision Transformers (ViT).
• Protocollo: L'addestramento viene monitorato per identificare l' "epoca di picco del rango" (dove il rango effettivo è massimizzato). A questo checkpoint, vengono calcolati i contributi LOO per analizzare l'arricchimento a livello di campione.

Contributi Chiave

1. Identificazione dell'Inflazione del Rango di Fisher: Il paper identifica un'espansione transitoria del rango effettivo del gradiente di Fisher che si verifica specificamente durante la fase di memorizzazione dell'addestramento sotto rumore delle etichette, seguita da un collasso una volta che le etichette corrotte vengono adattate.
2. Spiegazione del Meccanismo Spettrale: Gli autori forniscono una derivazione teorica che mostra come le etichette corrotte gonfino il rango effettivo distribuendo la massa spettrale in direzioni proprie deboli o nuove, aumentando l'entropia spettrale.
3. Attribuzione a Livello di Campione: Viene derivato un framework di attribuzione LOO del primo ordine, stabilendo le condizioni in cui gli esempi corrotti mostrano contributi al rango superiori rispetto agli esempi puliti. La teoria spiega perché questo segnale si indebolisce post-memorizzazione a causa della stabilizzazione dello spettro normalizzato.
4. Validazione Empirica: Il fenomeno è validato attraverso molteplici architetture e dataset, inclusi gli errori umani naturali, dimostrando che l'Inflazione del Rango di Fisher è una firma spettrale robusta della memorizzazione piuttosto che un artefatto della generazione di rumore sintetico.

Risultati Sperimentali

• Traiettoria Inflazione-Collasso: In tutti i setting, il rango effettivo di Fisher esibisce una traiettoria coerente: aumenta durante l'addestramento precoce, raggiunge il picco durante la transizione alla memorizzazione e collassa con l'avanzare dell'addestramento.
• Arricchimento degli Esempi Corrotti: Al checkpoint di picco del rango, gli esempi corrotti sono sproporzionatamente rappresentati tra i campioni che contribuiscono maggiormente al rango.
  • Rumore Sintetico: Nei primi 100 contributori di rango, la frazione di etichette rumorose varia dal 69,2% (ViT su CIFAR-10) al 96,2% (SmallCNN su CIFAR-10).
  • Rumore Umano: Su CIFAR-10N (errori umani naturali), gli esempi corrotti costituiscono il 94,4% dei primi 100 contributori, nonostante rappresentino solo circa il 40% del dataset.
• Dipendenza dalla Severità: L'entità del picco del rango di Fisher aumenta monotonicamente con la severità della corruzione. Sotto addestramento pulito, il rango di picco è ~28,9, salendo a 97,1 con una corruzione del 60%.
• Tempistica: In diversi casi, l'inizio dell'Inflazione del Rango di Fisher precede la degradazione osservabile del test, suggerendo che essa cattura l'inizio della memorizzazione prima che il fallimento della generalizzazione diventi evidente.
• Differenze di Architettura: Sebbene il fenomeno sia universale, la forza del segnale di attribuzione varia. I modelli convoluzionali (SmallCNN, ResNet) mostrano un forte allineamento tra l'attribuzione spettrale del primo ordine e i contributi LOO esatti (correlazione di Spearman > 0,96), mentre i Vision Transformer mostrano un segnale più debole, suggerendo che gli effetti di ordine superiore possano essere più prominenti nei transformer.

Significato e Rivendicazioni

Il paper sostiene di aver stabilito l'Inflazione del Rango di Fisher come una distinta firma spettrale della memorizzazione sotto rumore delle etichette. La sua importanza risiede nel:

• Connettere Dinamiche e Geometria: Collega le dinamiche dello spettro del gradiente di Fisher dell'ultimo strato al processo specifico di adattamento delle etichette corrotte, offrendo una prospettiva geometrica che integra le analisi basate sulla perdita.
• Distinguere Difficoltà da Corruzione: Attraverso un esperimento di "controllo della difficoltà del clean", gli autori dimostrano che l'Inflazione del Rolo di Fisher è guidata dalla memorizzazione della corruzione delle etichette piuttosto che semplicemente da esempi puliti "difficili" o rari (che mostrano contributi al rango trascurabili).
• Robustezza alla Fonte del Rumore: La persistenza del fenomeno sotto gli errori di annotazione umana naturalmente occorrenti (CIFAR-10N) suggerisce che il meccanismo cattura un aspetto fondamentale di come le reti profonde elaborano la supervisione incoerente, piuttosto che essere un artefatto di specifici modelli di rumore sintetico.
• Limitazioni: Gli autori notano con modestia che l'Inflazione del Rango di Fisher è una firma spettrale della memorizzazione, non necessariamente una regola di arresto online universale o un rilevatore di etichette rumorose con prestazioni di separazione globale perfetta (i valori AUROC sono modesti, ad esempio ~0,6–0,8). I risultati teorici sono affermazioni spettrali locali a checkpoint fissi, e l'approssimazione di attribuzione del primo ordine è meno accurata per modelli ad alta capacità come ViT e CIFAR-100.