The role of class encoding in neural collapse

Sintesi Tecnica: Il Ruolo della Codifica delle Classi nel Neural Collapse

Problematica
Il Neural Collapse (NC) è un fenomeno osservato nella fase terminale dell'addestramento di classificatori di reti neurali profonde, caratterizzato da specifiche strutture geometriche nelle attivazioni dell'ultimo strato nascosto quando l'errore di addestramento raggiunge lo zero. Sebbene il NC sia stato ampiamente studiato sotto il modello Unconstrained Features Model (UFM) con perdita Cross-Entropy, il suo comportamento sotto la perdita Mean Squared Error (MSE) rimane oggetto di indagine. Nello specifico, lavori precedenti hanno identificato due distinti esiti strutturali per le attivazioni medie delle classi nel modello UFM con perdita MSE e codifica one-hot: un Frame Ortogonale (OF) quando il bias del classificatore è assente o fortemente regolarizzato, e un Simplex Equiangular Tight Frame (ETF) quando è presente un bias non regolarizzato. La relazione tra queste strutture e l'influenza di codifiche di etichette arbitrarie sulle proprietà del NC non è ancora pienamente compresa. Questo articolo affronta il ruolo della codifica delle etichette e del termine di bias nell'emergere di tali strutture geometriche.

Metodologia
Gli autori analizzano il problema utilizzando l'Unconstrained Features Model (UFM) con una funzione di perdita di addestramento MSE. Il problema di ottimizzazione prevede la minimizzazione congiunta della perdita su feature non vincolate ($H$), un classificatore lineare ($W$) e un termine di bias ($b$), soggetti a regolarizzazione $\ell_2$ su tutti i parametri. Lo studio considera:

1. Codifiche delle Etichette: Dalla standard codifica one-hot a matrici di codifica arbitrarie $\bar{Y} \in \mathbb{R}^{K \times K}$, inclusa la label smoothing.
2. Regolarizzazione del Bias: L'impatto della variazione del coefficiente di regolarizzazione $\lambda_b$ associato al bias del classificatore.
3. Bilanciamento dei Dati: L'analisi copre scenari di dati sia bilanciati che sbilanciati.

Le derivazioni teoriche si basano sulle condizioni di ottimalità del primo ordine per caratterizzare i minimi globali. Gli autori introducono il concetto di "Shifted Simplex Equiangular Tight Frame" (SSETF) per unificare le strutture geometriche osservate.

Contributi Chiave e Risultati

1. Unificazione delle Strutture OF e Simplex ETF:
   Il documento dimostra che la transizione tra un Frame Ortogonale (OF) e un Simplex ETF è governata dal termine di bias. Per etichette codificate one-hot e dati bilanciati, al diminuire del coefficiente di regolarizzazione del bias $\lambda_b$, le feature medie non centrate transitano continuamente da un OF a un Simplex ETF.

   • Meccanismo: Il bias ottimale $b^*$ agisce per compensare la mancata centratura delle etichette. Nel limite di un bias non regolarizzato ($\lambda_b = 0$), il bias equivale alla media delle etichette, centrando efficacemente il problema e producendo una struttura Simplex ETF.
   • Definizione di SSETF: Gli autori definiscono un Shifted Simplex ETF (SSETF) come una generalizzazione che comprende sia gli OF (parametro di shift $\beta=0$) che i Simplex ETF (parametro di shift $\beta=1$). Dimostrano che la centratura di qualsiasi SSETF risulta in un Simplex ETF.

2. Ruolo del Bias nelle Codifiche Arbitrarie:
   Estendendo l'analisi oltre la codifica one-hot, gli autori mostrano che per qualsiasi codifica di etichette arbitraria e dati sbilanciati, il bias ottimale nel modello UFM mira a centrare le etichette. Nello specifico, se le etichette sono centrate ($Y \mathbf{1}_N = 0$), il bias ottimale è zero indipendentemente da $\lambda_b$. Se le etichette non sono centrate, il termine di bias sposta la soluzione per compensare la discrepanza tra la media globale delle etichette e l'origine.

3. Robustezza del Collasso della Variabilità (NC1):
   Il documento prova che la prima proprietà del Neural Collapse (NC1) — il collasso delle feature verso le loro medie di classe — si tiene per qualsiasi codifica di etichette e per qualsiasi forza di regolarizzazione del bias $\lambda_b \geq 0$, a condizione che i dati siano bilanciati. Ciò indica che il collasso della variabilità è indipendente dallo schema di codifica specifico.

4. Impatto sulla Auto-Dualità (NC3) e NC3':
   Lo studio rivela che la standard proprietà di auto-dualità (NC3), in cui i pesi del classificatore si allineano con le medie di classe, non è robusta rispetto a codifiche arbitrarie. L'applicazione di una trasformazione ortogonale alle etichette rompe l'allineamento diretto tra $W^*$ e le medie di classe $\bar{H}^*$.

   • Soluzione Proposta: Gli autori propongono una variante più debole, NC3', la quale afferma che i pesi del classificatore convergono alle medie di classe a meno di una riscalatura e di una rotazione/riflessione ortogonale. Dimostrano che NC3' si tiene per qualsiasi codifica bilanciata sotto il modello UFM con perdita MSE.

5. Convergenza verso Simplex ETF (NC2) e SSETF:
   Il documento stabilisce che se le feature medie ottimali formano un SSETF, le loro controparti centrate formano un Simplex ETF (soddisfacendo NC2). Gli autori congetturano che, per scenari bilanciati, le feature medie formano un SSETF se e solo se la codifica delle etichette stessa è un SSETF. Questa famiglia include sia la codifica one-hot che la label smoothing.

Significato e Rivendicazioni
Il documento sostiene di fornire un ponte teorico tra le precedentemente distinte strutture OF e Simplex ETF osservate nei classificatori addestrati con MSE, attribuendo la differenza esclusivamente al ruolo del termine di bias nel centrare le etichette. Introducendo il framework SSETF, il lavoro generalizza la comprensione del Neural Collapse a codifiche di etichette arbitrarie.

Gli autori notano con modestia che, sebbene abbiano identificato le condizioni sufficienti per NC2 (tramite codifiche SSETF) e provato la robustezza di NC1 e NC3', la completa caratterizzazione di quali codifiche portino a NC2 in contesti sbilanciati rimane una questione aperta. Il lavoro non propone nuovi algoritmi o applicazioni sperimentali, ma offre una chiarificazione teorica di come la codifica delle etichette e la regolarizzazione del bias interagiscano per dare forma al panorama geometrico del neural collapse.