Riepilogo Tecnico: Ripensare la Ripesatura della Perdita per l'Apprendimento in Squilibrio come Problema Inverso

1. Enunciato del Problema

Le reti neurali profonde hanno ottenuto successi significativi su dataset bilanciati come ImageNet, ma gli scenari reali spesso presentano distribuzioni a coda lunga, dove le classi principali (head) dominano lo spazio dei campioni mentre le classi secondarie (tail) hanno pochi campioni. Questo squilibrio causa un eccessivo pregiudizio dei modelli verso le classi principali, portando a una scarsa generalizzazione sulle classi secondarie.

Sebbene la ripesatura della perdita (loss reweighting) sia una strategia ampiamente utilizzata per mitigare questo problema regolando i pesi per classe, i metodi esistenti sono spesso euristici e privi di un obiettivo specifico. Manca un obiettivo ideale ben definito per la distribuzione della perdita per classe al termine dell'addestramento. Di conseguenza, le strategie attuali si basano su progetti ad hoc (ad esempio, frequenza inversa, numero effettivo di campioni) senza un obiettivo teorico rigoroso per guidare il processo di ripesatura.

2. Metodologia

Il documento propone un nuovo framework che ripensa la ripesatura della perdita attraverso la lente del Collasso Neurale (Neural Collapse - NC) e la formula come un problema inverso.

2.1. Fondamento Teorico: Collasso Neurale (NC)

Gli autori sfruttano il fenomeno del Collasso Neurale, osservato nella fase terminale dell'addestramento su dataset bilanciati, dove:

1. La variabilità intra-classe collassa: Le caratteristiche della stessa classe convergono verso la loro media di classe.
2. Geometria ETF Sempliciale: Le medie delle classi formano un ideale Frame Stretto Equiangolare (Equiangular Tight Frame - ETF).
3. Auto-dualità: I pesi del classificatore si allineano con le medie delle classi centrate.
4. Centro più vicino: La classificazione si semplifica nella ricerca della media di classe più vicina.

Insight Teorico Chiave: Il documento stabilisce che, sotto la geometria NC (nello specifico NC1-NC3), tutte le classi devono condividere la stessa perdita media. Gli autori dimostrano che se un coefficiente di squilibrio della perdita ($\rho$) rimane non nullo, la rete non può convergere verso la struttura ETF ideale. Pertanto, l'obiettivo ideale per la ripesatura nell'apprendimento a coda lunga è imporre una perdita media per classe uguale per facilitare la convergenza verso una geometria coerente con il NC.

2.2. Formulazione del Problema Inverso

Invece di prescrivere i pesi in modo euristico (visione "in avanti"), gli autori trattano la ripesatura come un problema inverso:

• Obiettivo: Lo stato ideale è quello in cui la perdita effettiva per ogni classe è uguale alla perdita media globale ($\bar{L}$).
• Inferenza: Dati gli attuali valori medi di perdita per classe $L_c(W)$, il metodo inferisce i pesi ottimali per classe $w_c$ che spingerebbero il sistema verso questo stato bilanciato.

Ciò è formulato come un problema inverso regolarizzato di Tikhonov:
$$\min_{w_c} (w_c L_c(W) - \bar{L})^2 + \alpha (w_c - w_c^{(0)})^2$$
Dove:

• $L_c(W)$ è la perdita media corrente per la classe $c$.
• $\bar{L}$ è la perdita media globale.
• $w_c^{(0)}$ è un peso a priori (ad esempio, da un metodo esistente o uniforme).
• $\alpha$ è un coefficiente di regolarizzazione.

2.3. Soluzione in Forma Chiusa

Il problema di ottimizzazione ammette una soluzione in forma chiusa per il peso ottimale $w_c^*$:
$$w_c^* = \frac{\bar{L} L_c(W) + \alpha w_c^{(0)}}{L_c(W)^2 + \alpha}$$
Ciò consente un'implementazione plug-and-play in cui i pesi sono inferiti dinamicamente a ogni passo di addestramento.

2.4. Strategia di Ripesatura a Due Livelli

Per affrontare il problema per cui le classi secondarie appaiono sporadicamente nei mini-batch (portando a una forza di ottimizzazione cumulativa debole), il metodo combina due componenti:

1. Ripesatura Inversa per Batch: Calcola i pesi $w_c^*$ per le classi presenti nel batch corrente utilizzando la soluzione in forma chiusa.
2. Ripesatura di Livello Macro: Introduce un fattore di compensazione consapevole della frequenza $\beta_c \propto (B_c)^{-\gamma}$, dove $B_c$ è il numero di batch in cui la classe $c$ è apparsa. Ciò garantisce che le classi secondarie ricevano una forza di ottimizzazione cumulativa sufficiente durante l'intero processo di addestramento.

Il peso effettivo finale è $\hat{w}_c = \beta_c \cdot w_c^*$.

3. Contributi Chiave

1. Identificazione di un Obiettivo Mancante: Il documento identifica che le attuali strategie di ripesatura mancano di una distribuzione di perdita ideale definita. Propone la perdita media per classe uguale come obiettivo teorico, derivato dai vincoli geometrici del Collasso Neurale.
2. Prospettiva del Problema Inverso: Presenta la ripesatura a coda lunga come un problema inverso, derivando una soluzione in forma chiusa per inferire dinamicamente i pesi per classe che soddisfano l'obiettivo di perdita uguale.
3. Algoritmo Plug-and-Play: Il metodo proposto è implementato come un algoritmo in forma chiusa, batch-wise, che può essere integrato con framework esistenti per l'apprendimento a coda lunga.
4. Giustificazione Teorica: Gli autori forniscono dimostrazioni che mostrano come uno squilibrio persistente della perdita impedisca la convergenza verso la geometria ETF ideale, motivando l'obiettivo di perdita uguale.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark standard a coda lunga: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT e iNaturalist.

• Prestazioni vs. Baseline di Ripesatura: Su CIFAR-100-LT (IF=100), il metodo proposto ha raggiunto un'accuratezza del 47,88%, superando la Cross-Entropy standard (41,62%) e altre strategie di ripesatura come Inv-Freq, CB, Focal e IB. Ha mostrato miglioramenti coerenti attraverso i fattori di squilibrio (50, 100, 200).
• Metriche del Collasso Neurale: Il metodo ha dimostrato un recupero superiore della geometria NC. Ha ottenuto valori inferiori per NC2 (distanza dall'ETF Sempliciale) e NC3 (distanza dall'auto-dualità) rispetto alle baseline, indicando che le caratteristiche apprese e i classificatori erano più vicini alla struttura simmetrica ideale. Ha inoltre ottenuto il coefficiente di squilibrio della perdita per classe ($\rho$) più basso.
• Prestazioni Stato dell'Arte (SOTA): Quando combinato con baseline robuste (ad esempio, GLMC, ETF-DR), il metodo ha migliorato costantemente le prestazioni, raggiungendo risultati SOTA su CIFAR-100-LT (63,9% con GLMC+Loss+LR) e ImageNet-LT (57,6% con GLMC+Loss+LR).
• Studi di Ablazione: Gli esperimenti hanno confermato che sia la componente inversa per batch che la compensazione di livello macro sono complementari, con la combinazione che produce i migliori risultati.

5. Significato e Affermazioni

Il documento afferma che definendo esplicitamente la perdita media per classe uguale come obiettivo per la ripesatura, il metodo fornisce un'alternativa razionale ai progetti euristici. Il significato risiede in:

• Allineamento Teorico: Collegare la ripesatura direttamente alle proprietà geometriche del Collasso Neurale, offrendo una spiegazione chiara del perché certe strategie di ripesatura funzionano (o falliscono) in base alla loro capacità di spingere il sistema verso una struttura ETF.
• Efficienza Pratica: La soluzione in forma chiusa introduce un sovraccarico computazionale trascurabile, rendendola altamente efficiente rispetto ai metodi che richiedono reti ausiliarie o procedure complesse di meta-apprendimento.
• Generalizzabilità: Il metodo agisce come un modulo di ripesatura generale che può essere applicato a vari framework esistenti per l'apprendimento a coda lunga (ad esempio, apprendimento contrastivo, metodi a due stadi) per migliorarne le prestazioni.

Gli autori concludono che imporre un equilibrio della perdita è un requisito fondamentale per raggiungere la geometria NC ideale in contesti squilibrati, e che la loro strategia basata sulla visione inversa raggiunge efficacemente questo obiettivo.