Sintesi Tecnica: Un Forte Baseline di Classificazione e Riqualificazione Balanced-Softmax per il Riconoscimento Long-Tailed

1. Definizione del Problema

Il riconoscimento long-tailed affronta la sfida in cui le categorie visive seguono una distribuzione di frequenza sbilata: un piccolo numero di classi "head" (testa) domina l'insieme di addestramento, mentre molte classi "tail" (coda) appaiono infrequentemente. La standard empirica minimizzazione del rischio causa modelli che allocano uno spazio decisionale eccessivo alle classi head, risultando in un'accuratezza complessiva elevata ma con prestazioni scarse sulle categorie rare, spesso critiche.

Sebbene i metodi esistenti affrontino questo problema tramite la ricalibrazione del peso delle perdite (loss re-weighting), l'aggiustamento dei margini o l'addestramento disaccoppiato (separando l'apprendimento della rappresentazione dall'apprendimento del classificatore), rimane un vuoto specifico: quanto errore residuo della coda persiste dopo l'addestramento di una rappresentazione con una perdita forte e consapevole dei priori come la Balanced Softmax? Inoltre, è possibile ridurre tale errore riqualificando solo il classificatore sotto un'esposizione bilanciata, e può la supervisione di confini sintetici (ad esempio, sonde vicino ai confini decisionali) migliorare ulteriormente le prestazioni della coda?

2. Metodologia

Il documento propone BS-cRT (Balanced Softmax Classifier Retraining), una procedura minimale in due fasi, e valuta CBRM (Counterfactual Boundary Risk Minimization) come estensione diagnostica.

2.1 BS-cRT: Il Baseline Centrale

BS-cRT isola l'effetto della riqualificazione del classificatore dall'apprendimento della rappresentazione.

• Fase 1 (Apprendimento della Rappresentazione): Una rete backbone ($f_\theta$) e un classificatore cosine vengono addestrati end-to-end utilizzando la perdita Balanced Softmax sul flusso di dati sbilanciato originale. Questa perdita incorpora il prior empirico della classe ($\pi_c = n_c / \sum n_{c'}$) nel denominatore della softmax per correggere lo shift dei label.
• Fase 2 (Riqualificazione del Classificatore): Il backbone è congelato. Solo i pesi del classificatore cosine vengono riaddestrati.
  • Campionamento: L'addestramento utilizza batch episodici bilanciati. Ogni batch campiona $P$ classi uniformemente senza sostituzione, con $K$ campioni per classe.
  • Perdita: La perdita Balanced Softmax viene mantenuta, utilizzando i prior empirici originali di addestramento ($\pi_c$), non un prior uniforme. Ciò assicura che l'obiettivo rimanga consapevole del prior pur mantenendo l' esposizione alle classi bilanciata.
  • Inferenza: Le predizioni utilizzano i logit cosine grezzi ($\ell_c(z) = s \cdot \hat{w}_c^\top z$) senza aggiungere il termine di log-prior utilizzato durante l'addestramento.

2.2 CBRM: Supervisione del Confine Diagnostica

CBRM è valutato per testare se sonde sintetiche vicino ai confini decisionali possano migliorare le prestazioni della coda oltre il BS-cRT.

• Meccanismo: Mantiene memorie di prototipi multipli per classe. Per un campione, identifica la classe negativa più difficile, costruisce una sonda di spazio-caratteristica tra i prototipi positivo e negativo, e ispessisce questa sonda con rumore ortogonale.
• Correzione: Gli autori hanno identificato un modo di guasto critico nell'implementazione originale di CBRM: un mismatch tra margine e scala (margin/scale mismatch). Il metodo originale applicava un target di margine cosine a logit scalati, causando gradienti circa 30 volte più grandi dell'ancora Balanced Softmax. La versione corretta calcola le violazioni direttamente nello spazio del margine cosine.
• Analisi del Modo di Guasto: Anche con la perdita corretta, CBRM utilizzando il hardest-negative mining non riesce a migliorare rispetto al BS-cRT. L'analisi suggerisce che per i campioni della coda, il "negativo più difficile" è spesso una classe head. Di conseguenza, le sonde sintetiche diventano ancorate alle classi head, trascinando le direzioni del classificatore della coda verso le regioni delle classi head, annullando efficacementamente i benefici della riqualificazione bilanciata.

3. Contributi Chiave

1. Valutazione con Checkpoint Corrispondente: Il documento fornisce una valutazione rigorosa della riqualificazione del classificatore dopo la Balanced Softmax, isolando l'effetto dell'aggiornamento della seconda fase dall'apprendimento della rappresentazione utilizzando checkpoint identici della Fase 1.
2. Dimostrazione del Bias Residuo: Dimostra che anche con una perdita forte e consapevole dei priori nella Fase 1, le direzioni del classificatore rimangono influenzate dal flusso di addestramento sbilanciato. La riqualificazione del classificatore sotto esposizione bilanciata recupera costantemente l'accuratezza della coda.
3. Diagnostica CBRM: Il documento identifica e corregge un'instabilità numerica nei metodi di sonda del confine (mismatch margine/scala) e rivela un modo di guasto geometrico in cui le sonde degli anchor negativi più difficili rinforzano il bias delle classi head invece di alleviarlo.

4. Risultati Sperimentali

Il metodo è stato valutato su CIFAR-100-LT, CIFAR-10-LT, ImageNet-LT e Places-LT attraverso fattori di squilibrio (IF) di 50, 100 e 200.

4.1 Guadagni di Performance

BS-cRT migliora costantemente l'accuratezza Few-shot (Tail) rispetto al checkpoint Balanced Softmax corrispondente:

• CIFAR-100-LT (IF=100): L'accuratezza few-shot è aumentata di +5.15 punti (19.91% $\to$ 25.06%), con l'accuratezza Top-1 preservata/migliorata (40.73% $\to$ 41.07%).
• CIFAR-10-LT (IF=100): L'accuratezza few-shot è aumentata di +5.83 punti (64.34% $\to$ 70.17%), con il Top-1 che migliora di +2.17 punti.
• ImageNet-LT: L'accuratezza few-shot è aumentata di +6.92 punti (38.21% $\to$ 45.13%), sebbene ciò comporti un compromesso sul Top-1 (-1.64 punti).
• Places-LT: L'accuratezza few-shot è aumentata di +9.78 punti (18.61% $\to$ 28.39%), con il Top-1 che migliora di +0.74 punti.

4.2 Risultati CBRM

• CBRM Originale: Ha causato instabilità nell'addestramento (picchi di perdita) e un crollo dell'accuratezza a causa del mismatch margine/scala.
• CBRM Corretto (Hardest Negative): Ha stabilizzato l'addestramento ma ha ridotto l'accuratezza few-shot di circa 4 punti rispetto al BS-cRT su CIFAR-100-LT (25.06% $\to$ 20.70%).
• Random Negative: Una variante diagnostica che utilizza il campionamento di negativi casuali non ha mostrato lo stesso degrado della coda, supportando l'ipotesi che l'hardest-negative mining causi l'ancoraggio alle classi head.

5. Significato e Rivendicazioni

Il documento posiziona il BS-cRT non come un sostituto dei complessi metodi di apprendimento della rappresentazione, ma come un baseline necessario e a bassa complessità per il settore.

• Implicazione Metodologica: Gli autori sostengono che qualsiasi metodo long-tailed che rivendichi miglioramenti della coda (tramite prototipi, apprendimento contrastivo o dati sintetici) debba prima essere confrontato con un baseline di riqualificazione del classificatore Balanced-Softmax corrispondente. Senza questo controllo, i guadagni attribuiti a meccanismi complessi potrebbero essere semplicemente il risultato della ricalibrazione del classificatore finale sotto esposizione bilanciata.
• Utilità Pratica: Il BS-cRT offre un modo pronto per l'implementazione per migliorare l'accuratezza della coda senza riaddestrare il backbone o aggiungere moduli all'inferenza (overhead di latenza/memoria). È particolarmente rilevante in scenari in cui il backbone è fisso o costoso da riaddestrare.
• Insight sulla Supervisione del Confine: Il documento conclude che la supervisione del confine tramite dati sintetici non è automaticamente benefica. Nei contesti long-tailed, la selezione degli anchor negativi è critica; l'uso di negativi "più difficili" spesso rinforza involontariamente lo stesso bias (dominanza delle classi head) che la riqualificazione mira a correggere.

In sintesi, il documento afferma che la riqualificazione del classificatore è una leva potente e spesso trascurata per il riconoscimento long-tailed e che il BS-cRT funge da punto di riferimento standard per valutare interventi più elaborati.