Technische Samenvatting: Een Sterke Balanced-Softmax Classifier-Retraining Baseline voor Long-Tailed Recognition

1. Probleemstelling

Long-tailed recognition adresseert de uitdaging waarbij visuele categorieën een scheve frequentieverdeling volgen: een klein aantal "head"-klassen domineert de trainingsset, terwijl veel "tail"-klassen slechts zelden voorkomen. Standaard empirische risicominimalisatie (empirical risk minimization) zorgt ervoor dat modellen een excessieve beslissingsruimte toewijzen aan head-klassen, wat resulteert in een hoge algehele nauwkeurigheid maar een slechte prestatie op zeldzame, vaak cruciale categorieën.

Hoewel bestaande methoden dit aanpakken via loss re-weighting, marge-aanpassingen of decoupled training (het scheiden van representatie-leren van classifier-leren), blijft er een specifieke kloof bestaan: hoeveel residuële tail-fout blijft er over na het trainen van een representatie met een sterke, prior-bewuste loss zoals Balanced Softmax? Bovendien, kan deze fout worden verminderd door alleen de classifier te hertrainen onder gebalanceerde expositie, en kan synthetische boundary-supervisie (bijv. probes nabij beslissingsgrenzen) de tail-prestaties verder verbeteren?

2. Methodologie

Het paper stelt BS-cRT (Balanced Softmax Classifier Retraining) voor, een minimale tweestaps-procedure, en evalueert CBRM (Counterfactual Boundary Risk Minimization) als een diagnostische extensie.

2.1 BS-cRT: De Kern-Baseline

BS-cRT isoleert het effect van classifier-hertraining van de representatie-lering.

• Fase 1 (Representatie-lering): Een backbone netwerk ($f_\theta$) en een cosine classifier worden end-to-end getraind met de Balanced Softmax loss op de originele ongebalanceerde datastroom. Deze loss incorporeert de empirische klasse-prior ($\pi_c = n_c / \sum n_{c'}$) in de softmax-noemer om de label shift te corrigeren.
• Fase 2 (Classifier Hertraining): De backbone wordt bevroren. Alleen de cosine classifier gewichten worden opnieuw getraind.
  • Sampling: Training maakt gebruik van gebalanceerde episodische batches. Elke batch samplet $P$ klassen uniform zonder vervanging, met $K$ samples per klasse.
  • Loss: De Balanced Softmax loss wordt behouden, waarbij de originele empirische trainingspriors ($\pi_c$) worden gebruikt, niet een uniforme prior. Dit zorgt ervoor dat de doelstelling prior-bewust blijft terwijl de expositie aan klassen gebalanceerd is.
  • Inference: Voorspellingen gebruiken ruwe cosine logits ($\ell_c(z) = s \cdot \hat{w}_c^\top z$) zonder de log-prior term toe te voegen die tijdens de training werd gebruikt.

2.2 CBRM: Diagnostische Boundary Supervision

CBRM wordt geëvalueerd om te testen of synthetische probes nabij beslissingsgrenzen de tail-prestaties verder kan verbeteren dan BS-cRT.

• Mechanisme: Het houdt multi-prototype klasse-geheugens bij. Voor een sample identificeert het de moeilijkste negatieve klasse, construeert het een feature-space probe tussen de positieve en negatieve prototypes, en verdikt dit de probe met orthogonale ruis.
• Correctie: De auteurs identificeerden een kritieke foutmodus in de originele CBRM-implementatie: een marge/schaal mismatch. De originele methode paste een cosine-marge target toe op geschaalde logits, wat gradiënten veroorzaakte die ongeveer 30$\times$ groter waren dan de Balanced Softmax anchor. De gecorrigeerde versie berekent schendingen direct in de cosine-marge ruimte.
• Foutmodus-analyse: Zelfs met de gecorrigeerde loss faalt CBRM met hardest-negative mining in het verbeteren ten opzichte van BS-cRT. De analyse suggereert dat voor tail-samples de "hardste negatieve" vaak een head-klasse is. Bijgevolg worden synthetische probes head-class anchored, waardoor ze de tail-classifier richtingen terugtrekken naar de regio's van de head-klassen, wat de voordelen van gebalanceerde hertraining effectief ongedaan maakt.

3. Belangrijkste Bijdragen

1. Matched-Checkpoint Evaluatie: Het paper biedt een rigoureuze evaluatie van classifier-hertraining na Balanced Softmax, waarbij het effect van de tweede fase van de update isoleert van de representatie-lering door gebruik te maken van identieke Fase 1 checkpoints.
2. Demonstratie van Residuele Bias: Het demonstreert dat zelfs met een sterke prior-bewuste loss in Fase 1, de classifier-richtingen beïnvloed blijven door de ongebalanceerde trainingsstroom. Het hertrainen van de classifier onder gebalanceerde expositie herstelt consistent de tail-nauwkeurigheid.
3. CBRM Diagnostiek: Het paper identificeert en corrigeert een numerieke instabiliteit in boundary-probe methoden (marge/schaal mismatch) en onthult een geometrische foutmodus waarbij hardest-negative probes in long-tailed settings de head-class bias versterken in plaats van deze te verlichten.

4. Experimentele Resultaten

De methode werd geëvalueerd op CIFAR-100-LT, CIFAR-10-LT, ImageNet-LT en Places-LT over imbalance factoren (IF) van 50, 100 en 200.

4.1 Prestatiewinsten

BS-cRT verbetert consequent de Few-shot (Tail) nauwkeurigheid ten opzichte van de gematchte Balanced Softmax checkpoint:

• CIFAR-100-LT (IF=100): Few-shot nauwkeurigheid steeg met +5.15 punten (19.91% $\to$ 25.06%), waarbij de Top-1 nauwkeurigheid behouden bleef/verbeterde (40.73% $\to$ 41.07%).
• CIFAR-10-LT (IF=100): Few-shot nauwkeurigheid steeg met +5.83 punten (64.34% $\to$ 70.17%), waarbij Top-1 met +2.17 punten verbeterde.
• ImageNet-LT: Few-shot nauwkeurigheid steeg met +6.92 punten (38.21% $\to$ 45.13%), hoewel dit gepaard ging met een Top-1 trade-off (-1.64 punten).
• Places-LT: Few-shot nauwkeurigheid steeg met +9.78 punten (18.61% $\to$ 28.39%), waarbij Top-1 met +0.74 punten verbeterde.

4.2 CBRM Resultaten

• Originele CBRM: Veroorzaakte training instabiliteit (loss spikes) en nauwkeurigheidscollaps door de marge/schaal mismatch.
• Gecorrigeerde CBRM (Hardest Negative): Stabiliseerde de training maar verlaagde de Few-shot nauwkeurigheid met ongeveer 4 punten vergeleken met BS-cRT op CIFAR-100-LT (25.06% $\to$ 20.70%).
• Random Negative: Een diagnostische variant die gebruik maakte van random negatieve sampling vertoonde niet dezelfde tail-degradatie, wat de hypothese ondersteunt dat hardest-negative mining de head-class anchoring veroorzaakt.

5. Betekenis en Claims

Het paper positioneert BS-cRT niet als een vervanging voor complexe representatie-lerende methoden, maar als een noodzakelijke, laag-complexe baseline voor het vakgebied.

• Methodologische Implicatie: De auteurs stellen dat elke long-tailed methode die claimt tail-verbeteringen te realiseren (via prototypes, contrastief leren of synthetische data), eerst moet worden vergeleken met een gematchte Balanced-Softmax classifier-retraining baseline. Zonder deze controle kunnen de winsten die aan complexe mechanismen worden toegeschreven, simpelweg het resultaat zijn van het opnieuw schatten van de finale classifier onder gebalanceerde expositie.
• Praktisch Nut: BS-cRT biedt een deployment-vriendelijke manier om de tail-nauwkeurigheid te verbeteren zonder de backbone te hertrainen of inference-time modules toe te voegen (latency/geheugen overhead). Het is bijzonder relevant voor scenario's waarin de backbone vaststaat of duur is om te hertrainen.
• Inzicht in Boundary Supervision: Het paper concludeert dat synthetische boundary supervisie niet automatisch voordelig is. In long-tailed settings is de selectie van negatieve anchors cruciaal; het gebruik van "hardste" negatieven versterkt vaak onbedoeld de bias (head-class dominantie) die de hertraining juist probeert te corrigeren.

Samenvattend stelt het paper dat classifier-hertraining een krachtige, vaak over het hoofd geziene hefboom is voor long-tailed recognition, en dat BS-cRT dient als het standaard referentiepunt voor het evalueren van meer uitgewerkte interventies.