Supervised Dimensionality Reduction Revisited: Why LDA on Frozen CNN Features Deserves a Second Look

1. Probleemstelling

Binnen het domein van transfer learning voor beeldclassificatie is het standaardpraktijk geworden om vooraf getrainde Convolutionele Neural Networks (CNN's) te gebruiken met "bevroren" gewichten. De gebruikelijke workflow bestaat uit het extraheren van hoge-dimensionale feature-vectoren uit een late laag van het netwerk (bijv. 512 of 2048 dimensies) en het direct voeden hiervan aan een lineaire classifier (zoals logistieke regressie).

De auteurs stellen de vraag of het volledige feature-vektor wel de juiste input is voor de downstream classifier. Omdat deze features zijn geoptimaliseerd voor ImageNet (1000 klassen), maar vaak worden toegepast op taken met veel minder klassen (bijv. 100 of 200), kan de intrinsieke dimensionaliteit van de data veel lager zijn dan de omringende ruimte. Er is weinig systematisch onderzoek gedaan naar het effect van het reduceren van de dimensionaliteit van deze features voordat ze worden geclassificeerd, en welke methode hiervoor het meest geschikt is.

2. Methodologie

De auteurs hebben een uitgebreid gecontroleerd experiment uitgevoerd om tien verschillende methoden voor dimensionaliteitsreductie te vergelijken.

• Opzet:

  • Backbones: Vier verschillende CNN-architecturen (ResNet-18, ResNet-50, MobileNetV3-Small, EfficientNet-B0).
  • Datasets: CIFAR-100 (100 klassen) en Tiny ImageNet (200 klassen).
  • Pipeline: Beeld $\rightarrow$ Bevroren CNN (feature extractie) $\rightarrow$ Dimensionaliteitsreductie $\rightarrow$ $\ell_2$-geregulariseerde logistieke regressie.
  • Statistiek: Alle experimenten zijn 5 keer herhaald met verschillende random seeds voor statistische significantie.

• Vergelijkde Methoden:

  1. Controle: Full Features (geen reductie) en PCA (onbewaakt).
  2. Klassieke Supervised: Linear Discriminant Analysis (LDA) en PCA+LDA.
  3. Academische Varianten: Regularized LDA (R-LDA), Local Fisher Discriminant Analysis (LFDA) en Neighbourhood Components Analysis (NCA).
  4. Nieuwe Extensies: De auteurs introduceerden twee lichte extensies:
     • Residual Discriminant Augmentation (RDA): Voegt PCA-componenten toe aan het orthogonale complement van de LDA-projectie.
     • Discriminant Subspace Boosting (DSB): Een iteratieve reweighting van trainingsstalen om de LDA-projectie te verfijnen.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs: Het eerste systematische bewijs dat LDA consistent de classificatie-accuraatheid verbetert ten opzichte van volledige features in transfer learning pipelines, met statistische significantie ($p < 0.001$).
2. Efficiëntie: Demonstratie dat LDA niet alleen de nauwkeurigheid verhoogt, maar ook de feature-dimensie met 61–95% verlaagt, wat leidt tot snellere classifier-training.
3. Benchmarking: Een uitgebreide vergelijking waarbij LDA de meeste geavanceerde methoden (LFDA, NCA) verslaat in zowel nauwkeurigheid als rekentijd.
4. Praktische Richtlijnen: Het afleiden van concrete richtlijnen voor practitioners over wanneer LDA te gebruiken, hoeveel componenten te behouden, en bij welke dataset-groottes de overgang optreedt.

4. Resultaten

De resultaten tonen een consistente en significante verbetering door het gebruik van LDA:

• Accuatuur: LDA verbeterde de nauwkeurigheid ten opzichte van volledige features in alle 8 configuraties (4 backbones $\times$ 2 datasets). De verbetering varieerde van 0,26% tot 4,6 percentagepunten.
  • Voorbeeld: Op MobileNetV3-Small met Tiny ImageNet steeg de nauwkeurigheid van 59,2% (full features) naar 63,4% (LDA), terwijl de dimensie werd gereduceerd van 576 naar 199.
• Vergelijking met PCA: LDA overtrof PCA in 7 van de 8 gevallen. Dit bevestigt dat label-informatie waardevoller is dan puur variance-gebaseerde selectie.
• Vergelijking met Geavanceerde Methoden:
  • LFDA en NCA: Presteerden slechter dan LDA en waren aanzienlijk trager (NCA was 10–25x trager).
  • R-LDA: Presteerde vergelijkbaar met LDA, met lichte voordelen op zeer hoge dimensies (ResNet-50/EfficientNet).
  • DSB: Leverde een marginale extra verbetering (0,2–0,4%) ten opzichte van LDA, maar verdubbelde de rekentijd.
• Data-efficiëntie: Bij zeer kleine datasets (<50 samples per klas) presteerde LDA slechter dan volledige features (vanwege ruis in de schatting van de scatter-matrices). Het "kruispunt" waar LDA beter wordt, ligt rond de 25–50% van de trainingsdata.
• Rekentijd: Full features waren nooit Pareto-optimaal; LDA was in alle gevallen sneller (door lagere dimensie) én nauwkeuriger.

5. Significantie en Conclusie

De kernconclusie van het artikel is dat supervised dimensionaliteitsreductie (LDA) ondergewaardeerd is in de moderne transfer learning pipeline.

• Mechanisme: LDA werkt als een vorm van impliciete regularisatie. Het projecteert features op een subruimte die de doelklassen optimaal scheidt en verwijdert ruis of informatie die relevant was voor ImageNet maar niet voor de target task.
• Praktische Implicatie: Voor elke pipeline met bevroren features zou een LDA-projectiestap standaard moeten worden overwogen. Het is eenvoudig te implementeren (bijv. via scikit-learn), kost weinig tijd en verbetert de prestaties betrouwbaar zonder risico op degradatie.
• Aanbevelingen:
  • Gebruik altijd $d = C - 1$ componenten (waarbij $C$ het aantal klassen is).
  • Vermijd complexe methoden zoals LFDA en NCA voor dit specifieke doel.
  • Gebruik volledige features alleen bij zeer kleine datasets (<50 samples per klas).

Samenvattend stelt het papier dat een goed geconfigureerde LDA-projectie een "best practice" moet worden voor classificatie met bevroren CNN-features, omdat het zowel de nauwkeurigheid verhoogt als de computatiekosten verlaagt.