Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

Technische Samenvatting: Supervised Quadratic Feature Analysis (SQFA)

Probleemstelling
Supervised dimensionaliteitsreductie streeft naar het mappen van hoogdimensionale gelabelde data naar een lagerdimensionale feature-ruimte die de klassenseparatie maximaliseert. Hoewel niet-lineaire methoden bestaan, blijven lineaire methoden (het leren van filters $F$ waarvoor $z = F^T x$) essentieel vanwege hun eenvoud, interpreteerbaarheid en data-efficiëntie. Traditionele lineaire benaderingen, zoals Lineaire Discriminant Analyse (LDA), maximaliseren doorgaans specifieke statistische dissimilariteitsmaten tussen klasse-conditionele distributies, zoals de gekwadrateerdeerde Mahalanobis-afstand, de Bhattachacharyya-afstand of de Kullback-Leibler (KL) divergentie. Deze maten rusten echter vaak op specifieke aannames (bijv. homoscedasticiteit voor LDA) of leggen mogelijk niet de volledige geometrische structuur van de waarschijnlijkheidsverdelingen vast.

Methodologie
De auteurs introduceren Supervised Quadratic Feature Analysis (SQFA), een methode voor supervised dimensionaliteitsreductie die lineaire features leert door de Fisher-Rao-afstand tussen klasse-conditionele distributies onder Gaussische aannames te maximaliseren.

• Informatiegeometrisch kader: SQFA behandelt waarschijnlijkheidsverdelingen als punten op een statistisch manifold. Het maakt gebruik van de Fisher-informatie metriek om de geodetische afstand tussen distributies te definiëren, bekend als de Fisher-Rao-afstand. Deze afstand wordt geconceptualiseerd als de geaccumuleerde lokale discriminabiliteit langs de geodeet die twee distributies verbindt.
• Optimalisatiedoel: Het doel is om filters $F$ te vinden die de som van de paarwise Fisher-Rao-afstanden tussen klasse-conditionele distributies in de geprojecteerde ruimte maximaliseren.
• Omgaan met computationele beperkingen: Omdat er geen gesloten vorm beschikbaar is voor de Fisher-Rao-afstand tussen willekeurige multivariate Gaussische verdelingen, gebruikt SQFA twee strategieën:
  1. Zero-Mean Case (smSQFA): Voor Gaussische verdelingen met een gemiddelde van nul, is het manifold equivalent aan het manifold van Symmetric Positive Definite (SPD) matrices. De Fisher-Rao-afstand is proportioneel aan de affine-invariante afstand, die een gesloten oplossing heeft gebaseerd op gegeneraliseerde eigenwaarden.
  2. Algemeen geval (SQFA): Voor willekeurige Gaussische verdelingen maken de auteurs gebruik van de Calvo-Oller-bound, een gesloten vorm van een ondergrens afgeleid door de distributieparameters (gemiddelde en covariantie) in een SPD-matrix van dimensie $m+1$ in te bedden. Deze bound dient als een praktische surrogaat voor de Fisher-Rao-afstand.
• Varianten: Het optimalisatiekader is flexibel en staat het maximaliseren toe van andere dissimilariteitsmaten, inclus\n bij de Hellinger-afstand (SQFA-H), de Bhattachacharyya-afstand (SQFA-B), de Jeffreys-divergentie (SQFA-J) en de Wasserstein-afstand (SQFA-W).
• Implementatie: Filters worden geoptimaliseerd met behulp van L-BFGS. De methode bevat regularisatie om rank-gebrekkige covarianties te voorkomen en gaat de niet-convexiteit van het objectief om door middel van random initialisatie (waarbij resultaten robuustheid tonen over verschillende seeds).

Belangrijkste Bijdragen

1. Nieuw Objectief: SQFA is de eerste methode die expliciet de Fisher-Rao-afstand gebruikt als objectief voor supervised dimensionaliteitsreductie.
2. Praktische Surrogaat: Het artikel demonstreert dat de Calvo-Oller-bound een zeer effectieve en praktische proxy is voor de Fisher-Rao-afstand in real-world datasets, wat de optimalisatie van dit geometrische objectief mogelijk maakt zonder numerieke integratie.
3. Superieur Presteren van de Hellinger-afstand: Een belangrijke bevinding is dat de variant die de Hellinger-afstand maximaliseert (SQFA-H) consistent de hoogste classificatienauwkeurigheid bereikt over diverse datasets, waarbij zij varianten die de Fisher-Ro-afstand, de Bhattachacharyya-afstand en andere state-of-the-art methoden maximaliseren, overtreft.
4. Interpreteerbaarheid: De geleerde features zijn interpreteerbaar en lijken, in de context van natuurlijke snelheidsschatting, op bewegingsgevoelige receptieve velden die worden gevonden in biologische visuele systemen.

Resultaten
De auteurs hebben SQFA en zijn varianten geëvalueerd op vier datasets: SVHN (Street View House Numbers), MNIST, een dataset voor natuurlijke snelheidsschatting, en neurale spike-opnames uit de visuele cortex van macroques.

• Digit Classificatie (SVHN & MNIST): SQFA-varianten presteerden over het algemeen beter dan PCA, LDA, SPCA, LFDA, WDA en LMNN.
  • Op SVHN (waar klasse-gemiddelden minder informatief zijn dan covarianties), bereikten SQFA en SQFA-H de hoogste QDA- en kNN-nauwkeurigheid.
  • Op MNIST (waar klasse-gemiddelden wel informatief zijn), behaalde SQFA-H consistent de hoogste nauwkeurigheid over alle filteraantallen, gevolgd door SQFA-B. SQFA (Fisher-Rao) was competitief maar rangorde over het algemeen lager dan SQFA-H.
• Snelheidsschatting: In een taak betreffende natuurlijke videosnelheidsschatting presteerden smSQFA (die de exacte Fisher-Rao-afstand voor zero-mean Gaussische verdelingen maximaliseert) en SQFA-H bijna net zo goed als AMA-Gauss, een methode die specifiek is ontworig om de Bayesiaanse decoderingprestaties te optimaliseren. De door SQFA-varianten geleerde filters waren visueel vergelijkbaar met bewegingsgevoelige neuronen in de visuele cortex.
• Neurale Data: Op neurale opnames behaalde SQFA-H opnieuw de hoogste classificatienauwkeurigheid, wat het vermogen van de methode aantoont om stimulus-afhankelijke covarianties te exploiteren, zelfs in ruisige, niet-Gaussische data.
• Geometrische Analyse: De auteurs hebben geverifieerd dat het maximaliseren van de Calvo-Oller-bound inderdaad leidt tot de grootste Fisher-Rao-afstanden in de feature-ruimte vergeleken met andere objectieven. Bovendien waren de pairwise Calvo-Oller-bounds sterk gecorreleerd met de ware Fisher-Rao-afstanden.

Betekenis en Claims
Het artikel beweert dat informatiegeometrie een krachtig en onderbenut kader biedt voor supervised dimensionaliteitsreductie. Specifiek:

• Geometrisch vs. Informatietheoretisch: Het maximaliseren van de Fisher-Rao-afstand (een geometrische maat) levert features op die competitief zijn met het maximaliseren van informatie-theoretische maten (zoals de Bhattachacharyya-afstand) die direct verbonden zijn met de Bayes-fout.
• Het Hellinger Voordeel: De auteurs suggereren dat het superieure presteren van SQFA-H kan voortkomen uit de manier waarop de Hellinger-afstand paren klassen weegt. In tegen tegenstelling tot de Bhattachacharyya-afstand, die snel groeit voor goed gescheiden klassen (wat potentieel te veel nadruk legt op 'makkelijke' paren), richt de begrensde Hellinger-afstand zich op het scheiden van klassen die dicht bij elkaar liggen, wat vaak kritischer is voor multiclass discriminatie.
• Robuustheid: De methode is computationeel efficiënt, schaalt goed naar hoge dimensies en produceert robuuste features over verschillende classifiers (QDA en kNN).
• Toekomstige Richtingen: De auteurs merken op dat hoewel SQFA een Gaussische verdeling veronderstelt, de Calvo-Oller-bound zich uitstrekt tot andere elliptische verdelingen (bijv. Student-t, Cauchy), wat een pad biedt voor toekomstig werk op niet-Gaussische data. Zij identificeren ook het uitbreiden van het kader naar niet-lineair feature learning als een toekomstige richting.

Het artikel concludeert dat SQFA, met name de SQFA-H variant, een state-of-the-art benadering vertegenwoordigt voor het leren van lineaire features die de classificatienauwkeurigheid maximaliseren, waarmee het nut van informatiegeometrie in machine learning wordt gevalideerd.