Riepilogo Tecnico: PCA Non Lineare tramite Strategie Evolutive

Definizione del Problema

L'Analisi delle Componenti Principali (PCA) è una tecnica dominante di riduzione della dimensionalità, apprezzata per la sua interpretabilità e la sua natura deterministica. Tuttavia, la sua dipendenza da trasformazioni lineari limita la capacità di catturare strutture non lineari complesse intrinseche nei dati reali. Le estensioni non lineari esistenti affrontano significativi compromessi:

• Kernel PCA (kPCA): Sebbene catturi la non linearità, sacrifica l'interpretabilità (le componenti principali non si mappano direttamente sulle variabili originali) e fatica nella selezione degli iperparametri.
• Autoencoder: Questi mancano della proprietà intrinseca di massimizzazione della varianza e dell'ortogonalità della PCA, e le loro variabili latenti sono spesso difficili da interpretare.
• Gestione dei Dati Categorici: La PCA standard e molti metodi NLPCA non riescono a gestire nativamente variabili categoriche o ordinali. La conversione in codifiche one-hot causa un "esplosione dimensionale", dove i livelli categorici dominano il contributo della varianza, sbilanciando l'analisi. Inoltre, i metodi esistenti come la Multiple Factor Analysis (MFA) richiedono la codifica one-hot, portando a instabilità in dataset con molti livelli unici.

Gli autori identificano una lacuna per un framework che unifichi l'interpretabilità della PCA con la flessibilità delle reti neurali, capace di gestire tipi di dati misti senza esplosione dimensionale.

Metodologia

Il framework proposto, Non-linear PCA via Evolution Strategies (ES), consiste in tre componenti principali:

1. Parametrizzazione delle Trasformazioni

Invece di apprendere una mappatura non lineare globale, il metodo parametrizza una funzione di trasformazione separata $\Phi_l$ per ogni variabile originale $X^{(l)}$.

• Architettura: Ogni $\Phi_l$ è implementata come una semplice rete neurale feed-forward.
• Gestione dei Dati Categorici: Per le variabili categoriche, l'input è codificato one-hot, ma la rete produce un singolo valore scalare. Ciò assicura che ogni variabile originale (sia essa numerica o categorica) mappi esattamente a una dimensione trasformata, prevenendo l'esplosione dimensionale associata alla standard one-hot encoding in PCA o MFA.
• Interpretabilità: La mappatura uno-a-uno permette alle componenti risultanti di essere ricondotte a specifiche variabili originali.

2. Ottimizzazione tramite Strategie Evolutive (ES)

La funzione obiettivo coinvolge la decomposizione in autovalori della matrice di covarianza, che è non differenziabile. Di conseguenza, non può essere utilizzata la classica backpropagation.

• Algoritmo: Gli autori impiegano le Strategie Evolutive (ES), un metodo di ottimizzazione black-box derivativo-free.
• Processo: I parametri delle reti neurali vengono perturbati con rumore Gaussiano. Il valore obiettivo viene calcolato per ogni perturbazione e i parametri vengono aggiornati sulla base di un'approssimazione del gradiente derivata dai campioni di rumore pesati. Questo aggira i vincoli di differenziabilità della standard decomposizione in autovalori.

3. Nuove Funzioni Obiettivo

Il documento introduce due funzioni obiettivo per massimizzare la varianza spiegata delle prime $k$ componenti principali:

• Obiettivo Globale ($F^k_{global}$): Massimizza la somma delle varianze delle prime $k$ componenti. Questo fornisce un singolo segnale scalare per l'intero sistema.
• Obiettivo Parziale (Granulare) ($F^k_l$): Un contributo innovativo che decompone la varianza globale per massimizzare il contributo di varianza individuale di ciascuna variabile trasformata.
  • Basandosi sulla Proposizione 3.1, il contributo di varianza $c_{j,l}$ della variabile $l$ all'autovalore $j$ viene calcolato.
  • L'obiettivo massimizza la somma di questi contributi individuali per ogni variabile separatamente.
  • Scaling: Per garantire un confronto equo con l'obiettivo globale, l'obiettivo globale è scalato verso il basso dal numero di variabili $p$ per far corrispondere l'ordine di grandezza del passo di apprendimento in ES.

Contributi Chiave

1. Estensione Non Lineare via Neuroevoluzione: Il documento propone un robusto framework NLPCA dove le trasformazioni delle variabili sono parametrizzate da reti neurali e ottimizzate usando ES. Ciò consente mappature arbitrariamente complesse evitando i problemi di differenziabilità della standard decomposizione in autovalori.
2. Massimizzazione della Varianza Granulare: L'introduzione della funzione obiettivo parziale è un contributo primario. Isolando e massimizzando il contributo di varianza specifico di ciascuna variabile, il metodo fornisce un segnale di apprendimento più forte e robusto rispetto alla massimizzazione della varianza globale, particolarmente in dimensioni elevate.
3. Gestione Unificata dei Dati: Il metodo gestisce nativamente variabili numeriche, categoriche e ordinali simultaneamente. Mappando ogni variabile categorica a una singola colonna trasformata, evita l'esplosione dimensionale della codifica one-hot, colmando il divario tra Kernel PCA e i metodi tradizionali basati sulle componenti come la MFA.

Risultati Sperimentali

Il metodo è stato valutato su tre dataset sintetici (cerchi annidati, sfere, strisce alternate) e cinque dataset reali (credito, ionosfera, cancro al seno, cuore, vino) da OpenML.

• Varianza Spiegata: Il metodo proposto (ES-PCA) ha superato costantemente la PCA lineare in tutti i dataset.
• Confronto con kPCA: Il metodo ES-PCA, in particolare con l'obiettivo parziale (ES-Partial), ha superato significativamente la Kernel PCA (kPCA) nei dataset reali per $k=2$ (varianza cumulativa delle prime due componenti).
  • Nota: Il confronto con kPCA è stato favorevole a kPCA poiché è stato riportato il miglior risultato tra quattro kernel (rbf, coseno, polinomiale, sigmoide) senza fine-tuning, mentre ES-PCA ha utilizzato i parametri di default.
• Performance dell'Obiettivo: L'obiettivo parziale ha costantemente prodotto una varianza spiegata maggiore e una convergenza più rapida rispetto all'obiettivo globale. Il guadagno di performance dell'obiettivo parziale rispetto all'obiettivo globale correla fortemente con la dimensionalità del dataset ($\rho=0.87$ per $k=1$ e $\rho=0.98$ per $k=2$).
• Interpretabilità: I risultati qualitativi sui dataset sintetici hanno dimostrato che le trasformazioni apprese erano intuitivamente interpretabili (ad esempio, catturando differenze di raggio nelle sfere o periodicità nelle strisce). Il metodo ha preservato la capacità di utilizzare gli strumenti standard di visualizzazione PCA come i biplot.

Significato e Rivendicazioni

Il documento sostiene di affrontare il "gap" nella ricerca NLPCA identificato nelle recensioni precedenti: la necessità di un framework generale con trasformazioni parametrizzate che mantenga l'interpretabilità.

• Interpretabilità: A differenza degli autoencoder o di kPCA, questo metodo preserva la mappatura uno-a-uno tra variabili originali e trasformate, permettendo agli analisti di utilizzare strumenti standard come i biplot per visualizzare i contributi delle feature e le relazioni non lineari.
• Robustezza ai Tipi di Dati: Gestendo le variabili categoriche senza one-hot encoding, il metodo offre un approccio più stabile ed efficiente per dataset reali non curati dove i livelli categorici possono essere numerosi o inconsistenti.
• Segnale di Apprendimento: Gli autori affermano che l'obiettivo parziale granulare fornisce un segnale di apprendimento superiore, consentendo al modello di apprendere più efficacemente in spazi ad alta dimensionalità dove gli obiettivi globali potrebbero faticare a fornire una guida specifica per le singole trasformazioni.

Gli autori rimangono modesti riguardo allo stato attuale del lavoro, notando che la varianza spiegata sta ancora aumentando con il numero di generazioni, suggerendo che ulteriori guadagni sono possibili. Riconoscono inoltre che, sebbene il metodo gestisca gli outlier meglio della PCA standard in alcuni contesti, tecniche di Robust PCA potrebbero essere integrate in lavori futuri.