DR-SNE: Density-Regularized Stochastic Neighbor Embedding

Riepilogo Tecnico: DR-SNE (Stochastic Neighbor Embedding regolarizzato per densità)

Enunciato del Problema
I metodi standard di riduzione della dimensionalità, in particolare t-SNE e le sue varianti, sono formulati come problemi geometrici volti a preservare le relazioni di vicinato locale. Sebbene efficaci nel mantenere la struttura condizionale (somiglianze locali), questi metodi ignorano implicitamente la distribuzione della massa di probabilità all'interno del dataset. Di conseguenza, introducono spesso distorsioni severe nella densità dei dati, espandendo le regioni sparse e comprimendo quelle dense. Ciò porta a embedding che rappresentano in modo errato la distribuzione sottostante dei dati, producendo dimensioni dei cluster e relazioni spaziali fuorvianti. Gli approcci esistenti consapevoli della densità, come DensMAP e DenSNE, tentano di mitigare questo problema imponendo la coerenza nelle scale dei vicini locali (ad esempio, raggi o bande). Tuttavia, l'articolo sostiene che questi proxy basati sulla scala sono solo indirettamente correlati alla densità di campionamento locale e possono essere sensibili alla scala dell'embedding e alle definizioni del vicinato.

Metodologia
Gli autori propongono DR-SNE (Stochastic Neighbor Embedding regolarizzato per densità), una riformulazione della riduzione della dimensionalità come allineamento congiunto di due componenti:

1. Struttura Condizionale: Cattura delle relazioni locali (standard in SNE/t-SNE).
2. Struttura di Densità Relativa: Cattura della variazione della massa di probabilità tramite statistiche di densità locale.

Teoricamente, questo si basa sulla decomposizione della divergenza di Kullback–Leibler (KL) tra distribuzioni congiunte in componenti condizionali e marginali. Lo SNE standard ottimizza solo il termine condizionale fissando le distribuzioni marginali come uniformi. DR-SNE introduce un obiettivo complementare per allineare la densità marginale.

Implementazione Algoritmica:

• Stima della Densità: Le densità locali sia nello spazio ad alta dimensionalità ($X$) che nello spazio a bassa dimensionalità ($Z$) sono stimate utilizzando le distanze dei $k$-vicini più prossimi ($k$-NN).
• Normalizzazione: Queste stime di densità ($\rho$) sono normalizzate a media unitaria per garantire l'invarianza di scala.
• Funzione Obiettivo: La perdita totale $L$ combina la divergenza KL sparsa standard ($L_{KL}$) con un termine di regolarizzazione della densità ($L_{dens}$):
  $$L = L_{KL} + \lambda L_{dens}$$
  dove $L_{dens}$ minimizza la differenza quadrata tra le stime di log-densità normalizzate:
  $$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$$
• Ottimizzazione: Il metodo utilizza una fase di warm-up con esagerazione iniziale seguita da ottimizzazione tramite Adam con clipping del gradiente. Il parametro $\lambda$ controlla il compromesso tra fedeltà del vicinato e preservazione della densità.

Contributi Chiave

1. Riformulazione Teorica: L'articolo inquadra esplicitamente la riduzione della dimensionalità come allineamento congiunto della struttura condizionale e della densità marginale, identificando la negligenza del termine marginale come la causa radice della distorsione della densità nei metodi standard.
2. Allineamento Diretto della Densità: A differenza di lavori precedenti che si affidano a proxy basati sulla scala, DR-SNE allinea direttamente le stime di log-densità normalizzate. Questo fornisce un meccanismo invariante di scala per preservare le variazioni relative di densità.
3. Nuova Metrica di Valutazione: Gli autori introducono la Correlazione di Densità (DC), definita come la correlazione tra le stime di log-densità normalizzate negli spazi originale e di embedding, per valutare quantitativamente la preservazione della densità.
4. Validazione Empirica: Esperimenti estesi dimostrano che DR-SNE ottiene una preservazione della densità superiore rispetto a t-SNE, UMAP, PaCMAP, DensMAP e DenSNE, mantenendo al contempo una fedeltà del vicinato competitiva.

Risultati

• Preservazione della Densità: Su dataset diversificati (Digits, Fashion-MNIST, MNIST, PBMC, Shuttle e spirali sintetiche), DR-SNE ottiene costantemente i punteggi di Correlazione di Densità più alti. Ad esempio, sul dataset MNIST, DR-SNE ha ottenuto un DC di 0,991 rispetto a 0,987 per DensMAP e 0,118 per t-SNE standard.
• Compromesso Topologia vs. Densità: Gli studi di ablazione rivelano una chiara frontiera di Pareto. Aumentare $\lambda$ migliora la correlazione di densità in modo monotono ma degrada gradualmente l'affidabilità (struttura locale). Notevolmente, piccoli valori non nulli di $\lambda$ spesso migliorano sia la preservazione della densità che la struttura locale, agendo come stabilizzatori.
• Prestazioni a valle: Nei compiti di rilevamento delle anomalie (utilizzando kNN, LOF, Isolation Forest e rilevatori basati su centroidi), DR-SNE produce guadagni, in particolare nei regimi guidati dalla densità (ad esempio, Shuttle, Thyroid) dove le anomalie corrispondono a regioni a bassa densità. Mostra robustezza attraverso diversi rilevatori rispetto a metodi che eccellono solo con specifiche funzioni di punteggio.
• Costo Computazionale: DR-SNE mantiene la complessità temporale $O(n^2)$ per iterazione dello standard t-SNE a causa delle interazioni a coppie dense, sebbene gli autori notino che le tecniche di accelerazione esistenti (ad esempio, Barnes-Hut) potrebbero essere applicate.

Significato e Affermazioni
L'articolo afferma che DR-SNE offre un'"estensione semplice e fondata su principi" al framework degli vicini stocastici che affronta una limitazione fondamentale degli strumenti di visualizzazione ampiamente utilizzati. Incorporando esplicitamente informazioni sulla densità, DR-SNE fornisce una rappresentazione più fedele della distribuzione sottostante dei dati, in particolare in dataset ibridi contenenti sia cluster discreti che variazioni continue (ad esempio, dati di sequenziamento dell'RNA a singola cellula).

Gli autori sottolineano che il loro lavoro suggerisce che la riduzione della dimensionalità dovrebbe essere vista non meramente come un problema geometrico, ma come l'allineamento di componenti complementari della distribuzione dei dati. Sostengono che, mentre i metodi focalizzati sulla geometria rimangono preferibili per contesti puramente clusterizzati o dominati da varietà, gli embedding che preservano la densità sono critici per l'analisi statistica, il rilevamento delle anomalie e i compiti in cui la densità relativa dei punti dati porta informazioni significative. Il metodo fornisce un compromesso controllabile, permettendo ai praticanti di sintonizzare l'embedding in base al regime strutturale specifico dei loro dati.