Sintesi Tecnica: DREAMS – Preservare sia la Struttura Locale che quella Globale nella Riduzione della Dimensionalità

Problema

La riduzione della dimensionalità (DR) è essenziale per visualizzare dati ad alta dimensionalità, tuttavia i metodi esistenti eccellono tipicamente nel preservare o la struttura locale o la struttura globale, ma raramente entrambe simultaneamente.

• Struttura Locale: Metodi come t-SNE e UMAP preservano efficacemente le relazioni di vicinato e i cluster fini (ad esempio, tipi cellulari specifici), ma spesso distorcono le disposizioni globali (ad esempio, ampie separazioni di classe o traiettorie di sviluppo).
• Struttura Globale: Metodi come PCA e MDS preservano i pattern macroscopici dei dati e la varianza, ma spesso non riescono a risolvere le relazioni locali distinte, fondendo cluster differenti.

In dataset del mondo reale, come la trascrittomica a singola cellula, entrambi gli scali di struttura sono significativi e complementari. Trascurare uno di questi scali può portare a interpretazioni incomplete o distorte. Gli attuali approcci ibridi spesso faticano a bilanciare efficacemente questi obiettivi contrastanti o non riescono a recuperare gli estremi puri (lo standard PCA o t-SNE) all'interno dei loro spettri di ottimizzazione.

Metodologia: DREAMS

Gli autori propongono DREAMS (Dimensionality Reduction Enhanced Across Multiple Scales), un metodo non parametrico che combina la sensibilità locale di t-SNE con la preservazione della struttura globale di PCA tramite un semplice termine di regolarizzazione.

Meccanismo Core

DREAMS aumenta la funzione di perdita standard di t-SNE con una penalità quadratica che incoraggia l'embedding a bassa dimensionalità ad allinearsi con un embedding di riferimento globale precomputato (di default: PCA).

La funzione obiettivo è definita come:
$$L(Y) = (1 - \lambda)L_{t-SNE}(Y) + \lambda \frac{1}{n} \|Y - \alpha \tilde{Y}\|_F^2$$

Dove:

• $Y$ è l'embedding a bassa dimensionalità che viene ottimizzato.
• $L_{t-SNE}(Y)$ è la perdita t-SNE standard (divergenza di Kullback–Leibler tra le distribuzioni di similarità ad alta e bassa dimensionalità).
• $\tilde{Y}$ è l'embedding di riferimento globale precomputato (ad esempio, PCA).
• $\lambda \in [0, 1]$ è un iperparametro che controlla il compromesso tra la preservazione locale e quella globale.
• $\alpha$ è un fattore di scala scalare calcolato ad ogni iterazione del gradiente per far corrispondere la scala dell'embedding t-SNE ($Y$) con quella dell'embedding di riferimento ($\tilde{Y}$), garantendo la compatibilità tra la scala lineare di PCA e la scala non lineare di t-SNE.

Dettagli di Implementazione

• Embedding di Riferimento: Per impostazione predefinita, DREAMS utilizza PCA grazie alla sua velocità e interpretabilità. Tuttavia, il framework supporta altri metodi globali come MDS (indicato come DREAMS-MDS).
• Ottimizzazione: Il metodo è implementato sulla base della libreria openTSNE, aggiungendo il termine di regolarizzazione all'ottimizzazione del gradiente discendente.
• Approccio Alternativo: Gli autori hanno anche esplorato una variante di "Linear Decoding" (DREAMS-CNE-Decoder) utilizzando un decoder lineare addestrato per ricostruire i dati originali dall'embedding, ma hanno trovato l'approccio con riferimento precomputato superiore nella preservazione della struttura locale.
• Spettro: Variando $\lambda$, DREAMS genera uno spettro continuo di embedding:
  • $\lambda = 0$: Recupera lo standard t-SNE.
  • $\lambda = 1$: Recupera l'embedding PCA scalato.
  • $0 < \lambda < 1$: Fornisce un compromesso bilanciato.

Contributi Chiave

1. Strategia di Regolarizzazione: Introduzione di un termine di regolarizzazione semplice ed efficace che integra la preservazione della struttura globale (tramite PCA/MDS) direttamente nella funzione obiettivo di t-SNE.
2. Spettro di Visualizzazioni: Dimostrazione di uno spettro di embedding sintonizzabile che offre un compromesso allo stato dell'arte tra la preservazione della struttura locale e quella globale.
3. Benchmarking Completo: Valutazione di dieci algoritmi su undici dataset del mondo reale, inclusi dati di trascrittomica a singola cellula, dati genomici e dataset di immagini.
4. Implementazione Open-Source: Fornitura di un'implementazione open-source basata sulle librerie openTSNE e CNE (Contrastive Neighbor Embedding).

Risultati Sperimentali

Gli autori hanno valutato DREAMS rispetto ai baseline (t-SNE, UMAP, PCA, MDS) e ai metodi ibridi (TriMap, PaCMAP, PHATE, SQuadMDS-hybrid, StarMAP) utilizzando due metriche primarie:

• KNN (Locale): Recall dei k-vicini più prossimi.
• CPD (Globale): Correlazione delle distanze a coppie (correlazione di Spearman).

Risultati

• Compromesso Superiore: Su 10 dataset su 11, DREAMS (con $\lambda=0.15$ di default) ha ottenuto il punteggio aggregato locale-globale più alto. Ha mantenuto costantemente punteggi KNN vicini a t-SNE pur ottenendo punteggi CPD vicini a PCA.
• Confronto con gli Ibridi: DREAMS ha superato altri metodi ibridi come StarMAP e SQuadMDS-hybrid. Nello specifico, DREAMS preserva la struttura locale significativamente meglio di StarMAP (che usa UMAP) e offre un compromesso globale-locale più favorevole rispetto a SQuadMDS-hybrid.
• Qualità dello Spettro: Lo spettro di embedding generato da DREAMS ha fornito una transizione più fluida ed efficace tra gli estremi locali e globali rispetto ai metodi concorrenti, che spesso fallivano nel recuperare i limiti puri di PCA o MDS o subivano un degrado delle prestazioni agli estremi.
• Limitazioni: Su dataset privi di una prominente struttura globale (ad esempio, MNIST), DREAMS non è riuscito a massimizzare simultaneamente entrambi i parametri, poiché la struttura globale stessa era debole. In tali casi, le prestazioni sono state comparabili ad altri metodi.

Significato e Rivendicazioni

Il paper sostiene che DREAMS affronti una lacuna critica nella riduzione della dimensionalità, consentendo la preservazione simultanea delle strutture locale e globale senza compromessi sostanziali.

• Interpretabilità: Ancorando l'ottimizzazione di t-SNE a un riferimento PCA, DREAMS produce visualizzazioni che sono sia localmente dettagliate (rivelando cluster fini) che globalmente coerenti (preservando le ampie separazioni di classe), rendendole più fedeli alla gerarchia sottostante dei dati.
• Flessibilità: Il metodo è adattabile; gli utenti possono sintonizzare $\lambda$ per dare priorità alle caratteristiche locali o globali in base alle specifiche esigenze analitiche, o cambiare l'embedding di riferimento (ad esempio, MDS) se la PCA risulta subottimale per la geometria globale di un particolare dataset.
• Praticità: Gli autori osservano che, sebbene DREs introduca un leggero overhead computazionale dovuto al termine di regolarizzazione, l'impostazione predefinita ($\lambda=0.15$) funziona in modo robusto su diversi dataset senza richiedere un'estesa sintonizzazione degli iperparametri.

Gli autori concludono che DREAMS fornisce uno strumento di visualizzazione più fedele e interpretabile, particolarmente per i dataset gerarchici dove sono presenti strutture a molteplici scale.