t-SNE Exaggerates Clusters, Provably

Questo articolo dimostra che, contrariamente alla convinzione diffusa, l'algoritmo t-SNE esagera le strutture a cluster e rende inaffidabile l'interpretazione della forza dei raggruppamenti o della natura dei punti anomali presenti nei dati di input.

L'essenziale

🎨 Il "Filtro Instagram" che mente: Perché il t-SNE inganna i nostri occhi

Immagina di avere una stanza piena di persone. Alcune sono amici stretti che ridono insieme (i cluster), altre sono estranei che stanno in disparte, e c'è anche un tizio che è così fuori posto da sembrare un alieno (un outlier).

Il t-SNE è uno strumento informatico molto famoso che serve a prendere questa stanza affollata e a proiettarla su un foglio di carta (o uno schermo) in modo che possiamo vederla tutta insieme. L'idea è: "Se due persone sono vicine nella stanza, dovrebbero essere vicine anche sul foglio. Se sono lontane, devono esserlo anche lì."

Tutti pensavano che questo strumento fosse onesto, come una mappa fedele. Questo paper dice: "No, non è così. Il t-SNE è un mago che fa trucchi di prestigio e spesso mente."

Ecco i due grandi trucchi che ha scoperto:

1. Il Trucco del "Gruppo Finto" (L'Esagerazione dei Cluster)

Immagina di avere due gruppi di persone nella stanza.

• Scenario A: I due gruppi sono separati da un muro alto 10 metri. Sono chiaramente divisi.
• Scenario B: I due gruppi sono mescolati, si toccano quasi, c'è un caos totale.

Il paper dimostra che il t-SNE può disegnare esattamente lo stesso disegno per entrambi gli scenari! Sul foglio vedrai due palline perfette e separate, anche se nella realtà le persone erano tutte mischiate.

L'analogia: È come se avessi un filtro per le foto che rende sempre i capelli più voluminosi. Se hai i capelli lisci o arruffati, il filtro li rende tutti ugualmente "gonfi". Se vedi una foto con i capelli gonfi, non puoi sapere se la persona aveva i capelli lisci o arruffati prima del filtro. Il t-SNE prende dati che non hanno struttura e crea una struttura bellissima e ordinata dal nulla. Non puoi fidarti di quanto siano "forti" i gruppi che vedi.

2. Il Trucco dell'"Intruso Invisibile" (Gli Outlier)

Ora immagina che nella stanza ci sia un tizio vestito da alieno, lontanissimo da tutti gli altri.

• La realtà: L'alieno è a 100 metri da tutti.
• Il disegno del t-SNE: L'alieno finisce per essere schiacciato dentro il gruppo principale, o comunque molto vicino agli altri, come se fosse uno di loro.

Il t-SNE ha un "piede di porco" matematico che lo spinge a non lasciare nessuno troppo isolato. Se un punto è troppo lontano, il t-SNE lo trascina indietro nel gruppo per non "sporcarsi" il disegno.

L'analogia: È come un genitore che, quando porta i figli al parco, tiene sempre la mano del bambino più timido per non perderlo. Anche se il bambino vuole correre lontano, il genitore lo tiene vicino. Il t-SNE fa lo stesso: tiene gli "stranieri" (gli outlier) vicini alla folla, nascondendo il fatto che in realtà erano pericolosamente lontani.

3. Il "Punto Veleno" (L'Attacco Adversarial)

C'è un altro dettaglio spaventoso. Il paper mostra che basta aggiungere un solo punto sbagliato (chiamato "punto veleno") in mezzo ai dati per distruggere completamente il disegno.
Se metti un punto esattamente al centro della stanza, il t-SNE può smettere di vedere i gruppi e disegnare tutto come una grande macchia informe.

L'analogia: È come se in una partita a calcio, un solo arbitro che si siede al centro del campo potesse far credere che non ci siano due squadre, ma solo un gruppo di persone che corrono a caso. Basta un piccolo inganno per far crollare l'intera interpretazione.

🧐 Cosa dobbiamo imparare da tutto questo?

Il messaggio finale del paper è: "Prendi le visualizzazioni del t-SNE con le pinze".

1. Non fidarti ciecamente: Se vedi due cerchi perfetti, non significa che i dati siano così separati. Potrebbero essere un caos totale.
2. Non cercare i "cattivi": Se stai cercando frodi o dati anomali (outlier), il t-SNE è lo strumento sbagliato. Li nasconderà nel gruppo.
3. È un'arte, non una scienza esatta: Il t-SNE è fantastico per esplorare dati e trovare possibili idee, ma non è una prova matematica della realtà. È come guardare un quadro impressionista: è bello e ti dà un'idea, ma non è una fotografia fedele.

In sintesi: il t-SNE è un artista che ama le forme belle e ordinate, anche a costo di mentire sulla realtà dei dati. Sta a noi, scienziati e analisti, non farsi abbagliare dalla bellezza del disegno.

Sommario tecnico

1. Il Problema

Il t-Distributed Stochastic Neighbor Embedding (t-SNE) è diventato uno strumento standard nell'analisi esplorativa dei dati, utilizzato in campi che vanno dalla genomica a singola cella all'interpretabilità dei modelli linguistici. La convinzione diffusa è che la struttura visiva prodotta da t-SNE rifletta fedelmente la struttura dei dati in ingresso (ad esempio, la forza dei cluster o la presenza di outlier).

Tuttavia, gli autori sostengono che questa convinzione sia infondata. Il paper si propone di dimostrare teoricamente che:

1. La forza del clustering nell'input non può essere inferita dall'output di t-SNE.
2. La gravità degli outlier (punti estremamente distanti) non può essere rappresentata correttamente.
3. Esistono modalità di fallimento sistemiche in cui t-SNE genera "falsi positivi" (cluster visivi su dati non clusterizzati) e "falsi negativi" (assenza di cluster visivi su dati clusterizzati).

2. Metodologia

Gli autori combinano un'analisi teorica rigorosa con esperimenti empirici su dati sintetici e reali.

• Analisi Teorica:

  • Definiscono formalmente l'insieme delle uscite stazionarie di t-SNE ($t\text{-SNE}_\rho(X)$) come i punti critici della funzione di perdita (divergenza KL).
  • Utilizzano indici di clustering basati sulla distanza (come il Silhouette Score, Calinski-Harabasz Index e Dunn Index) per quantificare la qualità del clustering nell'input e nell'output.
  • Sfruttano le proprietà matematiche della matrice di affinità in ingresso ($P$) e in uscita ($Q$). In particolare, analizzano l'invarianza di t-SNE rispetto a trasformazioni additive e moltiplicative delle distanze quadrate e l'asimmetria tra la distribuzione di probabilità condizionata in ingresso (basata su Gaussiane) e in uscita (basata su una distribuzione $t$).
  • Dimostrano teoremi che costruiscono "dataset impostori": dataset con strutture metriche radicalmente diverse che producono esattamente la stessa visualizzazione t-SNE.

• Esperimenti Empirici:

  • Utilizzano dataset reali (es. PBMC3k per la genomica, BBC News per la classificazione di testi) e dati sintetici (misti di Gaussiane, simplex regolari).
  • Implementano attacchi avversariali:
    • Attacco "Poison Point": Inserimento di un singolo punto strategico per distruggere la struttura dei cluster.
    • Iniezione di Outlier: Inserimento di punti estremamente distanti per testare la capacità di rilevamento.
  • Confrontano t-SNE con PCA (Analisi delle Componenti Principali) e UMAP per evidenziare le differenze comportamentali.

3. Contributi Chiave e Risultati Teorici

Il paper presenta tre risultati principali che smantellano l'affidabilità interpretativa di t-SNE:

A. Misrappresentazione della Salienza del Cluster (Teorema 3 e Corollario 4)

• Risultato: È possibile costruire un dataset "impostore" ($X_\epsilon$) con una separazione tra cluster arbitrariamente debole (o nulla), tale che la sua visualizzazione t-SNE sia identica a quella di un dataset fortemente clusterizzato ($X$).
• Implicazione: Non è possibile distinguere, guardando solo il grafico t-SNE, se i dati originali avevano cluster ben separati o se erano quasi casuali. Un output visivamente perfetto (cluster ben distinti) può derivare da input con un Silhouette Score vicino a zero.
• Meccanismo: Questo è dovuto all'invarianza di t-SNE rispetto agli spostamenti additivi delle distanze quadrate. Modificando le distanze in modo da appiattire la struttura ma mantenere l'ordinamento relativo dei vicini, si ottiene la stessa affinità $P$ e quindi lo stesso output.

B. Instabilità sotto Perturbazioni (Teorema 5 e Lemma 6)

• Risultato: Piccole perturbazioni additive nelle distanze tra i punti (anche $\epsilon \le 0.01$) possono portare a visualizzazioni t-SNE radicalmente diverse.
• Implicazione: In spazi ad alta dimensionalità, dove le distanze tendono a concentrarsi (fenomeno della concentrazione della misura), i dati assomigliano a un "simplex regolare". In questo regime, t-SNE è estremamente instabile: dataset quasi identici metricamente possono produrre output completamente diversi.
• Attacco "Poison Point": Gli autori dimostrano che l'inserimento di un singolo punto "avvelenato" (posizionato strategicamente, ad esempio alla media dei dati) può distruggere completamente la struttura dei cluster nell'output, rendendo indistinguibili input clusterizzati da input non clusterizzati.

C. Misrappresentazione degli Outlier (Teorema 9)

• Risultato: Qualsiasi embedding stazionario di t-SNE è incapace di rappresentare outlier estremi. Il numero di outlier ($\alpha$) che t-SNE può visualizzare è limitato superiormente a circa 3.266 (indipendentemente da quanto estremo sia l'outlier nell'input).
• Implicazione: Se un punto è molto lontano dagli altri nell'input, t-SNE lo "schiaccia" all'interno della struttura dei cluster o lo posiziona ai margini, ma non ne preserva la distanza estrema. Al contrario, PCA tende a preservare la posizione degli outlier.
• Confronto: Sperimentazioni su dati finanziari (rilevamento frodi) mostrano che t-SNE mescola gli utenti fraudolenti (outlier) con i dati normali, mentre PCA li mantiene separati.

4. Significato e Implicazioni

Il lavoro ha un impatto significativo sulla pratica scientifica e sull'uso di t-SNE:

1. Avvertenza all'Interpretazione: Gli scienziati non dovrebbero usare t-SNE per inferire la "forza" di un cluster o la presenza di outlier. Un grafico t-SNE con cluster ben definiti non prova che i dati originali fossero fortemente clusterizzati.
2. Vulnerabilità Adversariale: La tecnica è suscettibile a manipolazioni minime (un solo punto può rovinare l'intera visualizzazione), il che la rende inaffidabile in contesti critici o quando i dati potrebbero contenere errori o punti anomali non rilevati.
3. Limiti Teorici: Il paper colma un vuoto nella letteratura teorica, fornendo la prima analisi formale delle modalità di fallimento (false positive/negative) di t-SNE, andando oltre le semplici osservazioni empiriche.
4. Alternative: Suggerisce cautela nell'uso di t-SNE per il rilevamento di outlier (dove PCA è superiore) e invita a esplorare altre tecniche di riduzione della dimensionalità, sebbene gli autori notino che anche UMAP condivide alcune di queste vulnerabilità (specialmente riguardo agli outlier).

In sintesi, il paper dimostra che t-SNE esagera i cluster e nasconde gli outlier, rendendo le sue visualizzazioni potenzialmente fuorvianti se interpretate come una rappresentazione fedele della geometria dei dati originali. La visualizzazione è un prodotto dell'ottimizzazione della perdita KL e non una mappa isometrica della struttura dei dati.