t-SNE Exaggerates Clusters, Provably

Cet article démontre de manière théorique et pratique que le t-SNE exagère la structure des regroupements, rendant impossible l'inférence fiable de la force des clusters d'entrée ou de l'extrémité des points aberrants à partir de ses visualisations.

L'essentiel

🎨 Le Magicien qui Ment : Pourquoi t-SNE exagère la réalité

Imaginez que vous avez une immense boîte remplie de milliers de billes de différentes couleurs. Certaines sont regroupées par couleur (rouge avec rouge, bleu avec bleu), d'autres sont éparpillées au hasard, et quelques-unes sont des "intrus" très loin de tout le monde.

Votre but est de prendre toutes ces billes en 3D (ou même en 1000 dimensions !) et de les étaler sur une simple feuille de papier en 2D pour voir les groupes. C'est ce que fait t-SNE, l'outil de visualisation le plus célèbre au monde pour les data scientists.

Les chercheurs de ce papier (Noah, Szymon et Nakul) ont découvert une vérité dérangeante : t-SNE est un magicien qui triche. Il ne montre pas toujours la vérité. Il peut transformer un tas de billes mélangées en un dessin de groupes parfaits, ou au contraire, faire disparaître un groupe bien formé.

Voici les trois grands mensonges qu'il raconte, expliqués avec des analogies :

1. Le Mensonge de la "Force" des Groupes (L'illusion de la séparation)

Le problème : Vous voyez deux îles bien séparées sur la carte de t-SNE. Vous pensez : "Wow, ces deux groupes sont très différents et bien séparés dans la réalité !"
La réalité : Ce n'est peut-être pas vrai.

• L'analogie : Imaginez que vous avez deux tas de sable. Dans la réalité, les tas sont collés l'un à l'autre, presque indistinguables. Mais t-SNE, comme un photographe qui utilise un filtre "contraste extrême", peut les étaler sur la photo pour qu'ils semblent être à des kilomètres l'un de l'autre.
• Ce que prouvent les auteurs : Ils ont démontré mathématiquement qu'on peut créer un "faux jeu de données" (un imposteur) où les points sont presque collés les uns aux autres, mais qui donne exactement la même image que des points très éloignés.
• La leçon : Si vous voyez deux groupes bien séparés sur un graphique t-SNE, ne vous fiez pas à la distance entre eux. Cela ne signifie pas qu'ils étaient aussi séparés dans les données réelles.

2. Le Mensonge de la "Stabilité" (L'effet papillon)

Le problème : Vous changez une toute petite donnée (une seule bille), et tout le dessin s'effondre ou change radicalement.
La réalité : t-SNE est extrêmement fragile.

• L'analogie : Imaginez une tour de Jenga (un jeu de blocs). Si vous retirez un seul bloc au hasard, la tour ne bouge pas. Mais avec t-SNE, c'est comme si retirer un seul grain de poussière faisait s'effondrer toute la structure ou la transformer en un château complètement différent.
• L'attaque "Poison" : Les auteurs ont montré qu'en ajoutant un seul point mal placé au milieu de vos données (un "point empoisonné"), on peut détruire la structure de groupes. Des données qui formaient deux groupes clairs peuvent soudainement ressembler à une seule grosse boule informe.
• La leçon : Si vous changez légèrement vos données (ou si vous avez un bruit de fond), le résultat de t-SNE peut être totalement différent. C'est dangereux pour la prise de décision.

3. Le Mensonge des "Outliers" (Les intrus invisibles)

Le problème : Vous avez un point très bizarre, très loin de tout le monde (un fraudeur dans un jeu de données bancaires, par exemple). Vous espérez le voir tout seul sur le graphique.
La réalité : t-SNE va le "forcer" à se fondre dans la foule.

• L'analogie : Imaginez un grand bal. Il y a 1000 personnes qui dansent en groupe. Soudain, un extraterrestre arrive, très loin de la piste de danse.
  • PCA (un autre outil) : L'extraterrestre resterait tout seul, bien visible, loin de tout le monde.
  • t-SNE : t-SNE est comme un organisateur de bal obsédé par le fait que "tout le monde doit se tenir la main". Il va attraper l'extraterrestre et le coller au bord de la piste de danse, en lui disant : "Viens, tiens la main de ce groupe, on ne veut pas de solitaires ici !".
• Ce que prouvent les auteurs : Ils ont prouvé que t-SNE a une limite mathématique : il ne peut jamais montrer un point comme étant "très, très loin". Il va toujours essayer de le rapprocher de quelqu'un, même si c'est faux.
• La leçon : Si vous cherchez des anomalies (fraudes, erreurs, cas rares), ne utilisez pas t-SNE. Il cachera vos intrus au sein des groupes normaux.

🏁 En résumé : Que faut-il retenir ?

Ce papier ne dit pas que t-SNE est inutile. Il dit qu'il faut faire très attention à comment on l'utilise et comment on lit ses résultats.

1. Ne confiez pas tout à la distance : Si deux groupes sont loin sur le graphique, ce n'est pas une preuve qu'ils sont loin dans la réalité.
2. Méfiez-vous des détails : Un tout petit changement dans vos données peut changer tout le dessin.
3. Oubliez-le pour les anomalies : Si vous cherchez des points bizarres, t-SNE va les cacher. Utilisez d'autres outils (comme la PCA) pour cela.

La conclusion des auteurs : t-SNE est un outil magnifique pour explorer des données et trouver des idées, mais il ne faut jamais le prendre comme une vérité absolue ou une preuve scientifique. C'est une carte dessinée par un artiste, pas un relevé topographique précis.

Résumé technique

1. Problématique

L'embedding stochastique de voisinage t-distribué (t-SNE) est devenu un outil standard en analyse exploratoire de données pour visualiser des structures de clusters dans des espaces de haute dimension. La conviction dominante parmi les praticiens est que la structure visuelle produite par t-SNE reflète fidèlement la structure des données d'entrée (par exemple, des clusters bien séparés dans l'entrée produisent des clusters bien séparés dans la sortie).

Cependant, les auteurs soulignent un manque critique d'analyse théorique concernant les faux positifs (clusters visuels apparaissant alors que les données d'entrée sont non structurées) et les faux négatifs (absence de clusters visuels alors que les données d'entrée sont fortement structurées). Le papier pose la question fondamentale : peut-on déduire avec certitude la force du clustering ou l'existence d'outliers dans les données d'origine à partir d'une visualisation t-SNE ?

2. Méthodologie

Les auteurs combinent une analyse théorique rigoureuse (basée sur l'optimisation non convexe et les propriétés géométriques de l'algorithme) avec des expérimentations empiriques sur des données synthétiques et réelles (génomique, classification de texte, transactions financières).

Leur approche repose sur l'étude des points stationnaires de la fonction de perte de t-SNE (divergence de Kullback-Leibler entre les matrices d'affinité d'entrée $P$ et de sortie $Q$). Ils exploitent deux propriétés clés de l'algorithme :

1. L'invariance additive des distances au carré : t-SNE est insensible aux décalages constants ajoutés aux distances au carré des données d'entrée.
2. L'asymétrie entre les matrices d'affinité d'entrée (basée sur des voisins les plus proches normalisés) et de sortie (basée sur une distribution $t$ à queue lourde).

3. Contributions Clés et Résultats Principaux

Le papier établit deux limitations majeures de t-SNE, prouvées mathématiquement et illustrées expérimentalement :

A. Mauvaise représentation de la saillance des clusters (Misrepresentation of Cluster Salience)

Les auteurs démontrent qu'il est impossible de déduire la force de la séparation des clusters dans les données d'entrée à partir de la visualisation de sortie.

• Théorème 3 & Corollaire 4 : Pour n'importe quelle visualisation t-SNE stationnaire (même avec des clusters parfaitement séparés), il existe un "jeu de données imposteur" ($X_\epsilon$) où la séparation entre les clusters est arbitrairement faible (voire nulle), qui produit exactement la même visualisation.
  • Mécanisme : En exploitant l'invariance additive, on peut transformer un dataset fortement clusterisé en un dataset presque non clusterisé (proche d'un simplexe régulier) sans changer les affinités d'entrée $P$, et donc sans changer la sortie $Y$.
• Théorème 5 (Instabilité) : De minuscules perturbations des distances dans les données d'entrée (de l'ordre de $\epsilon$) peuvent entraîner des changements drastiques dans la visualisation de sortie.
• Attaque par "point poison" (Théorème 7) : L'ajout d'un seul point de données (placé stratégiquement, par exemple à la moyenne des données) peut détruire complètement la structure de clusters visible dans la sortie t-SNE, rendant indistinguable un dataset fortement clusterisé d'un dataset totalement aléatoire.

B. Mauvaise représentation des outliers (Misrepresentation of Outliers)

Contrairement à l'intuition, t-SNE a tendance à masquer les outliers extrêmes plutôt qu'à les mettre en évidence.

• Théorème 9 : Quelle que soit la configuration des données d'entrée, même si un point est un outlier extrême (séparé par un hyperplan avec une marge très large), la visualisation t-SNE stationnaire ne peut pas représenter cet outlier comme étant "très loin" des autres.
  • Limite théorique : La mesure d'outlier ($\alpha$) dans la sortie est bornée par environ 3.266, indépendamment de la distance réelle dans l'entrée.
• Comportement observé : Les outliers extrêmes sont souvent "absorbés" dans la structure des clusters principaux ou placés à la périphérie immédiate, contrairement à l'Analyse en Composantes Principales (PCA) qui préserve mieux la distance relative des outliers.
• Résultat empirique : Sur des données financières (détection de fraude) et des articles de presse, t-SNE mélange les points frauduleux (outliers) avec le reste des données, tandis que PCA les sépare clairement.

4. Signification et Implications

Ce travail remet en question la fiabilité de l'interprétation qualitative des visualisations t-SNE :

1. Méfiance envers l'interprétation visuelle : Un cluster bien défini dans un graphique t-SNE ne garantit pas que les données d'origine sont fortement séparées. Inversement, l'absence de clusters ne prouve pas l'absence de structure.
2. Danger pour la science des données : L'utilisation de t-SNE pour la génération d'hypothèses, la conception d'expériences ou la conclusion scientifique est risquée, car l'algorithme peut créer des structures artificielles (faux positifs) ou en effacer de réelles (faux négatifs).
3. Vulnérabilité aux attaques : La sensibilité aux perturbations minimes et aux points "poison" rend t-SNE peu robuste pour des applications critiques où l'intégrité de la structure de données est primordiale.
4. Comparaison avec d'autres méthodes : Les auteurs notent que l'UMAP partage certaines de ces faiblesses (notamment pour les outliers), suggérant que ces problèmes sont inhérents à de nombreuses techniques de réduction de dimension basées sur la force ou l'optimisation de voisinage.

Conclusion

Le papier conclut que t-SNE est un outil puissant pour l'exploration visuelle, mais qu'il doit être utilisé avec une grande prudence. Les auteurs appellent à une compréhension plus profonde des limites théoriques de ces méthodes et à ne pas considérer les visualisations comme des vérités géométriques absolues sur les données sous-jacentes. La phrase clé résumant leur travail est : "On ne peut pas déduire le degré de saillance des clusters ou l'extrémité des outliers à partir d'un graphique t-SNE."