🤖 machine learning

Measuring Distortion in the Empty Regions of Dimensionality Reduction Scatterplots with the Gap Index

Cet article introduit l'indice Gap, une métrique de qualité rapide et interprétable pour les nuages de points de réduction de dimensionnalité qui mesure de manière unique la distorsion visuelle dans les régions vides en comparant les déformations spatiales des triangles vides par rapport à leurs homologues de haute dimension, remédiant ainsi à une limitation clé des métriques existantes qui se concentrent uniquement sur les relations entre les points.

Auteurs originaux : Jaume Ros, Alessio Arleo, Fernando Paulovich

Publié 2026-07-31

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jaume Ros, Alessio Arleo, Fernando Paulovich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un cartographe essayant de dessiner sur une feuille de papier plate la carte d'une ville géante, invisible et multidimensionnelle. C'est le défi quotidien de la Réduction de la Dimensionnalité, une branche de la science des données où les ordinateurs prennent des informations de haute dimension complexe (comme des milliers de caractéristiques décrivant un seul objet) et les compressent en un simple nuage de points en 2D pour que les humains puissent réellement les voir. Le but est de préserver l'intégrité des « quartiers » : si deux points sont proches dans la ville de haute dimension, ils doivent rester proches sur votre carte papier. S'ils sont éloignés, ils doivent le rester.

Mais attention, il y a un pièison : on ne peut pas aplatir parfaitement une sphère 3D sur une feuille 2D sans la déchirer ou l'étirer. Tout comme une carte du monde déforme la taille du Groenland ou la forme de l'Antarctique, ces cartes générées par ordinateur déforment inévitablement les données. Pour pouvoir faire confiance à ce que nous voyons, les scientifiques utilisent des « métriques de qualité » — des règles mathématiques qui mesurent à quel point la carte a été déformée. Pendant longtemps, ces règles ne vérifiaient que la distance entre les points (les données elles-mêmes). Elles demandaient : « Ces deux points sont-ils toujours voisins ? » Mais elles ignoraient largement l'espace blanc vide entre les points. Pourtant, en analyse visuelle, cet espace vide est tout aussi important que les points eux-mêmes ; c'est le silence entre les notes qui définit la musique, les vides qui indiquent où un groupe s'arrête et où un autre commence.

Cet article introduit une nouvelle façon de mesurer cette distorsion, appelée l'Indice de Gap (GI). Les auteurs, Jaume Ros, Alessio Arleo et Fernando Paulovich, soutiennent que les anciennes règles passent à côté de l'essentiel. Ils ont constaté que les métriques standards donnent souvent un « certificat de conformité » à des cartes qui paraissent visuellement chaotiques et trompeuses pour l'œil humain. Pour corriger cela, ils ont développé une méthode qui traite les espaces vides sur la carte comme les personnages principaux. Au lieu de simplement mesurer les points, ils découpent tout l'espace vide entre les points en triangles et vérifient si ces triangles ont été étirés ou écrasés par rapport à leur forme originale dans le monde de haute dimension.

La découverte fondamentale est que l'Indice de Gap est beaucoup plus sensible aux artifices visuels que les outils précédents. Dans leurs tests, ils ont montré qu'une technique populaire appelée t-SNE (qui est excellente pour séparer les grappes/clusters) peut créer de faux écarts et des motifs spécieux qui ressemblent à des groupes distincts, mais qui ne sont en fait que des artefacts mathématiques. Les métriques standards comme le « stress » ou la « fiabilité » (trustworthiness) ne remarquent presque rien à ce sujet, déclarant la carte presque parfaite. L'Indice de Gap, cependant, signale immédiatement ces zones vides comme étant hautement déformées, les colorant en rouge pour montrer où la carte a été étirée et en bleu là où elle a été compressée. Les auteurs suggèrent qu'en se concentrant sur ces « gaps », le GI fournit un bulletin de notes plus honnête pour l'analyse visuelle, aidant les utilisateurs à repérer quand une belle image cache en réalité une réalité déformée. Ils ont également montré que cette nouvelle métrique est rapide à calculer, fonctionnant efficacement même sur de grands ensembles de données, et peut être superposée directement au nuage de points pour offrir une vue de type carte de chaleur montrant exactement où la distorsion se produit.

Résumé technique : Mesurer la distorsion dans les régions vides des nuages de points de réduction de dimensionnalité avec l'Indice de Gap (Gap Index)

Problématique
La réduction de dimensionnalité (DR) est essentielle pour visualiser des données de haute dimension, mais toutes les projections entraînent une distorsion, à moins que les données ne reposent sur une variété (manifold) en 2D. Bien que des métriques de qualité existent pour quantifier cette distorsion, les métriques populaires actuelles (ex. : stress, fiabilité/trustworthiness, continuité) se concentrent principalement sur la préservation des relations entre les points de données, telles que les distances par paires ou les voisinages. Ces métriques échouent souvent à capturer les distorsions dans les « régions vides » ou les écarts entre les points. Cependant, ces espaces vides sont visuellement critiques ; ils définissent la séparation entre les clusters et la structure globale perçue par les utilisateurs. Par conséquent, les métriques peuvent rapporter une qualité élevée (faible distorsion) même lorsqu'une projection crée des motifs fallacieux ou des séparations trompeuses dans l'espace vide, menant à un excès de confiance dans l'analyse visuelle.

Méthodologie : L'Indice de Gap (GI)
Les auteurs introduisent l'Indice de Gap (GI), une métrique de qualité conçue pour quantifier spécifiquement la distorsion au sein des zones vides d'une projection en 2D. Le GI fonctionne en décomposant l'espace visuel en triangles et en comparant leur déformation par rapport à l'espace de haute dimension. Le calcul suit un pipeline modulaire :

Triangulation : La projection 2D est partitionnée en un ensemble de triangles non chevauchants à l'aide d'une triangulation de Delaunay. Cette méthode est choisie pour son efficacité de calcul ( $O(N \log N)$ ), sa capacité à couvrir l'enveloppe convexe des données, et sa propriété d'éviter les triangles minces et numériquement instables.
Déformation des triangles : Pour chaque triangle $t_i$ $t_{i}$ dans la projection 2D, le triangle correspondant $\hat{t}_i$ $\hat{t}_{i}$ est identifié dans l'espace de haute dimension en utilisant les trois mêmes sommets. La déformation est calculée en comparant les aires relatives de ces triangles.
- L'aire relative est définie comme l'aire du triangle divisée par la somme de toutes les aires des triangles respectifs. Cette normalisation garantit que la métrique est invariante par rapport à l'échelle.
- La valeur de déformation $D(t_i, \hat{t}_i)$ est calculée comme la différence entre les aires relatives, normalisée par le maximum des deux. Cela produit une valeur dans l'intervalle $[-1, 1]$ , où les valeurs positives indiquent un étirement (le gap est plus grand en 2D qu'en haute dimension) et les valeurs négatives indiquent une compression.
- Crucialement, l'aire du triangle en haute dimension peut être calculée en utilisant uniquement les distances par paires (via la formule de Héron), ce qui signifie que le GI ne nécessite pas de coordonnées explicites en haute dimension, seulement une matrice de distances.
Agrégation : Pour produire une métole scalaire unique, le GI agrège les valeurs de déformation absolues de tous les triangles à l'aide d'une moyenne pondérée. Le poids $w_i$ pour chaque triangle est le maximum de son aire relative dans l'espace 2D ou dans l'espace de haute dimension. Cela garantit que les écarts importants et visuellement saillants (qu'ils soient dans la projection ou dans les données originales) ont une influence plus grande sur le score final.
Visualisation : Le GI peut être superposé au nuage de points en colorant les triangles selon leurs valeurs de déformation. Une carte de couleurs divergente (bleu pour la compression, rouge pour l'étirement, jaune pour l'absence de distorsion) visualise la distorsion régionale. Pour atténuer le bruit visuel provenant des frontières des triangles, les auteurs proposent d'appliquer un flou gaussien au fond.

Contributions clés

Identification des limites : L'article souligne que les métriques de qualité standard sont insensibles aux déformations structurelles dans les régions vides qui ont un impact visuel élevé, ce qui peut induire les analystes en erreur.
Proposition d'une nouvelle métrique : Les auteurs introduisent l'Indice de Gap, une métrique qui déplace l'accent des relations point à point vers la distorsion des espaces vides (gaps) entre les points.
Évaluation et implémentation : L'article fournit une collection de jeux de données artificiels et réels pour évaluer le GI par rapport aux métriques populaires (stress, fiabilité, continuité, régularité/steadiness, cohésivité). Une implémentation Python en open-source est fournie pour reproduire les résultats.

Résultats
L'évaluation démontre que le GI est sensible aux distorsions que les autres métriques ne détectent pas :

Sensibilité aux artefacts visuels : Dans l'expérience du « jeu de données plan » (points distribués aléatoirement sur un plan 2D plongé dans un espace 3D), la PCA produit une projection parfaite (GI = 0), tandis que t-SNE crée des écarts de type clusters fallacieux. Alors que le stress et la fiabilité rapportent une distorsion minimale pour t-SNE, le GI identifie correctement la distorsion visuelle significative causée par les écarts artificiels.
Interprétabilité : Dans les jeux de données synthétiques (par exemple, un cube 3D avec une face manquante), la visualisation du GI met clairement en évidence les zones où l'espace vide a été étiré ou compressé, permettant aux utilisateurs d'inférer la structure originale de haute dimension (par exemple, identifier qu'une grande zone rouge dans la projection correspond à une face manquante dans l'objet 3D).
Performance : Le GI est efficace sur le plan computationnel, sa complexité étant dominée par la triangulation de Delaunay en $O(N \log N)$ , ce qui le rend adapté aux grands ensembles de données.

Signification et affirmations
L'article affirme que l'Indice de Gap offre un complément nécessaire aux métriques de qualité existantes en adressant un angle mort de l'analyse visuelle : la fiabilité des régions vides. En se concentrant sur les écarts qui définissent les clusters et les motifs, le GI offre une vue plus holistique de la qualité de la projection qui s'aligne mieux sur la perception humaine. Les auteurs soutiennent que le GI est rapide à calculer, interprétable et capable de détecter de petites déformations structurelles ayant un impact visuel élevé, lesquelles sont souvent négligées par les métriques centrées sur les points. Ce travail revisite et étend les concepts précédents de triangulation des projections, en les formalisant en une métrique de qualité normalisée et agrégée, adaptée tant à l'évaluation scalaire qu'à la visualisation régionale.

Articles similaires