🤖 machine learning

Measuring Distortion in the Empty Regions of Dimensionality Reduction Scatterplots with the Gap Index

Dit artikel introduceert de Gap Index, een snelle en interpreteerbare kwaliteitsmetriek voor dimensionaliteitsreductie-scatterplots die uniek visuele vervorming in lege regio's meet door de ruimtelijke deformaties van lege driehoeken te vergelijken met hun hoogdimensionale tegenhangers, waarmee een belangrijke beperking van bestaande metrieken wordt aangepakt die zich uitsluitend richten op puntenrelaties.

Oorspronkelijke auteurs: Jaume Ros, Alessio Arleo, Fernando Paulovich

Gepubliceerd 2026-07-31

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jaume Ros, Alessio Arleo, Fernando Paulovich

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een cartograaf bent die probeert een kaart te tekenen van een gigantische, onzichtbare, multidimensionale stad op een plat stuk papier. Dit is de dagelijkse uitdaging van Dimensionality Reduction (dimensiereductie), een tak van data science waarbij computers complexe, hoogdimensionale informatie (zoals duizenden kenmerken die een enkel object beschrijven) platdrukken tot een eenvoudige 2D-scatterplot zodat mensen het daadwerkelijk kunnen zien. Het doel is om de "buurten" intact te houden: als twee punten dicht bij elkaar liggen in de hoogdimensionale stad, moeten ze op je papieren kaart ook dicht bij elkaar blijven. Als ze ver uit elkaar liggen, moeten ze dat ook blijven.

Maar hier is de crux: je kunt een 3D-bol niet perfect platdrukken op een 2D-vel zonder scheuren of te vervormen. Net zoals een wereldkaart de grootte van Groenland of de vorm van Antarctica vervormt, vervormen deze door computers gegenereerde kaarten onvermijdelijk de data. Om te kunnen vertrouwen op wat we zien, gebruiken wetenschappers "kwaliteitsmetrieken"—mathematische linials die de mate van vervorming meten. Lange tijd controleerden deze linials alleen de afstand tussen de stippen (de datapunten) zelf. Ze vroegen: "Zijn deze twee stippen nog steeds buren?" Maar ze negeerden grotendeels de lege witte ruimte tussen de stippen. Toch is die lege ruimte in visuele analyse net zo belangrijk als de stippen zelf; het is de stilte tussen de noten die de muziek definieert, de gaten die vertellen waar de ene groep eindigt en de andere begint.

Dit artikel introduceert een nieuwe manier om die vervorming te meten, de Gap Index (GI). De auteurs, Jaume Ros, Alessio Arleo en Fernando Paulovich, stellen dat de oude linials het grote plaatje missen. Ze ontdekten dat standaardmetrieken vaak een "gezondheidsverklaring" geven aan kaarten die er voor het menselijk oog visueel chaotisch en misleidend uitzien. Om dit te oplossen, ontwikkelden ze een methode die de lege ruimtes op de kaart als de hoofdrolspelers behandelt. In plaats van alleen de stippen te meten, snijden ze de volledige lege ruimte tussen de stippen in driehoeken en controleren ze of die driehoeken zijn uitgerekt of samengedrukt vergeleken met hun oorspronkelijke vorm in de hoogdimensionale wereld.

De kernbevinding is dat de Gap Index veel gevoeliger is voor visuele trucs dan eerdere instrumenten. In hun tests lieten ze zien dat een populaire techniek genaamd t-SNE (die erg goed is in het scheiden van clusters) nepachtige gaten en schijngestalten kan creëren die eruitzien als duidelijke groepen, maar eigenlijk slechts artefacten van de wiskunde zijn. Standaardmetrieken zoals "stress" of "trustworthiness" merkten dit nauwelijks op en rapporteerden de kaart als bijna perfect. De Gap Index merkte deze lege gebieden echter onmiddellijk op als sterk vervormd, waarbij ze de gebieden rood kleurden waar de kaart werd uitgerekt en blauw waar deze werd samengedrukt. De auteurs suggereren dat de GI, door zich op deze "gaten" te richten, een eerlijker rapportcijfer biedt voor visuele analyse, waardoor gebruikers kunnen herkennen wanneer een mooi plaatje in werkelijkheid een vervormde realiteit verbergt. Ze toonden ook aan dat deze nieuwe metriek snel te berekenen is en efficiënt werkt, zelfs op grote datasets, en dat deze direct over de scatterplot kan worden gelegd om een heatmap-achtig beeld te geven van precies waar de vervorming plaatsvindt.

Technische Samenvatting: Het meten van vervorming in de lege regio's van dimensionaliteitsreductie-scatterplots met de Gap Index

Probleemstelling
Dimensionaliteitsreductie (DR) is essentieel voor het visualiseren van hoogdimensionale data, maar alle projecties brengen vervorming met zich mee, tenzij de data op een 2D-manifold ligt. Hoewel er kwaliteitsmetrieken bestaan om deze vervorming te kwantificeren, richten de huidige populaire metrieken (bijv. stress, trustworthiness, continuity) zich primair op het behoud van relaties tussen datapunten, zoals paarwise afstanden of nabijheden. Deze metrieken falen vaak in het vastleggen van vervormingen in de "lege regio's" of gaten tussen punten. Deze lege ruimtes zijn echter visueel cruciaal; ze definiëren de scheiding tussen clusters en de algehele structuur die door gebruikers wordt waargenomen. Bij gevolg kan de GI rapporten over hoge kwaliteit (lage vervorming) genereren, zelfs wanneer een projectie spoorvormige patronen of misleidende scheidingen in de lege ruimte creëert, wat leidt tot overmoed bij visuele analyse.

Methodologie: De Gap Index (GI)
De auteurs introduceren de Gap Index (GI), een kwaliteitsmetriek ontworpen om specifiek de vervorming binnen de lege gebieden van een 2D-projectie te kwantificeren. De GI werkt door de visuele ruimte te ontleden in driehoeken en hun deformatie te vergelijken met de hoogdimensionale ruimte. De berekening volgt een modulaire pijplijn:

Triangulatie: De 2D-projectie wordt gepartitioneerd in een set niet-overlappende driehoeken met behulp van Delaunay-triangulatie. Deze methode is gekozen vanwege de computationele efficiëntie ( $O(N \log N)$ ), het vermogen om de convexe omhullende van de data te dekken, en het eigenschap om dunne, numeriek instabiele driehoeken te vermijden.
Driehoekdeformatie: Voor elke driehoek $t_i$ $t_{i}$ in de 2D-projectie wordt de corresponderende driehoek $\hat{t}_i$ $\hat{t}_{i}$ geïdentificeerd in de hoogdimensionale ruimte met dezelfde drie hoekpunten. De deformatie wordt berekend door de relatieve oppervlaktes van deze driehoeken te vergelijken.
- Relatieve oppervlakte wordt gedefinieerd als de oppervlakte van de driehoek gedeeld door de som van alle driehoeksoppervlaktes in de respectievelijke ruimte. Deze normalisatie zorgt ervoor dat de metriek schaalinvariant is.
- De deformatiewaarde $D(t_i, \hat{t}_i)$ wordt berekend als het verschil tussen de relatieve oppervlaktes, genormaliseerd door het maximum van de twee. Dit levert een waarde op in $[-1, 1]$ , waarbij positieve waarden duiden op rek (het gat is groter in 2D dan in hoog-D) en negatieve waarden op compressie.
- Cruciaal is dat de oppervlakte van de hoogdimensionale driehoek kan worden berekend met enkel paarwise afstanden (via Heron's formule), wat betekent dat de GI geen expliciete hoogdimensionale coördinaten vereist, alleen een afstandstabel.
Aggregatie: Om een enkele scalaire metriek te produceren, aggregeert de GI de absolute deformatiewaarden van alle driehoeken met behulp van een gewogen gemiddelde. Het gewicht $w_i$ voor elke driehoek is het maximum van de relatieve oppervlakte in de 2D-ruimte of de hoogdimensionale ruimte. Dit zorgt ervoor dat grote, visueel prominente gaten (of ze nu in de projectie of in de originele data zitten) een grotere invloed hebben op de uiteindelijke score.
Visualisatie: De GI kan over de scatterplot worden gelegd door de driehoeken te kleuren volgens hun deformatiewaarden. Een divergente kleurenschaal (blauw voor compressie, rood voor rek, geel voor geen vervorming) visualiseert regionale vervorming. Om visuele ruis van driehoeksgrenzen te verminderen, stellen de auteurs voor om een Gaussische vervaging toe te passen op de achtergrond.

Belangrijkste Bijdragen

Identificatie van beperkingen: Het artikel benadrukt dat standaard kwaliteitsmetrieken ongevoelig zijn voor structurele deformaties in lege regio's die een hoge visuele impact hebben, wat analisten potentieel kan misleiden.
Nieuwe Metriekvoorstel: De auteurs introduceren de Gap Index, een metriek die de focus verlegt van punt-tot-punt relaties naar de vervorming van de lege ruimtes (gaten) tussen punten.
Benchmarking en Implementatie: Het artikel biedt een collectie kunstmatige en echte datasets om de GI te benchmarken tegen populaire metrieken (stress, trustworthiness, continuity, steadiness, cohesiveness). Een open-source Python-implementatie wordt geleverd om de resultaten te reproduceren.

Resultaten
De evaluatie toont aan dat de GI gevoelig is voor vervormingen die andere metrieken missen:

Gevoeligheid voor Visuele Artefacten: In het "plane dataset" experiment (punten willekeurig verdeeld op een 2D-vlak ingebed in 3D), produceert PCA een perfecte projectie (GI = 0), terwijl t-SNE spoorvormige cluster-achtige gaten creëert. Terwijl stress en trustworthiness minimale vervorming rapporteren voor t-SNE, identificeert de GI correct de significante visuele vervorming veroorzaakt door de kunstmatige gaten.
Interpreteerbaarheid: In synthetische datasets (bijv. een 3D-kubus met een ontbrekend vlak) brengt de GI-visualisatie duidelijk in beeld waar de lege ruimte is uitgerekt of samengedrukt, waardoor gebruikers de oorspronkelijke hoogdimensionale structuur kunnen afleiden (bijv. het identificeren dat een groot rood gebied in de projectie overeenkomt met een ontbrekend vlak in het 3D-object).
Prestaties: De GI is computationeel efficiënt, waarbij de complexiteit wordt gedomineerd door de $O(N \log N)$ complexiteit van de Delaunay-triangulatie, wat het geschikt maakt voor grote datasets.

Betekenis en Claims
Het artikel claimt dat de Gap Index een noodzakelijke aanvulling biedt op bestaande kwaliteitsmetrieken door een blinde vlek in visuele analyse aan te pakken: de betrouwbaarheid van lege regio's. Door zich te concentreren op de gaten die clusters en patronen definiëren, biedt de GI een holistischer beeld van de projectiekwaliteit dat beter aansluit bij de menselijke perceptie. De auteurs stellen dat de GI snel te berekenen is, interpreteerbaar is en in staat is om kleine structurele deformaten te detecteren die een hoge visuele impact hebben en die vaak over het hoofd worden gezien door punt-gecentreerde metrieken. Het werk herbekijkt en breidt eerdere concepten van het trianguleren van projecties uit, door deze te formaliseren tot een genormaliseerde, geaggregeerde kwaliteitsmetriek die geschikt is voor zowel scalaire evaluatie als regionale visualisatie.

Meer zoals dit