🤖 machine learning

Measuring Distortion in the Empty Regions of Dimensionality Reduction Scatterplots with the Gap Index

Questo articolo introduce il Gap Index, una metrica di qualità rapida e interpretabile per i grafici a dispersione derivanti da riduzione della dimensionalità che misura unicamente la distorsione visiva nelle regioni vuote confrontando le deformazioni spaziali dei triangoli vuoti rispetto ai loro corrispettivi ad alta dimensionalità, affrontando una limitazione chiave delle metriche esistenti che si concentrano esclusivamente sulle relazioni tra i punti.

Autori originali: Jaume Ros, Alessio Arleo, Fernando Paulovich

Pubblicato 2026-07-31

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jaume Ros, Alessio Arleo, Fernando Paulovich

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un cartografo che cerca di disegnare su un semplice foglio di carta la mappa di una gigantesca, invisibile e multidimensionale città. Questa è la sfida quotidiana della Riduzione della Dimensionalità, un ramo della scienza dei dati in cui i computer prendono informazioni complesse e ad alta dimensionalità (come migliaia di caratteristiche che descrivono un singolo oggetto) e le schiacciano in un semplice grafico a dispersione 2D affinché gli esseri umani possano effettivamente vederle. L'obiettivo è mantenere intatti i "quartieri": se due punti sono vicini nella città ad alta dimensione, dovrebbero rimanere vicini sulla tua mappa cartacea. Se sono lontani, dovrebbero rimanere lontani.

Ma ecco il problema: non puoi appiattire perfettamente una sfera 3D su un foglio 2D senza strapparla o deformarla. Proprio come una mappa del mondo distorce le dimensioni della Groenlandia o la forma dell'Antartide, queste mappe generate dal computer inevitabilmente deformano i dati. Per poter fidarsi di ciò che vediamo, gli scienziati utilizzano delle "metriche di qualità" — righelli matematici che misurano quanto sia stata distorta la mappa. Per molto tempo, questi righelli hanno controllato solo la distanza tra i puntini (i punti dati) in sé. Chiedevano: "Questi due punti sono ancora vicini?". Ma hanno ampiamente ignorato lo spazio bianco vuoto tra i punti. Eppure, nell'analisi visiva, quello spazio vuoto è importante quanto i punti stessi; è il silenzio tra le note che definisce la musica, i vuoti che indicano dove un gruppo finisce e un altro inizia.

Questo articolo introduce un nuovo modo per misurare tale distorsione, chiamato Gap Index (GI). Gli autori, Jaume Ros, Alessio Arleo e Fernando Paulovich, sostengono che i vecchi righelli stiano perdendo la visione d'insieme. Hanno scoperto che le metriche standard spesso danno una "certificazione di ottima salute" a mappe che appaiono visivamente caotiche e fuorvianti per l'occhio umano. Per risolvere il problema, hanno sviluppato un metodo che tratta gli spazi vuoti come i protagonisti principali. Invece di misurare solo i punti, essi fondono l'intero spazio vuoto tra i punti in triangoli e controllano se quei triangoli siano stati allungati o schiacciati rispetto alla loro forma originale nel mondo ad alta dimensione.

Il nucleo della scoperta è che il Gap Index è molto più sensibile ai trucchi visivi rispetto agli strumenti precedenti. Nei loro test, hanno dimostrato che una tecnica popolare chiamata t-SNE (ottima per separare i cluster) può creare lacune dall'aspetto falso e modelli spuri che sembrano gruppi distinti ma che sono in realtà solo artefatti della matematica. Le metriche standard come lo "stress" o la "trustworthiness" quasi non se ne accorgevano, riportando la mappa come quasi perfetta. Il Gap Index, tuttavia, ha segnalato immediatamente queste aree vuote come altamente distorte, colorandole di rosso per mostrare dove la mappa era stata allungata e di blu dove era stata compressa. Gli autori suggeriscono che, concentrandosi su questi "vuoti", il GI fornisce un pagella più onesta per l'analisi visiva, aiutando gli utenti a capire quando un bel disegno sta in realtà nascondendo una realtà distorta. Hanno inoltre dimostrato che questo nuovo indice è veloce da calcolare, lavorando efficientemente anche su grandi set di dati, e può essere sovrapposto direttamente al grafico a dispersione per fornire una visione in stile mappa di calore di dove esattamente sta avvenendo la distorsione.

Sintesi Tecnica: Misurare la Distorsione nelle Regioni Vuote dei Grafici a Dispersione di Riduzione della Dimensionalità con il Gap Index

Problematica
La riduzione della dimensionalità (DR) è essenziale per visualizzare dati ad alta dimensionalità, tuttavia tutte le proiezioni comportano una distorsione, a meno che i dati non giaccano su una varietà (manifold) 2D. Sebbene esistano metriche di qualità per quantificare tale distorsione, le attuali metriche popolari (ad esempio, stress, trustworthiness, continuity) si concentrano principalmente sulla preservazione delle relazioni tra i punti dati, come le distanze a coppia o le vicinanze. Queste metriche spesso non riescono a catturare le distorsioni nelle "regioni vuote" o negli spazi tra i punti. Tuttavia, questi spazi vuoti sono visivamente critici; essi definiscono la separazione tra i cluster e la struttura complessiva percepita dagli utenti. Di conseguenza, le metriche possono riportare un'alta qualità (bassa distorsione) anche quando una proiezione crea pattern spuri o separazioni fuorvianti nello spazio vuoto, portando a un eccesso di fiducia nell'analisi visiva.

Metodologia: Il Gap Index (GI)
Gli autori introducono il Gap Index (GI), una metrica di qualità progettata per quantificare specificamente la distorsione all'interno delle aree vuote di una proiezione 2D. Il GI opera decomponendo lo spazio visivo in triangoli e confrontando la loro deformazione rispetto allo spazio ad alta dimensionalità. Il calcolo segue una pipeline modulare:

Triangolazione: La proiezione 2D è partizionata in un insieme di triangoli non sovrapponibili utilizzando la triangolazione di Delaunay. Questo metodo è stato scelto per la sua efficienza computazionale ( $O(N \log N)$ ), la sua capacità di coprire l'inviluppo convesso dei dati e la sua proprietà di evitare triangoli sottili e numericamente instabili.
Deformazione del Triangolo: Per ogni triangolo $t_i$ $t_{i}$ nella proiezione 2D, il corrispondente triangolo $\hat{t}_i$ $\hat{t}_{i}$ viene identificato nello spazio ad alta dimensionalità utilizzando gli stessi tre vertici. La deformazione viene calcolata confrontando le aree relative di questi triangoli.
- L'area relativa è definita come l'area del triangolo divisa per la somma di tutte le aree dei triangoli nello spazio rispettivo. Questa normalizzazione assicura che la metrica sia invariante rispetto alla scala.
- Il valore di deformazione $D(t_i, \hat{t}_i)$ è calcolato come la differenza tra le aree relative, normalizzata rispetto al massimo delle due. Ciò produce un valore in $[-1, 1]$ , dove i valori positivi indicano uno stiramento (il gap è più grande in 2D rispetto all'alta dimensione) e i valori negativi indicano una compressione.
- Fondamentalmente, l'area del triangolo ad alta dimensionalità può essere calcolata utilizzando solo le distanze a coppia (tramite la formula di Erone), il che significa che il GI non richiede coordinate esplicite ad alta dimensionalità, ma solo una matrice di distanze.
Aggregazione: Per produrre un singolo valore scalare, il GI aggrega i valori assoluti di deformazione di tutti i triangoli utilizzando una media ponderata. Il peso $w_i$ per ogni triangolo è il massimo tra la sua area relativa nello spazio 2D o nello spazio ad alta dimensionalità. Ciò garantisce che i gap grandi e visivamente salienti (sia nella proiezione che nei dati originali) abbiano un'influenza maggiore sul punteggio finale.
Visualizzazione: Il GI può essere sovrapposto al grafico a dispersione colorando i triangoli in base ai loro valori di deformazione. Una mappa di colori divergente (blu per la compressione, rosso per lo stiramento, giallo per nessuna distorsione) visualizza la distorsione regionale. Per mitigare il rumore visivo dai bordi dei triangoli, gli autori propongono l'applicazione di una sfocatura gaussiana (Gaussian blur) sullo sfondo.

Contributi Chiave

Identificazione dei Limiti: L'articolo evidenzia che le metriche di qualità standard sono insensibili alle deformazioni strutturali nelle regioni vuote che hanno un alto impatto visivo, potenzialmente fuorviando gli analisti.
Proposta di una Nuova Metrica: Gli autori introducono il Gap Index, una metrica che sposta l'attenzione dalle relazioni punto-punto alla distorsione degli spazi vuoti (gap) tra i punti.
Benchmarking e Implementazione: L'articolo fornisce una collezione di dataset artificiali e reali per testare il GI rispetto alle metriche popolari (stress, trustworthiness, continuity, steadiness, cohesiveness). È fornita un'implementazione Python open-source per riprodurre i risultati.

Risultati
La valutazione dimostra che il GI è sensibile alle distorsioni che altre metriche ignorano:

Sensibilità agli Artefatti Visivi: Nell'esperimento "plane dataset" (punti distribuiti casualmente su un piano 2D immerso in 3D), la PCA produce una proiezione perfetta (GI = 0), mentre t-SNE crea gap simili a cluster spuri. Mentre stress e trustworthiness riportano una distorsione minima per t-SNE, il GI identifica correttamente la significativa distorsione visiva causata dai gap artificiali.
Interpretabilità: Nei dataset sintetici (ad esempio, un cubo 3D con una faccia mancante), la visualizzazione del GI evidenzia chiaramente dove lo spazio vuoto è stato stirato o compresso, permettendo agli utenti di inferire la struttura originale ad alta dimensionalità (ad esempio, identificando che un'ampia area rossa nella proiezione corrisponde a una faccia mancante nell'oggetto 3D).
Prestazioni: Il GI è computazionalmente efficiente, dominato dalla complessità $O(N \log N)$ della triangolazione di Delaunay, rendendolo adatto a dataset di grandi dimensioni.

Significatività e Rivendicazioni
L'articolo sostiene che il Gap Index offra un complemento necessario alle metriche di qualità esistenti affrontando un punto cieco nell'analisi visiva: l'affidabilità delle regioni vuote. Concentrandosi sui gap che definiscono i cluster e i pattern, il GI fornisce una visione più olistica della qualità della proiezione che si allinea meglio alla percezione umana. Gli autori affermano che il GI è veloce da calcolare, interpretabile e capace di rilevare piccole deformazioni strutturali che hanno un alto impatto visivo, le quali vengono spesso trascurate dalle metriche incentrate sui punti. Il lavoro rivisita ed estende i concetti precedenti di triangolazione delle proiezioni, formalizzandoli in una metrica di qualità normalizzata e aggregata, adatta sia alla valutazione scalare che alla visualizzazione regionale.

Articoli simili