Local Neighborhood Instability in Parametric Projections: Quantitative and Visual Analysis

1. Il Problema

Le tecniche di riduzione della dimensionalità (DR) parametriche, in particolare quelle basate su reti neurali (come MLP che apprendono mappature per UMAP o t-SNE), offrono vantaggi significativi rispetto ai metodi non parametrici classici: permettono l'inserimento di nuovi punti in tempo reale senza dover ricalcolare l'intero embedding. Tuttavia, un aspetto critico rimane poco esplorato: la stabilità locale di queste proiezioni.

I metodi parametrici appresi sono vincolati solo dai dati di addestramento e dalla funzione obiettivo. Di conseguenza, piccole variazioni negli input (rumore di misurazione, deriva dei dati) possono produrre spostamenti imprevedibili e significativi nella proiezione 2D. Le metriche di valutazione standard (come Trustworthiness e Continuity) si concentrano sulla preservazione della struttura del vicinato nei dati di training, ma ignorano la sensibilità del modello a perturbazioni minori. Questo crea un rischio per l'analisi visiva: gli analisti potrebbero fidarsi di pattern spaziali che sono in realtà artefatti di instabilità piuttosto che strutture dati reali.

2. Metodologia

Gli autori propongono un framework di valutazione della stabilità che combina misure quantitative e analisi visiva per sondare il comportamento delle proiezioni parametriche sotto perturbazioni.

A. Framework di Sperimentazione

1. Selezione degli Anchor: Vengono selezionati punti di riferimento (anchor) basati sui centroidi delle classi nello spazio proiettato, garantendo che siano rappresentativi e non outlier.
2. Perturbazione: Viene aggiunto rumore gaussiano isotropo ($\varepsilon \sim N(0, \sigma^2 I_d)$) attorno a ciascun anchor. La scala del rumore ($\sigma$) è calibrata in modo che il raggio di perturbazione $r$ corrisponda al 0.25° percentile delle distanze pairwise nello spazio di input (per mantenere le perturbazioni realistiche, specialmente per dati immagine come MNIST).
3. Proiezione: I campioni perturbati vengono proiettati attraverso la rete neurale (MLP) addestrata.
4. Analisi: Si confronta la distribuzione dei punti proiettati perturbati rispetto alla posizione originale dell'anchor.

B. Misure Quantitative

Vengono definiti tre indicatori chiave per valutare la stabilità:

1. Spostamento Medio ($D_{dev}$): Misura la magnitudine tipica dello spostamento indotto dal rumore ($\|z - z_0\|$).
2. Bias di Spostamento ($D_{bias}$): Misura lo spostamento sistematico della media delle proiezioni perturbate rispetto all'anchor originale. Indica se il rumore causa una deriva direzionale coerente.
3. Errore di Assegnazione al Vicino ($E_{NA}$): Calcola la probabilità che una perturbazione sposti un punto fuori dalla regione di Voronoi del suo anchor originale, assegnandolo erroneamente a un altro anchor.

C. Diagnosi Visiva

Per interpretare le metriche, vengono proposte tre visualizzazioni:

• Linee di Anchor: Vettori che collegano l'anchor originale ai campioni perturbati, evidenziando bias direzionali e asimmetrie.
• PCA Locale: Ellissoidi derivati dall'analisi delle componenti principali della nuvola di punti perturbati, che mostrano come il rumore viene amplificato o attenuato lungo diverse direzioni.
• Assegnazione Voronoi: Visualizzazione delle regioni di Voronoi per identificare dove i punti perturbati "invadono" le regioni di altri anchor, segnalando instabilità.

3. Contributi Chiave

1. Nuove Metriche di Stabilità: Introduzione di tre misure quantitative ($D_{dev}$, $D_{bias}$, $E_{NA}$) specifiche per valutare la robustezza locale delle proiezioni parametriche.
2. Strumenti di Visualizzazione: Sviluppo di tecniche visive per collegare le metriche di stabilità ai cambiamenti geometrici locali nella proiezione.
3. Valutazione Empirica: Confronto sistematico di proiezioni parametriche basate su UMAP e t-SNE con diverse dimensioni di rete (MLP-small vs. MLP-large).
4. Validazione della Regularizzazione: Dimostrazione dell'efficacia della regularizzazione Jacobiana come strategia per migliorare la robustezza.
5. Riproducibilità: Condivisione di codice, dati e risultati su OSF e GitHub.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset MNIST e Fashion-MNIST, utilizzando architetture MLP di diverse dimensioni, addestrate per approssimare UMAP e t-SNE.

• Inefficacia delle Metriche Tradizionali: Le metriche di qualità standard (Trustworthiness e Continuity) rimangono quasi costanti tra tutti i modelli (valori T: 0.850–0.931, C: 0.864–0.944), fallendo nel catturare le enormi differenze di stabilità osservate.
• Impatto della Regularizzazione Jacobiana: L'aggiunta di un termine di penalizzazione sulla norma di Frobenius dello Jacobiano ($L_{Jac}$) durante l'addestramento ha migliorato drasticamente la stabilità:
  • Riduzione dello spostamento medio ($D_{dev}$) fino all'85% (per UMAP su MNIST) e 80% (per t-SNE).
  • Riduzione dell'errore di assegnazione ($E_{NA}$) a valori vicini allo zero (es. da 0.294 a 0.006 su MNIST-UMAP).
• Capacità della Rete vs. Regularizzazione: Aumentare la capacità della rete (da MLP-small a MLP-large) offre guadagni di stabilità moderati, ma la regularizzazione Jacobiana è molto più efficace. Un modello più piccolo ma regolarizzato supera spesso un modello più grande non regolarizzato.
• Trade-off: Non c'è un compromesso significativo tra stabilità e fedeltà di ricostruzione (MSE). In molti casi, il modello regolarizzato (MLP-large+J) ha ottenuto sia la migliore stabilità che il miglior MSE.
• Analisi Qualitativa: Le visualizzazioni hanno rivelato che i modelli non regolarizzati mostrano spesso un bias sistematico (deriva direzionale) piuttosto che una diffusione isotropica, un fenomeno invisibile alle metriche tradizionali.

5. Significato e Implicazioni

Questo lavoro è fondamentale per l'analisi visiva (Visual Analytics) per i seguenti motivi:

• Fiducia nell'Analisi: Dimostra che la preservazione del vicinato nei dati di training non garantisce che la proiezione sia robusta al rumore. Gli analisti non possono fidarsi ciecamente dei pattern spaziali generati da proiezioni parametriche senza verificare la loro stabilità locale.
• Scelta della Strategia di Addestramento: Suggerisce che la regularizzazione Jacobiana dovrebbe essere una pratica standard quando si addestrano proiezioni parametriche per scenari reali (dove il rumore è inevitabile), offrendo un miglioramento della stabilità a costo computazionale minimo.
• Nuovo Paradigma di Valutazione: Propone un cambio di paradigma nella valutazione delle tecniche DR: oltre alla qualità statica, è necessario valutare la sensibilità dinamica agli input. Le metriche basate sullo spostamento e le diagnosi visive proposte colmano il divario tra la teoria della stabilità e la pratica visiva.

In conclusione, il paper avvisa che le proiezioni parametriche devono essere validate per la stabilità prima del dispiegamento in scenari soggetti a rumore, e fornisce gli strumenti necessari per farlo.