Local Neighborhood Instability in Parametric Projections: Quantitative and Visual Analysis

Probleemstelling

Parametrische projectiemethoden (zoals neural networks die non-parametrische technieken zoals UMAP en t-SNE benaderen) bieden het voordeel dat nieuwe data-punten in real-time kunnen worden ingebed zonder de volledige embedding opnieuw te hoeven berekenen. Dit is essentieel voor visuele analyse, streaming data en interactieve toepassingen.

Echter, een groot nadeel is dat het gedrag van deze geleerde mapping onder kleine invoervariaties (bijvoorbeeld meetruis of data-drift) vaak onbekend en ononderzocht blijft. Hoewel bestaande evaluatiemethoden zich richten op de nauwkeurigheid van het behoud van lokale buren (neighborhood preservation), negeren ze de gevoeligheid voor kleine perturbaties. Dit kan leiden tot onvoorspelbare verschuivingen in de 2D-weergave, waardoor analisten patronen kunnen interpreteren die eigenlijk artefacten zijn van de projectie-instabiliteit in plaats van echte data-structuren.

Methodologie

De auteurs stellen een nieuw evaluatiekader voor om de lokale stabiliteit van parametrische projecties (specifiek Multi-Layer Perceptrons of MLP's) te testen. Het kader bestaat uit de volgende stappen:

1. Ankerpunten Selectie: Er worden representatieve ankerpunten geselecteerd (in dit onderzoek gebaseerd op de centroiden van klassen).
2. Perturbatie: Isotropisch Gaussisch ruis ($\varepsilon$) wordt toegevoegd aan deze ankerpunten om een lokaal "ruisgebied" te creëren rondom elk punt. De grootte van de ruis wordt bepaald door een straal $r$ (gebaseerd op een fractie van de gemiddelde afstand tussen datapunten).
3. Projectie: De verstoord (noisy) samples worden door de getrainde MLP geprojecteerd naar de 2D-ruimte.
4. Kwantitatieve Analyse: Drie nieuwe stabiliteitsmaten worden berekend:
   • Mean Displacement ($D_{dev}$): De gemiddelde grootte van de verplaatsing van de verstoord punten ten opzichte van het oorspronkelijke anker.
   • Displacement Bias ($D_{bias}$): De systematische drift van het gemiddelde van de verstoord punten. Dit onderscheidt willekeurige spreiding van een gerichte, systematische verschuiving.
   • Nearest-Anchor Assignment Error ($E_{NA}$): Het percentage gevallen waarin een verstoord punt door de ruis in het Voronoi-gebied van een ander ankerpunt terechtkomt (d.w.z. een verkeerde klassen-toewijzing in de projectie).
5. Visuele Diagnose: Drie visualisatietechnieken worden gebruikt om de instabiliteit te inspecteren:
   • Ankerlijnen: Vectorlijnen die de verplaatsing van het anker naar de verstoord punten tonen (toont richting en coherentie).
   • Lokale PCA: Ellipsoïden die de lokale geometrie van de verstoord punten tonen (toont of ruis wordt versterkt of afgezwakt in specifieke richtingen).
   • Voronoi-toewijzing: Visualisatie van welke punten de grenzen van hun oorspronkelijke regio overschrijden.

Belangrijkste Bijdragen

1. Kwantitatieve Maten: Introductie van drie specifieke maten ($D_{dev}$, $D_{bias}$, $E_{NA}$) om lokale stabiliteit te meten, die gevoeliger zijn voor instabiliteit dan traditionele reconstructiefouten.
2. Visuele Tools: Een set van visualisaties die direct koppelen aan de stabiliteitsmaten, waardoor analisten kunnen zien waar en hoe een projectie instabiel is.
3. Empirische Validatie: Een uitgebreide studie op MNIST en Fashion-MNIST datasets, waarbij UMAP- en t-SNE-gebaseerde neural projectors worden vergeleken met variërende netwerkgroottes en regularisatiestrategieën.
4. Open Source: Beschikbaarstelling van code, data en resultaten voor reproduceerbaarheid.

Resultaten

De experimenten tonen duidelijke verschillen tussen methoden die traditionele kwaliteitsmaten (Trustworthiness en Continuity) als gelijkwaardig beschouwen, maar sterk verschillen in stabiliteit:

• Onvoldoende van Traditionele Maten: De maten "Trustworthiness" en "Continuity" bleven bijna constant over alle geteste modellen (ongeveer 0.85 - 0.93), ondanks enorme verschillen in stabiliteit. Dit bevestigt dat deze maten instabiliteit door ruis niet detecteren.
• Effectiviteit van Jacobian Regularisatie: Het toepassen van Jacobian regularisatie (het straffen van de Frobenius-norm van de Jacobiaan van de output t.o.v. de input) bleek extreem effectief.
  • Dit resulteerde in een reductie van de gemiddelde verplaatsing met 80% tot 85% vergeleken met niet-gerelaxeerde modellen.
  • De fout in toewijzing aan ankers ($E_{NA}$) daalde tot bijna nul (bijv. van 0.294 naar 0.006 op MNIST).
• Netwerkgrootte vs. Regularisatie: Het vergroten van het netwerk (van "MLP-small" naar "MLP-large") leverde slechts marginale stabiliteitswinst op. Jacobian regularisatie was veel effectiever dan het simpelweg vergroten van de capaciteit van het netwerk.
• Systematische Drift: Zonder regularisatie vertoonden modellen vaak een grote "Displacement Bias", wat betekent dat ruis niet willekeurig werd verspreid, maar systematisch in één richting werd afgebogen.

Betekenis en Conclusie

De studie concludeert dat parametrische projecties, hoewel snel en handig voor out-of-sample inferentie, zonder extra maatregelen gevoelig kunnen zijn voor meetruis, wat leidt tot onbetrouwbare visuele patronen.

• Praktische Implicatie: Voor visuele analyse is het cruciaal om niet alleen te kijken naar hoe goed de structuur behouden blijft, maar ook hoe robuust de projectie is tegen kleine invoerveranderingen.
• Aanbeveling: Het auteurs bevelen aan om bij het trainen van MLP-based parametrische projecties altijd gladheidsbeperkingen (zoals Jacobian regularisatie) toe te passen. Dit biedt een hoge mate van stabiliteit tegen een minimale kostprijs voor de reconstructie-accuraatheid.
• Toekomst: Het kader biedt een nieuwe standaard voor het valideren van projectiemodellen voordat ze worden ingezet in scenario's waar ruis of data-drift optreedt.