🤖 machine learning

How smoothing the affinity matrix affects neighborhood preservation in t-SNE

Dit artikel introduceert een rij-gewijze machtstransformatie op de t-SNE-affiniteitsmatrix die punt-afhankelijke uitvlakking of verscherping mogelijk maakt, waarbij wordt aangetoond dat verscherping de preservatie van zeer dichtstbijzijnde buren verbetert terwijl uitvlakking de preservatie van bredere lokale buren verbetert, wat beter presteert dan multiscale methoden in het midden-lokale bereik.

Oorspronkelijke auteurs: Shirin Mohebi, Guillaume Bied, Jefrey Lijffijt

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shirin Mohebi, Guillaume Bied, Jefrey Lijffijt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe stad probeert te begrijpen door naar een enkele, platte kaart te kijken. Je ziet de belangrijkste oriëntatiepunten en hoe de wijken zich tot elkaar verhouden, maar op het moment dat je een driedimensionale wereld probeert te plat te slaan op een tweedimensionaal oppervlak, gaat er altijd iets verloren. Dit is de dagelijkse uitdaging voor wetenschappers die werken met hoogdimensionele data, waarbij elk stukje informatie wordt beschreven door tientallen of zelfs honderden kenmerken. Om dit begrijpelijk te maken, gebruiken ze een techniek genaamd dimensionaliteitsreductie, die werkt als een cartograaf die complexe data platstampt tot een eenvoudige scatterplot die mensen daadwerkelijk kunnen lezen. Onder de vele beschikbare instrumenten is één methode de gouden standaard geworden voor het behoud van de lokale details van deze dataclusters: een techniek bekend als t-SNE. Het staat erom bekend dat het punten die dicht bij elkaar liggen in de oorspronkelijke data, ook dicht bij elkaar houdt in het plaatje, wat het onmisbaar maakt voor het opsporen van patronen in alles van celtypen tot handgeschreven cijfers. Toch heeft zelfs dit krachtige instrument een gebrek: hoewel het uitstekend is in het bij elkaar houden van de aller dichtstbijzijnde buren, heeft het soms moeite met het behouden van de bredere structuur van de buurten, en kan de kwaliteit van de kaart sterk variëren van het ene deel van de afbeelding naar het andere.

Een team onderzoekers aan de Universiteit Gent zette zich scharpe om te onderzoeken waarom dit gebeurt en of ze het vermogen van het instrument om het volledige plaatje te tonen konden verbeteren. Ze richtten zich op het hart van het t-SNE-proces, een wiskundige structuur die een affiniteitsmatrix wordt genoemd. Je kunt deze matrix zien als een set instructies die de computer vertelt hoe sterk twee punten naar elkaar toe aangetrokken moeten worden in de uiteindelijke afbeelding. In de standaardversie van het instrument worden deze instructies gegenereerd met behulp van een specifieke regel die ervoor zorgt dat elk punt dezelfde "perplexity" heeft, een concept dat ruwweg vertaalt naar het effectieve aantal buren waar een punt aandacht voor heeft. De onderzoekers merkten op dat deze regel in de praktijk vaak instructies creëert die te extreem zijn. Voor veel punten geven de instructies de voorkeur aan slechts enkele dichtstbijzijnde buren, waardoor de iets verder gelegen buren die nog steeds deel uitmaken van dezelfde lokale groep, worden genegeerd. Het is also̱ de kaartmaker besloten dat alleen de persoon die direct naast je staat ertoe doet, terwijl de persoon die drie stappen verder staat onzichtbaar is.

Om te testen of deze extreme focus het probleem was, introduceerden de onderzoekers een eenvoudige aanpassing die ze een machtstransformatie (power transform) noemen. Dit is een gecontroleerde manier om de instructies in de affiniteitsmatrix ofwel aan te scherpen ofwel te verzachten. Als ze de instructies aanscherpten, zou het instrument zich nog intensiever richten op de aller dichtstbijzijnde buren. Als ze de instructies verzachtten, zou het instrument de aandacht gelijkmatiger verspreiden, waardoor het een breder cirkel van buren een betekenisvol gewicht geeft zonder de volgorde van wie het dichtstbij staat te veranderen. Ze voerden duizenden experimenten uit op real-world datasets, inclusief afbeeldingen van handgeschreven cijfers en genetische data van muizenhersencellen, om te zien hoe deze aanpassingen de uiteindelijke kaarten veranderden.

De resultaten onthulden een duidelijke afruil die afhangt van de schaal van de buurt die wordt onderzocht. Wanneer de onderzoekers de instructies aanscherpten, werd het instrument uitzonderlijk goed in het bij elkaar houden van de absoluut dichtstbijzijnde buren, maar verloor het het vermogen om de bredere lokale groepen op hun plaats te houden. Omgekeerd, wanneer ze de instructies verzachtten, verbeterde het instrument zijn vermogen om deze bredere lokale buurten te behouden. De verzachte kaarten vertoonden een duidelijkere scheiding tussen verschillende dataclusters, waardoor voorkwam dat onderscheidende groepen samensmolten tot een rommelige vlek in het midden van de afbeelding. Cruciaal was dat de onderzoekers ontdekten dat deze verbetering niet simpelweg kon worden bereikt door de standaardtool meer buren te laten bekijken door de perplexity-instelling te verhogen. Het veranderen van de perplexity beïnvloedt elk punt op dezelfde manier, maar de verzachtingstechniek stelt het instrument in staat om verschillend te adapteren voor elk punt, wat een meer genuanceerde en nauwkeurige representatie van de lokale structuur van de data creëert.

De studie suggereert dat de manier waarop t-SNE zijn buren weegt een kritieke, zij het vaak over het hoofd geziene factor is in hoe goed het gegevens visualiseert. Door de affiniteitsmatrix te verzachten, hebben de onderzoekers aangetoond dat het mogelijk is om de preservatie van mid-range lokale structuren te verbeteren zonder het vermogen of de schaalbaarheid van het instrument op te offeren. Dit betekent niet dat de standaardmethode kapot is, maar eerder dat het een specifieke bias heeft naar de aller dichtstbijzijnde buren die getuned kan worden. Voor wetenschappers die de fijne details van cluster-substructuren moeten inspecteren, of voor hen die willen zien hoe verschillende groepen zich op een grotere schaal tot elkaar verhouden, biedt deze verzachtingstechniek een lichtgewicht manier om de focus van de visualisatie te verschuiven. Het werk bevestigt dat de kwaliteit van deze datakaarten niet alleen gaat over de optimalisatie van het algoritme, maar over hoe de initiële relaties tussen datapunten worden gedefinieerd, wat een nieuwe hendel biedt voor onderzoekers om aan te trekken wanneer ze willen dat hun kaarten een completer verhaal vertellen.

Technische Samenvatting: Hoe het afvlakken van de Affiniteitsmatrix de Behoud van Nabijheid in t-SNE Beïnvloedt

Probleemstelling
t-Distributed Stochastic Neighbor Embedding (t-SNE) is een veelgebruikte techniek voor dimensionaliteitsreductie die bekend staat om het behoud van lokale buurtstructuren. Ondanks de populariteit vertonen t-SNE-embeddings echter vaak lage absolute scores voor het behoud van nabijheid, en zijn fouten frequent ongelijkmatig verdeeld. Terwijl er veel onderzoek is gedaan naar het verbeteren van de globale structuurbehoud van t-SNE of het optimaliseren van het optimalisatieproces (bijv. initialisatie, leersnelheden), is er beperkt expliciet onderzoek gedaan naar de vraag of de lokale structuurbehoud van t-SNE kan worden verbeterd door de hoogdimensionale affiniteitsmatrix zelf te wijzigen.

De auteurs observeren dat in standaard t-SNE de conditionele waarschijnlijkheidsverdelingen (affiniteitsrijen) vaak zeer "scherp" zijn, wat betekent dat een klein aantal dichtstbijzijnde buren de kansmassa domineert. Bovendien varieert de scherpte van deze verdelingen per datapunt. Het artikel onderzoekt hoe de "scherpte" van deze affiniteitsverdelingen de behoud van nabijheid op verschillende schalen beïnvloedt en of het wijzigen van deze scherpte betere embeddings kan opleveren dan standaard t-SNE of alternatieve multiscale methoden.

Methodologie
De studie introduceert een gecontroleerde perturbatie aan de standaard t-SNE affiniteitsconstructie: een rijwijze machtstransformatie toegepast op de conditionele waarschijnlijkheden $p_{j|i}$ .

De Transformatie: Voor een gegeven punt $i$ worden de conditionele waarschijnlijkheden getransformeerd met behulp van een parameter $\gamma \geq 0$ :
$\tilde{p}_{j|i} = \frac{p_{j|i}^\gamma}{\sum_{m \neq i} p_{m|i}^\gamma}$
- $\gamma = 1$ : Herstelt de standaard t-SNE.
- $\gamma < 1$ (Afvlakking/Smoothing): Vermindert grote waarschijnlijkheden ten opzichte van kleinere waarschijnlijkheden, waardoor de massa wordt herverdeeld naar buren met een lagere waarschijnlijkheid.
- $\gamma > 1$ (Verscherping/Sharpening): Concentreert de massa verder op de grootste waarschijnlijkheden.
- $\gamma = 0$ : Resulteert in een uniforme verdeling over buren (waarbij de rangorde wordt genegeerd).
Theoretische Karakterisering:
- De auteurs bewijzen dat deze machtstransformatie wiskundig equivalent is aan het herverdelen van de Gaussische bandbreedte ( $\sigma_i$ ) van de oorspronkelijke kernel. Specifiek wordt de nieuwe effectieve bandbreedte $\tilde{\sigma}_i = \sigma_i / \sqrt{\gamma}$ .
- Cruciaal is dat, in tegenstelling tot het wijzigen van de globale perplexiteitsparameter $\rho$ (die elk punt dwingt om hetzelfde effectieve aantal buren te hebben), het toepassen van een vaste $\gamma$ resulteert in punt-afhankelijke effectieve perplexiteiten. De effectieve perplexiteit varieert op basis van de oorspronkelijke distributie vorm voor elk specifiek punt.
Experimentele Opzet:
- De methode is geïmplementeerd binnen openTSNE en geëvalueerd op de MNIST, UCI Adult en Mouse Cortex datasets.
- De primaire metriek voor evaluatie was Neighborhood Overlap at $k$ (NO@k), die het deel meet van de hoogdimensionale $k$ -dichtstbijzijnde buren die behouden blijven in de embedding.
- Vergelijkingen werden gemaakt met standaard t-SNE, variërende globale perplexiteit, en alternatieve affiniteitsconstructies (Multiscale, Fixed Sigma, Uniform, en tt-SNE).

Belangrijkste Resultaten
De experimenten onthullen een duidelijke schaalafhankelijke afweging die wordt beheerst door $\gamma$ :

Verscherping ( $\gamma > 1$ ): Verbetert de behoud van de zeer dichtstbijzijnde buren (kleine $k$ ). Echter, de prestaties verslechteren snel naarmate $k$ toeneemt.
Afvlakking ( $\gamma < 1$ ): Verbetert de behoud van bredere lokale buurten (middelmatige $k$ $k$ ) en de globale structuur.
- Specifiek presteerde afvlakking met $\gamma \approx 0.7$ beter dan standaard t-SNE en multiscale methoden in het "mid-local" bereik ( $k \approx 25–90$ ).
- Afvlakking verbeterde ook de globale structuurbehoud (gemeten door de Spearman rangcorrelatie van afstanden), met name bij hogere perplexiteiten.
Vergelijking met Globale Perplexity Tuning: Het simpelweg verhogen van de globale perplexiteit $\rho$ in standaard t-SNE repliceert niet de voordelen van afvlakking. Afvlakking creëert een heterogene verdeling van effectieve buurtgroottes over punten, terwijl het verhogen van $\rho$ de schaal uniform verschuift voor alle punten. Bijgevolg bereikte de afgevlakte t-SNE hogere NO@k scores bij specifieke mid-range $k$ waarden dan de standaard t-SNE met overeenkomstige of hogere perplexiteiten.
Vergelijking met Andere Methoden: In het mid-local bereik presteerde de afgevlakte variant ( $\gamma=0.7$ ) beter dan de Multiscale Mixture en Multiscale methoden, die meerdere bandbreedte schalen incorporeren. Verscherpte varianten ( $\gamma=1.5$ ) domineerden bij zeer kleine $k$ , terwijl uniforme verdelingen ( $\gamma=0$ ) domineerden bij zeer grote $k$ .

Betekenis en Claims
Het artikel claimt dat affiniteitsscherpte een betekenende en voorheen ononderzochte as van t-SNE gedrag is. De belangrijkste bijdragen zijn:

Ontkoppeling van Buurtgrootte en Verdeling: De studie demonstreert dat het aantal buren (gecontroleerd door perplexiteit) en de verdeling van de waarschijnlijkheidsmassa onder hen (gecontroleerd door $\gamma$ ) afzonderlijke factoren zijn.
Lichtgewicht Tuning: De parameter $\gamma$ $γ$ biedt beoefenaars een eenvoudige, lichtgewicht mechanisme om de focus van de embedding te verschuiven:
- Gebruik scherpere affiniteiten ( $\gamma > 1$ ) als het doel een hoge getrouwheid voor de zeer dichtstbijzijnde buren is.
- Gebruik afgevlakte affiniteiten ( $\gamma < 1$ ) om de behoud van bredere lokale structuren en de globale topologie te verbeteren.
Beperkingen: De auteurs merken bescheiden op dat hoewel de verbeteringen consistent zijn, ze in absolute termen bescheiden zijn. De studie richt zich op één enkele kwaliteitsmaatstaf (NO@k), en de praktische vertaling van deze metriekverbeteringen naar specifieke domeininzichten blijft een open vraag. Daarnaast werden de optimale hyperparameters ( $\rho, \gamma$ ) voor specifieke $k$ waarden in dit werk niet exhaustief geoptimaliseerd.

Concluderend betogen de auteurs dat standaard t-SNE de waarschijnlijkheidsmassa wellicht te zwaar concentreert op de eerste paar buren, wat het vermogen beperkt om bredere lokale structuren te behouden. Door de affiniteitsmatrix af te vlaken, kan men deze massa herverdelen naar buren met een gemiddelde rangorde, waardoor de betrouwbaarheid van cluster-substructuren en de globale lay-out wordt verbeterd zonder de optimalisatieprocedure of computationele schaalbaarheid te wijzigen.

Technische Samenvatting: Hoe het afvlakken van de Affiniteitsmatrix de Behoud van Nabijheid in t-SNE Beïnvloedt

Meer zoals dit