`pandemonium`: High Dimensional Analysis in Linked Spaces

Het artikel introduceert `pandemonium`, een R-pakket dat hoge-dimensionale analyse in gekoppelde ruimten faciliteert door clusteranalyse te combineren met gekoppelde visualisaties, zoals niet-lineaire dimensiereductie en geanimeerde rondleidingen, om relaties tussen voorspellers en responsen te verkennen in complexe datasets zoals neurale netwerkactivaties en multivariabele fysieke modellen.

De kern

Stel je voor dat je een gigantisch, complex puzzel probeert op te lossen waarbij je twee verschillende sets aanwijzingen hebt. De ene set aanwijzingen beschrijft wat je invoert (zoals ingrediënten in een recept of instellingen op een machine), en de andere set beschrijft wat eruit komt (zoals de smaak van de cake of de output van de machine).

Het probleem is dat er zo veel ingrediënten en zo veel mogelijke smaken zijn dat het onmogelijk is om het patroon te zien door alleen naar een spreadsheet te kijken. Je hebt een manier nodig om te zien hoe de ingrediënten samen specifieke smaken creëren.

Dit is precies wat het pandemonium R-pakket doet. Het is een digitaal "magisch raam" dat onderzoekers helpt de punten te verbinden tussen twee hoogdimensionale werelden.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De Twee Kamers (Gekoppelde Ruimten)

Stel je je data voor als twee aparte kamers:

• Kamer A (De Clustering-Ruimte): Dit is waar je dingen groepeert op basis van hoe vergelijkbaar ze zijn. Stel je voor dat je een hoop gemengde sokken sorteert op kleur en patroon.
• Kamer B (De Gekoppelde Ruimte): Dit is waar je kijkt naar de oorspronkelijke details. Stel je voor dat je naar dezelfde sokken kijkt om te zien van welk materiaal ze zijn gemaakt of waar ze gekocht zijn.

Meestal kijken onderzoekers naar Kamer A, lopen dan naar Kamer B en proberen te raden hoe ze met elkaar samenhangen. pandemonium plaatst een gigantische, tweewegspiegel tussen de kamers. Wanneer je naar een groep sokken in Kamer A wijst, markeert de spiegel direct die exacte sokken in Kamer B, waardoor je hun materiaal en oorsprong ziet.

2. De Magische Lens (Clustering)

Het gereedschap begint met het organiseren van de data in Kamer A. Het gebruikt een methode genaamd hiërarchische clustering, wat vergelijkbaar is met het vouwen van een kaart. Je kunt uitzoomen om een paar grote regio's te zien (zoals continenten) of inzoomen om kleine wijken te zien (zoals straten).

• Je kunt zeggen: "Laat me 3 grote groepen zien" of "Laat me 10 kleine groepen zien."
• Terwijl je het aantal groepen verandert, werkt het gereedschap de weergave in beide kamers direct bij.

3. De Bewegende Camera (Tours en Projecties)

Omdat de data te veel dimensies heeft om op een vlak stuk papier te tekenen, gebruikt het gereedschap twee speciale cameratrucs om de 3D- (of 100D-) wereld te platdrukken tot een 2D-scherm:

• De Niet-Lineaire Lens (UMAP/t-SNE): Dit is als een kermis-spiegel die de data knijpt en strekt om te laten zien welke punten van nature dicht bij elkaar liggen, zelfs als ze ver uit elkaar liggen in de ruwe cijfers.
• De Geanimeerde Tour: Dit is als een drone die door een wolk van datapunten vliegt. In plaats van een statische foto krijg je een video die de wolk langzaam roteert, waardoor je verborgen vormen en gaten kunt zien die je zou missen als je alleen naar één hoek zou kijken.

4. De "Borstel" (Interactieve Selectie)

Dit is de krachtigste functie. Stel je voor dat je een verfkwast hebt.

• Je schildert een specifieke cluster van punten in de "drone-video" (Kamer A).
• Direct gaan diezelfde punten op in de "statische kaart" (Kamer B).
• Hiermee kun je vragen stellen zoals: "Waarom hebben al deze punten die op de output lijken (Kamer A) zo verschillende temperaturen en vochtigheidsniveaus in de invoer (Kamer B)?"

Wereldwijde Voorbeelden uit het Artikel

De auteurs testten dit gereedschap op twee zeer verschillende problemen om te laten zien hoe het werkt:

Voorbeeld 1: De Fietsverhuurmachine (Machine Learning)

• De Opzet: Ze hadden een computermodel dat voorspelt hoeveel fietsen mensen huren op basis van het weer (temperatuur, wind, regen).
• Het Probleem: Ze wilden weten welke weerscombinaties ervoor zorgen dat het model vreemd doet of goed voorspelt.
• De Oplossing: Ze groepeerden de interne "gedachten" (activaties) van het model in clusters. Vervolgens gebruikten ze de spiegel om naar de weerdata voor die groepen te kijken. Ze ontdekten dat specifieke combinaties van temperatuur en vochtigheid de belangrijkste drijvers waren voor het scheiden van de groepen. Ze controleerden ook de "fouten" (residuen) die het model maakte en zagen dat het model overal goed werk leverde, zonder rare blinde vlekken.

Voorbeeld 2: Het Deeltjesfysica-puzzel (Fysica)

• De Opzet: Natuurkundigen hebben een complex model met 150 knoppen (parameters) die ze draaien om experimentele data over subatomaire deeltjes te matchen.
• Het Probleem: Met 150 knoppen is het onmogelijk om te weten welke er echt toe doen.
• De Oplossing: Ze namen een kleinere set van 6 knoppen en 16 metingen. Ze groepeerden de metingen die op elkaar leken. Vervolgens keken ze naar de "knoppen" voor die groepen. Het gereedschap onthulde dat slechts twee specifieke knoppen (van de zes) verantwoordelijk waren voor het creëren van de onderscheidende groepen. De andere vier knoppen leken het resultaat niet veel te veranderen.

Waarom Dit Belangrijk Is

Voordat er gereedschappen zoals pandemonium waren, was het vinden van deze connecties als het zoeken naar een speld in een hooiberg terwijl je blinddoek draagt. Je zou kunnen raden, maar je kon het patroon niet zien.

Dit pakket rekent niet alleen cijfers uit; het laat je verkennen. Het stelt je in staat om:

1. Data te groeperen op basis van gelijkenis.
2. Direct te zien hoe die groepen eruitzien in de oorspronkelijke data.
3. Door de data te roteren en in te zoomen om verborgen structuren te vinden.

Het is ontworpen om eenvoudig genoeg te zijn voor een beginner om met muis en scherm te gebruiken, maar flexibel genoeg voor experts om hun eigen aangepaste wiskundige formules in te pluggen. Het verandert een verwarrende rommel van hoogdimensionale data in een duidelijk, interactief verhaal.

Technische samenvatting

Technische Samenvatting: pandemonium: High Dimensional Analysis in Linked Spaces

Probleemstelling
Data-analyse komt regelmatig situaties tegen waarbij grote aantallen voorspellers en responsvariabelen betrokken zijn, wat leidt tot twee intrinsiek gekoppelde hoogdimensionale ruimten (input en output). Hoewel visuele benaderingen effectief zijn voor laagdimensionale data, falen traditionele technieken vaak om relaties te onthullen die beide domeinen gelijktijdig bestrijken. Bestaande tools richten zich doorgaans op een enkele ruimte of op interactieve verkenning van clusteringresultaten binnen één ruimte, waardoor het moeilijk is om te redeneren over hoe structuren in een voorspellersruimte verband houden met patronen in een responsruimte, of omgekeerd.

Methodologie
Het artikel introduceert pandemonium, een R-pakket ontworpen om gekoppelde hoogdimensionale ruimten te verkennen door hiërarchische clusteranalyse te combineren met interactieve, gekoppelde visualisaties. De methodologie werkt op een dataset van $n$ observaties die verdeeld zijn over twee ruimten: een clusteringruimte (variabelen $Y$) en een gekoppelde ruimte (variabelen $X$), met optionele aanvullende informatie ($Z$).

De kernwerkstroom omvat:

1. Coördinatentransformatie: Ruwe data wordt omgezet in coördinatenrepresentaties ($\tilde{Y}, \tilde{X}$) met behulp van door de gebruiker gedefinieerde of vooraf gedefinieerde functies (bijvoorbeeld standaardisatie, of transformaties die gebruikmaken van variantie-covariantiematrices).
2. Hiërarchische Clustering: Observaties worden geklaustreerd binnen de clusteringruimte met behulp van hiërarchische clustering. Het pakket ondersteunt reproduceerbare resultaten via geneste clusterselectie, waardoor gebruikers het aantal clusters, afstandsmaatstaven en koppelmethode kunnen aanpassen.
3. Gekoppelde Visualisatie: De resulterende clusters worden gelijktijdig gevisualiseerd in zowel de clustering- als de gekoppelde ruimte. Het visualisatiekader maakt gebruik van:
   • Niet-lineaire Dimensiereductie (NLDR): Technieken zoals t-SNE en UMAP om hoogdimensionale data te projecteren naar 2D.
   • Geanimeerde Tours: Lineaire projecties (bijvoorbeeld grand tours, guided tours, slice tours) gegenereerd via de pakketten tourr en detourr.
   • Gekoppeld Brushing: Geïmplementeerd met het pakket crosstalk, waardoor selecties (brushing) in één weergave (bijvoorbeeld een UMAP-plot van de clusteringruimte) onmiddellijk overeenkomstige punten in alle andere weergaven (bijvoorbeeld een tour van de gekoppelde ruimte) markeren.
4. Statistische Leiding: Het pakket biedt clusterstatistieken (bijvoorbeeld de Calinski-Harabasz-index, binnen-/tussenverhoudingen, clusterstralen en benchmark-afstanden) om te helpen bij het selecteren van het optimale aantal clusters.

Belangrijkste Bijdragen

• Generiek Kader voor Gekoppelde Ruimten: In tegenstelling tot eerdere tools die zich richten op het verfijnen van clustering binnen een enkel domein, definieert pandemonium een generiek kader voor het verkennen van twee verbonden ruimten terwijl interactief de clusteringinstellingen worden gewijzigd.
• Modulaire Architectuur: Gebouwd op shiny, stelt het pakket gebruikers in staat om aangepaste functies in te voegen voor coördinatentransformaties, scoreberekeningen en dimensiereductiemethoden, waardoor de toepasbaarheid verder reikt dan de standaardimplementaties.
• Geïntegreerde Visuele Analyse: Het integreert uniek hiërarchische clustering, NLDR en geanimeerde tours in één interface, waardoor het mogelijk is clusterstructuren te vergelijken met de geometrie van de gekoppelde ruimte.
• Reproduceerbaarheid: Het pakket bevat de functies makePlots() en writeResults() om GUI-gebaseerde analyses te reproduceren en resultaten programmatisch buiten de interactieve sessie te exporteren.

Resultaten en Casestudies
Het artikel valideert het pakket via twee onderscheiden casestudies:

1. Interpretatie van Machine Learning: Het pakket werd gebruikt om een neurale netwerkmodel te analyseren dat het aantal fietsverhuurvoorspellingen voorspelde. Door latente activaties (clusteringruimte) te clusteren en deze te koppelen aan invoervariabelen (gekoppelde ruimte), identificeerden de auteurs dat specifieke invoercombinaties (temperatuur en luchtvochtigheid) verschillende activatiepatronen veroorzaakten. De gekoppelde weergaven onthulden dat hoewel de modelresiduen goed verdeeld waren, de activatieruimte lineaire structuren bevatte die overeenkwamen met de ReLU-activatiefunctie, welke niet direct voor de hand lagen in de invoerruimte alleen.
2. Hoogdimensionaal Fysikamodel: Het pakket analyseerde een complex deeltjesfysikamodel met 150 parameters gereduceerd tot een subset van zes voorspellers en zestien responsvariabelen. Met behulp van een coördinatentransformatie gebaseerd op experimentele covariantiematrices, clusterden de auteurs de responsruimte. Gekoppelde visualisaties identificeerden succesvol dat specifieke voorspellers ($X_1$ en $X_3$) verantwoordelijk waren voor het scheiden van de clusters, terwijl anderen ($X_6$) geen afhankelijkheid vertoonden. Dit demonstreerde het vermogen van de tool om relevante voorspellers te isoleren in hoogdimensionale parameterruimten.

Betekenis en Beperkingen
Het artikel positioneert pandemonium als een verkennend instrument dat de kloof overbrugt tussen statistische clustering en visuele analyse in gekoppelde domeinen. De betekenis ligt in het mogelijk maken voor analisten om intuïtieve hypothesen te formuleren over hoe structuren in de ene ruimte (bijvoorbeeld modelvoorspellingen of latente variabelen) verband houden met structuren in de andere (bijvoorbeeld ruwe invoer of experimentele observabelen).

De auteurs merken bescheiden beperkingen op:

• Schaalbaarheid: Het instrument is beperkt tot middelgrote toepassingen vanwege rekentijdbeperkingen voor tours en de visuele rommel inherent aan hoogdimensionale data. Voor zeer grote datasets wordt variabele selectie of lineaire dimensiereductie aanbevolen voorafgaand aan de verkenning.
• Flexibiliteit versus Eenvoud: Hoewel het pakket modulaire invoer biedt voor gevorderde gebruikers, zijn sommige visuele opties vastgesteld om eenvoud te behouden voor beginnende gebruikers.
• Toekomstig Werk: De auteurs suggereren dat verdere ontwikkeling nodig is om beperkingen te identificeren door middel van bredere toepassingstests en om de modulariteit mogelijk uit te breiden voor complexere use-cases.

Het artikel concludeert dat pandemonium een waardevolle, toegankelijke interface biedt voor het onderzoeken van de onderlinge afhankelijkheid van hoogdimensionale ruimten, toepasbaar in diverse velden van machine learning tot theoretische fysica.