`pandemonium`: High Dimensional Analysis in Linked Spaces

L'article présente `pandemonium`, un package R facilitant l'analyse en haute dimension dans des espaces liés en combinant l'analyse en clusters avec des visualisations liées, telles que la réduction non linéaire de dimension et les tournées animées, pour explorer les relations entre prédicteurs et réponses dans des ensembles de données complexes comme les activations de réseaux de neurones et les modèles physiques multivariables.

L'essentiel

Imaginez que vous essayez de résoudre un puzzle géant et complexe où vous disposez de deux ensembles de indices différents. Un ensemble d'indices décrit ce que vous mettez en entrée (comme les ingrédients d'une recette ou les réglages d'une machine), et l'autre ensemble décrit ce qui en sort (comme le goût du gâteau ou la production de la machine).

Le problème est qu'il y a tellement d'ingrédients et tant de goûts possibles qu'il est impossible de voir le modèle simplement en regardant un tableur. Vous avez besoin d'un moyen de voir comment les ingrédients ensemble créent des goûts spécifiques.

C'est exactement ce que fait le package R pandemonium. C'est une « fenêtre magique » numérique qui aide les chercheurs à relier les points entre deux mondes de haute dimension.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Les deux pièces (Espaces liés)

Imaginez vos données comme deux pièces séparées :

• Pièce A (L'espace de regroupement) : C'est là que vous regroupez les choses en fonction de leur similarité. Imaginez trier une pile de chaussettes mélangées par couleur et par motif.
• Pièce B (L'espace lié) : C'est là que vous examinez les détails originaux. Imaginez regarder les mêmes chaussettes pour voir en quel tissu elles sont faites ou où elles ont été achetées.

Habituellement, les chercheurs regardent la pièce A, puis se rendent dans la pièce B pour essayer de deviner comment elles sont liées. pandemonium place un grand miroir bidirectionnel entre les pièces. Lorsque vous pointez un groupe de chaussettes dans la pièce A, le miroir met instantanément en évidence ces mêmes chaussettes dans la pièce B, vous montrant leur tissu et leur origine.

2. La lentille magique (Regroupement)

L'outil commence par organiser les données dans la pièce A. Il utilise une méthode appelée regroupement hiérarchique, qui ressemble au pliage d'une carte. Vous pouvez zoomer pour voir quelques grandes régions (comme des continents) ou dézoomer pour voir de minuscules quartiers (comme des rues).

• Vous pouvez dire : « Montrez-moi 3 grands groupes » ou « Montrez-moi 10 petits groupes ».
• À mesure que vous changez le nombre de groupes, l'outil met instantanément à jour la vue dans les deux pièces.

3. La caméra mobile (Tours et projections)

Puisque les données ont trop de dimensions pour être dessinées sur une feuille de papier plate, l'outil utilise deux astuces spéciales de caméra pour aplatir le monde 3D (ou 100D) sur un écran 2D :

• La lentille non linéaire (UMAP/t-SNE) : C'est comme un miroir de maison de plaisanterie qui écrase et étire les données pour montrer quels points sont naturellement proches les uns des autres, même s'ils sont loin dans les nombres bruts.
• La visite animée : C'est comme un drone volant à travers un nuage de points de données. Au lieu d'une photo statique, vous obtenez une vidéo qui fait lentement tourner le nuage, vous permettant de voir des formes et des espaces cachés que vous auriez manqués si vous aviez simplement regardé sous un seul angle.

4. Le « pinceau » (Sélection interactive)

C'est la fonctionnalité la plus puissante. Imaginez que vous avez un pinceau à peinture.

• Vous peignez un groupe spécifique de points dans la « vidéo du drone » (Pièce A).
• Instantanément, ces mêmes points s'allument dans la « carte statique » (Pièce B).
• Cela vous permet de poser des questions comme : « Pourquoi tous ces points qui semblent similaires dans la sortie (Pièce A) ont-ils des niveaux de température et d'humidité si différents dans l'entrée (Pièce B) ? »

Exemples réels tirés de l'article

Les auteurs ont testé cet outil sur deux problèmes très différents pour montrer comment il fonctionne :

Exemple 1 : La machine de location de vélos (Apprentissage automatique)

• Le montage : Ils disposaient d'un modèle informatique qui prédit combien de vélos les gens loueront en fonction de la météo (température, vent, pluie).
• Le problème : Ils voulaient savoir quelles combinaisons de conditions météorologiques font que le modèle agit bizarrement ou prédit bien.
• La solution : Ils ont regroupé les « pensées » internes (activations) du modèle en clusters. Ensuite, ils ont utilisé le miroir pour examiner les données météorologiques de ces groupes. Ils ont découvert que des combinaisons spécifiques de température et d'humidité étaient les principaux facteurs de séparation des groupes. Ils ont également vérifié les « erreurs » (résidus) commises par le modèle et ont constaté que le modèle fonctionnait bien partout, sans angles morts étranges.

Exemple 2 : L'énigme de la physique des particules (Physique)

• Le montage : Les physiciens ont un modèle complexe avec 150 boutons (paramètres) qu'ils tournent pour correspondre aux données expérimentales sur les particules subatomiques.
• Le problème : Avec 150 boutons, il est impossible de savoir lesquels comptent vraiment.
• La solution : Ils ont pris un ensemble plus petit de 6 boutons et 16 mesures. Ils ont regroupé les mesures qui semblaient similaires. Ensuite, ils ont examiné les « boutons » de ces groupes. L'outil a révélé que seuls deux boutons spécifiques (sur les six) étaient responsables de la création des groupes distincts. Les quatre autres boutons ne semblaient pas beaucoup changer le résultat.

Pourquoi cela compte

Avant des outils comme pandemonium, comprendre ces connexions était comme essayer de trouver une aiguille dans une botte de foin les yeux bandés. Vous pouviez deviner, mais vous ne pouviez pas voir le modèle.

Ce package ne se contente pas de calculer des nombres ; il vous permet d'explorer. Il vous permet de :

1. Regrouper les données par similarité.
2. Voir instantanément à quoi ressemblent ces groupes dans les données originales.
3. Faire pivoter et zoomer dans les données pour trouver des structures cachées.

Il est conçu pour être assez simple pour qu'un débutant puisse l'utiliser avec une souris et un écran, mais assez flexible pour que les experts puissent y intégrer leurs propres formules mathématiques personnalisées. Il transforme un chaos confus de données de haute dimension en une histoire claire et interactive.

Résumé technique

Résumé technique : pandemonium : Analyse en haute dimension dans des espaces liés

Énoncé du problème
L'analyse des données rencontre fréquemment des scénarios impliquant un grand nombre de prédicteurs et de réponses, créant deux espaces de haute dimension intrinsèquement liés (entrée et sortie). Bien que les approches visuelles soient efficaces pour les données de faible dimension, les techniques traditionnelles échouent souvent à révéler les relations s'étendant simultanément aux deux domaines. Les outils existants se concentrent généralement sur un seul espace ou sur l'exploration interactive des résultats de regroupement au sein d'un seul espace, rendant difficile la réflexion sur la manière dont les structures dans un espace de prédicteurs se rapportent aux motifs dans un espace de réponses, ou vice versa.

Méthodologie
L'article présente pandemonium, un package R conçu pour explorer des espaces de haute dimension liés en combinant l'analyse hiérarchique de regroupement avec des visualisations interactives et liées. La méthodologie opère sur un ensemble de données de $n$ observations réparties dans deux espaces : un espace de regroupement (variables $Y$) et un espace lié (variables $X$), avec des informations supplémentaires optionnelles ($Z$).

Le flux de travail principal comprend :

1. Transformation de coordonnées : Les données brutes sont converties en représentations de coordonnées ($\tilde{Y}, \tilde{X}$) à l'aide de fonctions définies par l'utilisateur ou prédéfinies (par exemple, la standardisation, ou des transformations utilisant des matrices de variance-covariance).
2. Regroupement hiérarchique : Les observations sont regroupées au sein de l'espace de regroupement en utilisant le regroupement hiérarchique. Le package permet des résultats répétables via la sélection de regroupements imbriqués, permettant aux utilisateurs d'ajuster le nombre de regroupements, les métriques de distance et les méthodes de liaison.
3. Visualisation liée : Les regroupements résultants sont visualisés simultanément dans les espaces de regroupement et liés. Le cadre de visualisation utilise :
   • Réduction de dimension non linéaire (NLDR) : Des techniques telles que t-SNE et UMAP pour projeter les données de haute dimension en 2D.
   • Tours animés : Des projections linéaires (par exemple, grands tours, tours guidés, tours de tranches) générées via les packages tourr et detourr.
   • Sélection liée (Linked Brushing) : Implémentée à l'aide du package crosstalk, permettant aux sélections (sélection) dans une vue (par exemple, un graphique UMAP de l'espace de regroupement) de mettre immédiatement en évidence les points correspondants dans toutes les autres vues (par exemple, un tour de l'espace lié).
4. Guidage statistique : Le package fournit des statistiques de regroupement (par exemple, l'indice de Calinski-Harabasz, les ratios intra/inter, les rayons de regroupement et les distances de référence) pour aider à sélectionner le nombre optimal de regroupements.

Contributions clés

• Cadre générique pour les espaces liés : Contrairement aux outils précédents qui se concentrent sur l'affinement du regroupement au sein d'un seul domaine, pandemonium définit un cadre générique pour explorer deux espaces connectés tout en modifiant interactivement les paramètres de regroupement.
• Architecture modulaire : Construit sur shiny, le package permet aux utilisateurs d'injecter des fonctions personnalisées pour les transformations de coordonnées, les calculs de scores et les méthodes de réduction de dimension, étendant ainsi son applicabilité au-delà des implémentations par défaut.
• Analyse visuelle intégrée : Il intègre de manière unique le regroupement hiérarchique, la NLDR et les tours animés dans une seule interface, permettant la comparaison des structures de regroupement par rapport à la géométrie de l'espace lié.
• Reproductibilité : Le package inclut les fonctions makePlots() et writeResults() pour reproduire les analyses basées sur l'interface graphique et exporter les résultats de manière programmatique en dehors de la session interactive.

Résultats et études de cas
L'article valide le package grâce à deux études de cas distinctes :

1. Interprétation de l'apprentissage automatique : Le package a été utilisé pour analyser un modèle de réseau de neurones prédisant le nombre de locations de vélos. En regroupant les activations latentes (espace de regroupement) et en les mappant aux variables d'entrée (espace lié), les auteurs ont identifié que des combinaisons d'entrées spécifiques (température et humidité) entraînaient des motifs d'activation distincts. Les vues liées ont révélé que, bien que les résidus du modèle soient bien distribués, l'espace d'activation contenait des structures linéaires correspondant à la fonction d'activation ReLU, qui n'étaient pas immédiatement évidentes dans l'espace d'entrée seul.
2. Modélisation physique en haute dimension : Le package a analysé un modèle complexe de physique des particules avec 150 paramètres réduits à un sous-ensemble de six prédicteurs et seize réponses. En utilisant une transformation de coordonnées basée sur des matrices de covariance expérimentales, les auteurs ont regroupé l'espace de réponse. Les visualisations liées ont permis d'identifier avec succès que des prédicteurs spécifiques ($X_1$ et $X_3$) étaient responsables de la séparation des regroupements, tandis que d'autres ($X_6$) ne montraient aucune dépendance. Cela a démontré la capacité de l'outil à isoler les prédicteurs pertinents dans des espaces de paramètres de haute dimension.

Importance et limites
L'article positionne pandemonium comme un outil d'exploration qui comble le fossé entre le regroupement statistique et l'analyse visuelle dans les domaines liés. Son importance réside dans la capacité à permettre aux analystes de formuler des hypothèses intuitives sur la manière dont les structures dans un espace (par exemple, les prédictions de modèles ou les variables latentes) se rapportent aux structures dans un autre (par exemple, les entrées brutes ou les observables expérimentaux).

Les auteurs notent des limites modestes :

• Évolutivité : L'outil est limité aux applications de taille moyenne en raison des contraintes de temps de calcul pour les tours et de l'encombrement visuel inhérent aux données de haute dimension. Pour les très grands ensembles de données, une sélection de variables ou une réduction de dimension linéaire est recommandée avant l'exploration.
• Flexibilité versus simplicité : Bien que le package offre des entrées modulaires pour les utilisateurs avancés, certaines options visuelles sont fixes pour maintenir la simplicité pour les utilisateurs novices.
• Travaux futurs : Les auteurs suggèrent qu'un développement supplémentaire est nécessaire pour identifier les limites grâce à des tests d'application plus larges et pour potentiellement étendre la modularité pour des cas d'utilisation plus complexes.

L'article conclut que pandemonium fournit une interface précieuse et accessible pour étudier l'interdépendance des espaces de haute dimension, applicable à divers domaines allant de l'apprentissage automatique à la physique théorique.