A generative model for dimensionality reduction with millions of features and few samples

Résumé Technique : Un modèle génératif pour la réduction de dimensionnalité avec des millions de caractéristiques et peu d'échantillons

Énoncé du problème
Les méthodes standard de réduction de dimensionnalité sont confrontées à des défis importants lorsqu'elles sont appliquées à des ensembles de données comportant des millions de caractéristiques (par exemple, les données génomiques) et relativement peu d'échantillons. Les méthodes linéaires comme l'Analyse en Composantes Principales (PCA) sont exigeantes en termes de calcul pour les données de haute dimension et peuvent échouer à capturer les structures non linéaires. Les méthodes non linéaires comme le t-SNE et l'UMAP sont souvent impossibles à appliquer directement sur des données aussi haut dimensionnelles, nécessitant généralement une étape préliminaire de PCA. Bien que les autoencodeurs et les autoencodeurs variationnels (VAE) offrent une alternative non linéaire flexible, une préoccupation prévaut selon laquelle l'entraînement de tels modèles nécessite un nombre d'échantillons proportionnel à la dimensionnalité des caractéristiques pour éviter le surapprentissage et garantir l'identifiabilité. Cet article étudie si un modèle génératif profond peut être efficacement entraîné pour la réduction de dimensionnalité dans des régimes de « haute dimensionnalité, échantillonnage limité » (millions de caractéristiques, quelques milliers d'échantillons).

Méthodologie
Les auteurs proposent et évaluent un Décodeur Génératif Profond (DGD), un modèle génératif composé uniquement d'un décodeur. L'hypothèse centrale est que pour les réseaux dont le nombre de paramètres évolue linéairement avec la dimension des caractéristiques, le nombre d'échantillons d'entraînement requis est essentiellement indépendant de la dimensionnalité des caractéristiques.

• Base théorique : Les auteurs dérivent une estimation théorique du nombre critique d'échantillons ($N_c$) nécessaires pour entraîner un décodeur. Pour un réseau avec des paramètres $C \propto d$ (où $d$ est la dimension des caractéristiques), $N_c \approx C/d$, suggérant que $N_c$ est constant quel que soit $d$.
• Architecture :
  • DGD : Un réseau composé uniquement d'un décodeur avec un espace latent ($z$) et un décodeur cartographiant $z$ vers l'espace de caractéristiques de haute dimension.
  • Couche de champ récepteur : Pour gérer des millions de caractéristiques sans couches de sortie entièrement connectées infaisables, les auteurs utilisent une couche de « champ récepteur ». Cette couche connecte les neurones de la dernière couche cachée à des fenêtres locales des caractéristiques de sortie avec un pas (stride) et un chevauchement spécifiques, maintenant la parcimonie et l'efficacité computationnelle tout en présant le contexte génomique local.
  • Modèles comparatifs : Le DGD est comparé au VAE (utilisant une structure encodeur-décodeur symétrique) et à la PCA.
• Jeux de données :
  1. Données synthétiques : Données non linéaires générées comme des points perturbés sur des clusters hypersphériques avec des dimensions allant jusqu'à 500 000.
  2. Projet 1000 Genomes (1KGP) : Un ensemble de données sous-échantillonné de variants génétiques humains (SNPs) allant de 100k à environ 686k caractéristiques, avec des tailles d'échantillons de 100 à 1 000.
  3. International Cancer Genome Consortium (ICGC) : Un ensemble de données organisé de mutations somatiques à travers 22 types de cancers, contenant environ 4,4 millions de caractéristiques et environ 4 000 échantillons.

Principales contributions

1. Validation théorique et empirique de l'indépendance de l'échantillonnage : L'article démontre que le nombre d'échantillons requis pour entraîner un modèle de décodeur seul est largement indépendant de la dimensionnalité des caractéristiques, à condition que l'architecture du réseau mette à l'échelle les paramètres linéairement avec les caractéristiques.
2. Implémentation du champ récepteur : L'introduction d'une couche de champ récepteur permet l'entraînement de modèles génératifs sur des jeux de données avec des millions de caractéristiques en utilisant la mémoire standard d'un GPU (16 Go), surmontant les goulots d'étranglement computationnels des couches entièrement connectées.
3. Performance dans les régimes de haute dimensionnalité et faible échantillonnage : L'étude fournit des preuves empiriques que les DGD peuvent apprendre avec succès des représentations latentes structurées à partir de données génomiques possédant des millions de caractéristiques et seulement quelques milliers d'échantillons, surpassant les VAE et la PCA dans des tâches en aval spécifiques.

Résultats

• Données synthétiques : Le DGD a systématiquement obtenu une erreur quadratique moyenne (MSE) plus faible que le VAE pour toutes les dimensions de caractéristiques (jusqu'à 500k). Crucialement, l'erreur de test du DGD est restée stable et indépendante de la dimension des caractéristiques, tandis que la performance du VAE était sensible à la taille de l'échantillon et aux dimensions des couches cachées.
• Jeu de données 1KGP :
  • Clustering : Appliqué au clustering de la structure de population (5 groupes continentaux), le DGD a systématiquement surpassé le VAE en termes d'indice de Rand ajusté (ARI) et d'information mutuelle normalisée (NMI), particulièrement à des tailles d'échantillons faibles (100–500).
  • Comparaison avec la PCA : Bien que la PCA montre une forte performance de clustering (probablement due à la nature linéaire de la structure de population), le DGD a obtenu des résultats comparables à des tailles d'échantillons plus élevées (1 000) et a démontré une capacité supérieure à capturer les structures non linéaires dans des expériences d'ablation spécifiques (par exemple, en retirant les populations métissées).
• Jeu de données ICGC (4,4M de caractéristiques) :
  • Structure latente : Le DGD a produit un espace latent avec un clustering clair par type de tumeur, alors que le VAE par défaut ($\beta=1$) produisait un espace latent moins organisé.
  • Classification : Dans une tâche de classification de type de tumeur (22 classes) utilisant une régression logistique sur les représentations latentes, le DGD a atteint une précision équilibrée de 67 % (IC 95 % : 64–70 %). Cela a significativement surpassé le VAE (42 %) et la PCA (54 %).
  • Ablation : L'ajustement du poids KL du VAE ($\beta=0$) a amélioré sa performance à 52 %, réduisant l'écart avec la PCA mais restant toujours en deçà du DGD. Cela suggère que si l'ajustement des hyperparamètres affecte la performance du VAE, l'architecture DGD possède un avantage distinct dans ce régime.
• Efficacité computationnelle : Le DGD a été entraîné avec succès sur un GPU T4 de 16 Go de mémoire. En revanche, traiter 4,4 millions de caractéristiques avec la PCA (même via une PCA incrémentale) est décrit comme gourmand en mémoire et exigeant en termes de calcul.

Signification et affirmations
L'article affirme que l'entraînement d'un modèle génératif de type décodeur seul est faisable et avantageux dans des contextes de millions de caractéristiques et de peu d'échantillons. La principale signification réside dans la démonstration que :

1. Faisabilité : La modélisation générative de haute dimension ne nécessite pas strictement des tailles d'échantillons massives proportionnelles à la dimension des caractéristiques, contestant l'intuition selon laquelle le nombre de paramètres dicte les exigences d'échantillonnage.
2. Supériorité sur le VAE : L'architecture DGD est plus robuste et stable que les VAE dans ces scénarios spécifiques de haute dimensionnalité et de faible échantillonnage, produisant des espaces latents mieux structurés pour des tâches en aval comme le clustering et la classification.
3. Efficacité : L'approche par champ récepteur permet de traiter des jeux de données génomiques massifs sur du matériel grand public (GPU 16 Go), offrant une alternative pratique aux méthodes linéaires gourmandes en mémoire comme la PCA.

Les auteurs maintiennent un ton modeste concernant leurs affirmations, notant qu'ils n'ont pas effectué d'ajustement systématique des hyperparamètres en raison des coûts de calcul et de la taille limitée des échantillons. Par conséquent, les résultats sont présentés comme une preuve de faisabilité plutôt que comme un benchmark optimisé. Ils reconnaissent que l'écart de performance observé entre le DGD et le VAE peut être partiellement attribuable à des choix d'hyperparamètres spécifiques (comme $\beta$ dans le V est de l'ordre de l'ordre de grandeur du VAE) plutôt qu'aux seules limitations architecturales, et que l'arrêt précoce basé sur l'ensemble de test peut conduire à des estimations optimistes de la performance de généralisation.