Résumé Technique : PCA Non-linéaire via les Stratégies d'Évolution

Énoncé du Problème

L'Analyse en Composantes Principales (PCA) est une technique de réduction de dimension dominante, appréciée pour sa nature déterministe et son interprétabilité. Cependant, sa dépendance aux transformations linéaires limite sa capacité à capturer les structures non linéaires complexes inhérentes aux données réelles. Les extensions non linéaires existantes font face à des compromis importants :

• PCA à Noyau (kPCA) : Bien qu'elle capture la non-linéarité, elle sacrifie l'interprétabilité (les composantes principales ne se rapportent pas directement aux variables originales) et peine avec la sélection des hyperparamètres.
• Auto-encodeurs : Ceux-ci manquent des propriétés intrinsèques de maximisation de la variance et d'orthogonalité de la PCA, et leurs variables latentes sont souvent difficiles à interpréter.
• Gestion des Données Catégorielles : La PCA standard et de nombreuses méthodes NLPCA ne peuvent pas traiter nativement les variables catégorielles ou ordinales. La conversion de celles-ci en encodages "one-hot" provoque une « explosion dimensionnelle », où les niveaux catégoriels dominent la contribution à la variance, biaisant l'analyse. De plus, les méthodes existantes comme l'Analyse Factorielle Multiple (MFA) nécessitent un encodage "one-hot", ce qui entraîne une instabilité dans les jeux de données possédant de nombreux niveaux uniques.

Les auteurs identifient une lacune pour un cadre capable d'unifier l'interprétabilité de la PCA avec la flexibilité des réseaux de neurones, capable de gérer des types de données mixtes sans explosion dimensionnelle.

Méthodologie

Le cadre proposé, PCA Non-linéaire via les Stratégies d'Évolution (ES), se compose de trois composantes clés :

1. Paramétrage des Transformations

Au lieu d'apprendre une application non linéaire globale, la méthode paramètre une fonction de transformation distincte $\Phi_l$ pour chaque variable originale $X^{(l)}$.

• Architecture : Chaque $\Phi_l$ est implémentée sous la forme d'un réseau de neurones à propagation avant (feed-forward) simple.
• Gestion des Variables Catégorielles : Pour les variables catégorielles, l'entrée est encodée en "one-hot", mais le réseau produit une valeur scalaire unique. Cela garantit que chaque variable originale (qu'elle soit numérique ou catégorielle) est mappée vers exactement une dimension transformée, empêchant l'explosion dimensionnelle associée au "one-hot encoding" standard de la PCA ou de la MFA.
• Interprétabilité : Le mappage un-à-un permet de remonter les composantes résultantes vers des variables originales spécifiques.

2. Optimisation via les Stratégies d'Évolution

La fonction objectif implique la décomposition en valeurs propres de la matrice de covariance, qui n'est pas dérivable. Par conséquent, la rétropropagation standard ne peut être utilisée.

• Algorithme : Les auteurs emploient les Stratégies d'Évolution (ES), une méthode d'optimisation par boîte noire sans dérivée.
• Processus : Les paramètres des réseaux de neurones sont perturbés par un bruit gaussien. La valeur de l'objectif est calculée pour chaque perturbation, et les paramètres sont mis à jour sur la base d'une approximation du gradient dérivée des échantillons de bruit pondérés. Cela contourne les contraintes de dérivabilité de la décomposition en valeurs propres standard.

3. Fonctions Objectifs Nouvelles

Le papier introduit deux fonctions objectifs pour maximiser la variance expliquée des $k$ premières composantes principales :

• Objectif Global ($F^k_{global}$) : Maximise la somme des variances des $k$ premières composantes. Cela fournit un signal scalaire unique pour l'ensemble du système.
• Objectif Partiel (Granulaire) ($F^k_l$) : Une contribution novatrice qui décompose la variance globale pour maximiser la contribution de variance individuelle de chaque variable transformée.
  • Basé sur la Proposition 3.1, la contribution de variance $c_{j,l}$ de la variable $l$ à la valeur propre $j$ est calculée.
  • L'objectif maximise la somme de ces contributions individuelles pour chaque variable séparément.
  • Mise à l'échelle : Pour assurer une comparaison équitable avec l'objectif global, l'objectif global est réduit par le nombre de variables $p$ afin de correspondre à l'ordre de grandeur de l'étape d'apprentissage dans l'ES.

Contributions Clés

1. Extension Non-Linéaire via la Neuroévolution : Le papier propose un cadre NLPCA robuste où les transformations de variables sont paramétrées par des réseaux de neurones et optimisées par ES. Cela permet des applications complexes arbitraires tout en évitant les problèmes de dérivabilité de la décomposition en valeurs propres standard.
2. Maximisation de la Variance Granulaire : L'introduction de la fonction objectif partielle est une contribution primaire. En isolant et en maximisant la contribution de variance spécifique de chaque variable, la méthode fournit un signal d'apprentissage plus fort et plus robuste que la maximisation de la variance globale, particulièrement dans les hautes dimensions.
3. Gestion Unifiée des Données : La méthode gère nativement les variables numériques, catégorielles et ordinales simultanément. En mappant chaque variable catégorielle vers une seule colonne transformée, elle évite l'explosion dimensionnelle du "one-hot encoding", comblant ainsi l'écart entre la PCA à noyau et les méthodes traditionnelles basées sur les composantes comme la MFA.

Résultats Expérimentaux

La méthode a été évaluée sur trois jeux de données synthétiques (cercles imbriqués, sphères, rayures alternées) et cinq jeux de données réels (crédit, ionosphère, cancer du sein, cœur, vin) provenant d'OpenML.

• Variance Expliquée : La méthode proposée (ES-PCA) a systématiquement surpassé la PCA linéaire sur tous les jeux de données.
• Comparaison avec kPCA : La méthode ES-PCA, particulièrement avec l'objectif partiel (ES-Partial), a significativement surpassé la PCA à noyau (kPCA) sur les jeux de données réels pour $k=2$ (variance cumulée des deux premières composantes).
  • Note : La comparaison avec kPCA a été favorable à kPCA, car le meilleur résultat parmi quatre noyaux (rbf, cosinus, polynomial, sigmoïde) a été rapporté sans ajustement fin (fine-tuning), alors que l'ES-PCA utilise des paramètres par défaut.
• Performance de l'Objectif : L'objectif partiel a systématiquement produit une variance expliquée plus élevée et une convergence plus rapide par rapport à l'objectif global. Le gain de performance de l'objectif partiel sur l'objectif global est fortement corrélé à la dimensionnalité du jeu de données ($\rho=0,87$ pour $k=1$ et $\rho=0,98$ pour $k=2$).
• Interprétabilité : Les résultats qualitatifs sur les jeux de données synthétiques ont démontré que les transformations apprises étaient intuitivement interprétables (par exemple, capturant les différences de rayon dans les sphères ou la périodicité dans les rayures). La méthode préserve la capacité d'utiliser les outils de visualisation PCA standards comme les biplots.

Signification et Revendications

Le papier prétend répondre au « fossé » dans la recherche NLPCA identifié dans les revues précédentes : le besoin d'un cadre général avec des transformations paramétrées qui maintiennent l'interprétabilité.

• Interprétabilité : Contra irement aux auto-encodeurs ou à la kPCA, cette méthode préserve le mappage un-à-un entre les variables originales et transformées, permettant aux analystes d'utiliser des outils standards (biplots) pour visualiser les contributions des caractéristiques et les relations non linéaires.
• Robustesse aux Types de Données : En gérant les variables catégorielles sans "one-hot encoding", la méthode offre une approche plus stable et efficace pour les jeux de données réels non curatés où les niveaux catégoriels peuvent être nombreux ou incohérents.
• Signal d'Apprentissage : Les auteurs affirment que l'objectif partiel granulaire fournit un signal d'apprentissage supérieur, permettant au modèle d'apprendre plus efficacement dans les espaces de haute dimension où les objectifs globaux peuvent peiner à fournir des directives spécifiques pour chaque transformation.

Les auteurs restent modestes quant à l'état actuel du travail, notant que la variance expliquée continue d'augmenter avec le nombre de générations, suggérant que des gains supplémentaires sont possibles. Ils reconnaissent également que, bien que la méthode gère mieux les valeurs aberrantes que la PCA standard dans certains contextes, des techniques de PCA robuste pourraient être intégrées dans de futurs travaux.