Homogeneity and Sub-homogeneity Pursuit: Iterative Complement Clustering PCA

1. Problématique et Contexte

L'Analyse en Composantes Principales (ACP ou PCA) est l'outil de réduction de dimension le plus utilisé pour extraire les structures de données à haute dimension. Elle vise à identifier l'homogénéité (les motifs communs partagés par l'ensemble des données). Cependant, dans des contextes où les données proviennent de populations distinctes ou possèdent une structure de groupes (par exemple, des actions de différentes industries), l'ACP traditionnelle échoue souvent à capturer les motifs spécifiques à chaque groupe.

Ce phénomène est appelé sous-homogénéité (sub-homogeneity) dans cet article.

• Le défi : La sous-homogénéité (variance spécifique à un groupe) est souvent de plus faible amplitude que l'homogénéité globale (variance commune, comme l'effet de marché). Par conséquent, l'ACP classique, qui se concentre sur les plus grandes valeurs propres, traite la sous-homogénéité comme du bruit et l'ignore.
• La conséquence : Cela conduit à une représentation inadéquate des données pour des groupes spécifiques, nuisant à la précision des prévisions (par exemple, en finance) et à l'interprétation des structures sous-jacentes.
• Le paradoxe : Pour identifier correctement les groupes (clusters), il faut d'abord retirer l'effet commun (homogénéité). Inversement, pour estimer précisément l'effet commun, il est bénéfique de connaître la structure des groupes. Ces deux objectifs sont interdépendants et difficiles à résoudre simultanément, surtout lorsque la dimension $p$ (nombre de variables) est comparable ou supérieure à la taille de l'échantillon $n$ (malédiction de la dimensionnalité).

2. Méthodologie : CPCA (Iterative Complement Clustering PCA)

Les auteurs proposent une nouvelle méthode itérative appelée CPCA (Iterative Complement Clustering Principal Component Analysis) pour estimer simultanément l'homogénéité et la sous-homogénéité.

Représentation des Données

Le modèle suppose que la donnée $x_i$ peut être décomposée en :
$$x_i = \sum_{k=1}^{r_c} g_{ik}\phi_k + \sum_{j=1}^{J} \sum_{h=1}^{r_j} f_{ih}^{(j)} \gamma_h^{(j)} + \epsilon_i^{(j)}$$
Où :

• La première somme représente l'homogénéité (composantes communes $g_{ik}$ et vecteurs propres $\phi_k$).
• La deuxième somme représente la sous-homogénéité (composantes spécifiques aux clusters $f_{ih}^{(j)}$ et vecteurs propres $\gamma_h^{(j)}$).
• La matrice de covariance résultante a une structure de rang faible plus une structure diagonale par blocs.

Algorithme CPCA

L'algorithme procède par étapes itératives pour résoudre le problème de circularité entre le clustering et l'estimation des composantes :

1. Étape Initiale :

   • Appliquer une ACP standard sur l'ensemble des données $X$ pour estimer les composantes communes initiales ($G_0, \Phi_0$).
   • Calculer le complément (résidus) : $X_c^0 = X - G_0 \Phi_0^\top$.
   • Effectuer un clustering hiérarchique sur ce complément pour obtenir des groupes initiaux.

2. Étape Itérative :

   • Estimation des composantes communes : Pour chaque cluster identifié, effectuer une ACP locale. Combiner ces composantes locales et effectuer une nouvelle ACP sur l'ensemble combiné pour mettre à jour les composantes communes globales ($G_s, \Phi_s$). Cela permet de réduire l'impact de la dimensionnalité élevée.
   • Mise à jour du clustering (Nouvelle contribution) : Utiliser une méthode de clustering par régression en composantes principales "leave-one-out" (LOO-PCR).
     • Pour chaque variable, on la laisse de côté et on la régresse sur les composantes principales des autres variables de chaque cluster candidat.
     • La variable est assignée au cluster qui minimise la somme des carrés des résidus (SSR).
     • Si le SSR dépasse un seuil, la variable est considérée comme un cluster à part entière.
   • L'itération se poursuit jusqu'à la convergence des clusters (mesurée par l'Indice Rand Ajusté - ARI).

3. Étape Finale :

   • Une fois les clusters convergés, on effectue une dernière estimation des composantes communes et des composantes spécifiques à chaque cluster.

3. Contributions Clés

1. Définition et Modélisation de la Sous-Homogénéité : L'article formalise mathématiquement la sous-homogénéité comme une structure de rang faible spécifique aux groupes, masquée par l'homogénéité globale.
2. Algorithme Itératif CPCA : Une méthode novatrice qui alterne entre l'estimation des composantes communes et le regroupement des variables, permettant de "nettoyer" l'effet commun pour révéler la structure de groupe.
3. Méthode de Clustering LOO-PCR : Introduction d'une méthode de clustering basée sur la régression PCR (Leave-One-Out), qui surpasse le clustering hiérarchique traditionnel, en particulier dans les cas de haute dimension ($p \gg n$). Cette méthode est théoriquement justifiée par un théorème d'identifiabilité.
4. Gestion de la Dimensionnalité : En effectuant l'ACP au niveau des groupes avant de combiner les résultats, la méthode atténue la malédiction de la dimensionnalité, offrant une estimation plus précise des composantes communes que l'ACP directe sur $p$ variables.

4. Résultats Expérimentaux

Les auteurs ont validé leur méthode via des simulations et une analyse de données réelles.

Études de Simulation

• Scénarios : Différentes configurations avec $n$ (échantillon) petit et $p$ (variables) grand, avec des effets communs et des effets spécifiques de groupes de variances variables.
• Comparaison : CPCA (itératif) vs CPCA I (sans itération) vs ACP classique.
• Résultats :
  • L'ACP classique échoue à capturer les composantes spécifiques aux groupes (sous-homogénéité), entraînant une erreur de reconstruction (MSRE) élevée.
  • La méthode CPCA itérative (CPCA F) surpasse systématiquement l'ACP et la version non itérative, en particulier lorsque $n$ est petit ou $p$ est grand.
  • Dans les applications de Régression en Composantes Principales (PCR), CPCA permet d'identifier les groupes pertinents pour la prédiction (via le Lasso de groupe) et réduit l'erreur de prédiction (MSPE).
  • Pour l'estimation de la matrice de covariance, CPCA fournit une estimation plus précise (erreur Frobenius plus faible) que l'ACP et la méthode POET (Principal Orthogonal complEment Thresholding).

Analyse de Données Réelles (Retours d'Actions)

• Données : Retours quotidiens de 160 actions de 8 industries différentes (2014).
• Objectif : Identifier les structures industrielles (clusters) après avoir retiré l'effet de marché.
• Résultats :
  • L'ACP classique et le clustering hiérarchique direct sur les données brutes échouent à séparer les industries (ARI = 0,09), car l'effet de marché masque les spécificités sectorielles.
  • CPCA itératif réussit à extraire l'effet de marché (homogénéité) et à révéler les structures industrielles (sous-homogénéité), améliorant l'ARI à 0,72.
  • Application Portefeuille : L'estimation de la matrice de covariance par CPCA permet de construire un portefeuille à variance minimale (MVP) avec un risque (écart-type) plus faible et un ratio de Sharpe plus élevé que les méthodes traditionnelles.

5. Signification et Conclusion

L'article démontre que dans les données à haute dimension structurées par groupes, ignorer la sous-homogénéité conduit à une perte d'information critique. La méthode CPCA proposée offre une solution robuste pour :

1. Décomposer les données en effets communs et effets spécifiques aux groupes.
2. Améliorer la précision des estimations statistiques (covariance, régression) en tenant compte de la structure de groupe.
3. Fournir des interprétations plus riches (ex: identification des secteurs industriels en finance).

Cette approche est particulièrement pertinente pour la finance, la génomique et tout domaine où des sous-populations partagent des caractéristiques globales tout en conservant des signatures uniques. La disponibilité du code R en annexe facilite l'adoption de cette méthode par la communauté de recherche.