Résumé Technique : Anchor PCA

Énoncé du Problème

L'Analyse en Composantes Principales (PCA) est une technique standard de réduction de dimension non supervisée, visant à trouver un sous-espace de faible dimension qui capture la variance maximale. Cependant, lorsque les données sont collectées à travers plusieurs domaines apparentés mais hétérogènes (par exemple, différentes localisations géographiques, points temporels ou conditions expérimentales), les sous-espaces principaux peuvent différer de manière significative.

Les approches standard, telles que l'exécution d'une PCA sur des données regroupées (poolPCA), maximisent la variance expliquée moyenne. Les auteurs soutiennent que cette approche peut être défectueuse : elle peut privilégier des directions qui présentent une variance élevée dans seulement quelques domaines (directions spécieuses) tout en échouant à capturer des directions qui sont robustes et invariantes à travers tous les domaines. Par conséquent, la poolPCA peut produire des plongements (embeddings) qui expliquent peu de variance dans des domaines cibles inédits ou échouer à récupérer des structures invariantes physiquement significatives. Le papier traite de la nécessité d'une méthode qui équilibre la variance expliquée avec la découverte de directions partagées et invariantes de la variation à travers plusieurs domaines.

Méthodologie : Anchor PCA

Les auteurs proposent Anchor PCA, un cadre qui arbitre explicitement entre la variance expliquée globale et l'accord entre un plongement de faible rang partagé et les plongements de faible rang spécifiques à chaque domaine. La méthode est définie par deux variantes :

1. Sous-espace invariant maximal ($S^\star$)

Les auteurs définissent d'abord le sous-espace invariant maximal $S^\star$ comme l'intersection des $k$ premiers sous-espaces principaux de tous les $E$ domaines sources :
$$S^\star := \bigcap_{e=1}^E \text{Im}(\Pi^{(e)}_k)$$
où $\Pi^{(e)}_k$ est la matrice de projection sur les $k$ vecteurs propres supérieurs de la matrice de covariance $\Sigma_e$ pour le domaine $e$.

2. AnchorPCA$_\infty$ (Invariance stricte)

Pour trouver un sous-espace de rang-$k$ qui adhère strictement à l'invariance, les auteurs définissent AnchorPCA$_\infty$. Cette méthode cherche un sous-espace qui minimise le désaccord (mesuré par la norme de Frobenius de la différence entre les matrices de projection) avec tous les sous-espaces de rang-$k$ spécifiques aux domaines, tout en maximisant la variance expliquée regroupée parmi ces solutions.
Formellement, elle résout :
$$W^{\infty}_k \in \arg \max_{W \in O_{p \times k}} \text{Tr}(W^\top \Sigma W) \quad \text{sous contrainte de} \quad W \in \arg \min_{\tilde{W}} \sum_{e=1}^E \| \Pi_{\tilde{W}} - \Pi^{(e)}_k \|_F^2$$
où $\Sigma$ est la covariance moyenne et $\Pi_{\tilde{W}} = \tilde{W}\tilde{W}^\top$.

3. AnchorPCA$_\lambda$ (Invariance souple)

Reconnaissant qu'une invariance exacte ($S^\star = \{0\}$) peut ne pas exister ou être trop restrictive, les auteurs introduisent AnchorPCA$_\lambda$ avec un paramètre de compromis $\lambda > 0$. Cette méthode relaxe la contrainte stricte en une pénalité souple :
$$W^{\lambda}_k \in \arg \max_{W \in O_{p \times k}} \left( \text{Tr}(W^\top \Sigma W) - \lambda \sum_{e=1}^E \| \Pi_W - \Pi^{(e)}_k \|_F^2 \right)$$
Cette formulation est équivalente à effectuer une PCA standard sur une matrice cible modifiée $M_\lambda$ :
$$M_\lambda := \Sigma + 2E\lambda \Pi$$
où $\Pi = \frac{1}{E} \sum_{e=1}^E \Pi^{(e)}_k$ est la matrice de projection moyenne. Cette équivalence permet de résoudre AnchorPCA$_\lambda$ efficacement via une décomposition en valeurs propres standard.

4. Implémentation en échantillon fini

Pour les données finies, les auteurs proposent des estimateurs empiriques. Pour AnchorPCA$_\infty$, un estimateur par substitution directe (plug-in) est incohérent en raison du bruit d'estimation qui scinde les blocs de valeurs propres. Ils introduisent un algorithme de stabilisation par blocs qui regroupe les valeurs propres consécutives du projecteur moyen empirique $\hat{\Pi}$ dans une tolérance $tol_n$ pour récupérer le sous-espace invariant empirique. Ils proposent également FindS$^\star$, une procédure de test séquentiel adaptée de l'analyse des composantes principales communes partielles (PCPCA) pour estimer directement la dimension du sous-espace invariant.

Contributions Théoriques Clés

1. Garanties de Récupération :

   • Théorème 3.1 : Si un sous-espace invariant maximal non trivial $S^\star$ existe, AnchorPCA$_\infty$ est garanti de le contenir ($S^\star \subseteq \text{Im}(\Pi^{\infty}_k)$). De plus, lorsque $\lambda \to \infty$, les directions principales de AnchorPCA$_\lambda$ convergent vers $S^\star$.
   • Cohérence : Sous des conditions modérées (moments d'ordre 4 finis, écarts de valeurs propres stricts), les estimateurs empiriques pour AnchorPCA$_\lambda$ et l'AnchorPCA$_\infty$ stabilisé par blocs sont cohérents à mesure que la taille des échantillons augmente.

2. Interprétation de Reconstruction Minimax :

   • Théorème 4.1 : AnchorPCA$_\lambda$ admet une interprétation minimax. C'est le projecteur de rang-$k$ qui minimise l'erreur de reconstruction moyenne dans le pire des cas sur un ensemble de domaines cibles perturbés où les matrices de covariance subissent des inflations liées aux sous-espaces propres locaux de rang-$k$. Plus précisément, il minimise :
     $$\max_{(\Sigma'_1, \dots, \Sigma'_E) \in \mathcal{C}_\lambda} R(W; \Sigma'_1, \dots, \Sigma'_E)$$
     où $\mathcal{C}_\lambda$ représente les covariances avec des inflations bornées par $2E\lambda \Pi^{(e)}_k$. AnchorPCA$_\infty$ correspond à la limite où la pente de l'erreur dans le pire des cas (la pénalité de désaccord) est minimisée en premier.

Résultats Expérimentaux

Les auteurs valident Anchor PCA sur des données synthétiques et réelles :

1. Exemple de Motivation : Dans un exemple synthétique en 4D avec trois domaines, la poolPCA a échoué à récupérer la direction invariante réelle $b$ car elle était dominée par une direction à haute variance $w$ présente dans un seul domaine. Les méthodes AnchorPCA$_\lambda$ et AnchorPCA$_\infty$ ont toutes deux réussi à récupérer le sous-espace invariant. AnchorPCA$_\lambda$ (avec un $\lambda$ fini) a équilibré variance et invariance, tandis qu'AnchorPCA$_\infty$ a privilégié l'invariance.

2. Récupération de Sous-espace Invariant : Dans des simulations avec des sous-espaces aléatoires, l'AnchorPCA$_\infty$ stabilisé par blocs et FindS$^\star$ ont systématiquement récupéré la dimension et le sous-espace réel de $S^\star$ à mesure que la taille de l'échantillon augmentait. La méthode est restée robuste sous des distributions de données non gaussiennes (mélanges gausiens).

3. Dérive de Capteurs de Gaz : En utilisant des données réelles de capteurs de gaz présentant une dérive temporelle, les auteurs ont traité les lots temporels comme des domaines.

   • Configuration : Les lots sources (B1–B6) ont été utilisés pour l'ajustement ; les lots cibles (B7–B10) ont été mis de côté.
   • Résultats : AnchorPCA$_\infty$ a obtenu la variance expliquée moyenne la plus élevée sur les lots cibles (87,3 %) comparé à la poolPCA (75,5 %) et à une ligne de base de pire cas (norm-maxRegret). AnchorPCA$_\lambda=1$ a montré un compromis, conservant plus de variance source mais avec une performance cible légèrement inférieure à la version à pénalité infinie. AnchorPCA$_\infty$ s'est amélioré par rapport à la poolPCA sur chaque lot cible mis de côté.

Signification et Revendications

Le papier établit Anchor PCA comme une approche prometteuse pour la réduction de dimension non supervisée robuste à partir de données multi-domaines. Sa signification réside dans :

• Rigueur Théorique : Fournir des garanties formelles pour la récupération des sous-espaces invariants maximaux et offrir une interprétation de reconstruction minimax sous des inflations de covariance structurées.
• Utilité Pratique : Démontrer que se concentrer sur les directions partagées de variation produit des plongements qui généralisent mieux à des domaines inédits par rapport au regroupement standard ou aux bases d'optimisation du pire cas.
• Efficacité : La méthode se réduit à un problème de PCA standard sur une matrice modifiée, ce qui la rend efficace sur le plan computationnel.
• Lien avec la Causalité : L'approche s'inspire de l'apprentissage invariant et de la régression ancrée, comblant le fossé entre l'invariance causale et l'apprentissage de représentations non supervisées.

Les auteurs notent des limites, notamment la sensibilité aux égalités de valeurs propres proches et l'hypothèse que les perturbations sont des inflations bornées au sein des sous-espaces propres locaux (et non des décalages de moyenne ou des rotations). Ils suggèrent également des travaux futurs sur des extensions non linéaires via des autoencodeurs.