Résumé Technique : Transitions de Phase Induites par les Données Manquantes dans la PLS Spectrale pour l'Apprentissage Multimodal

Énoncé du Problème

L'apprentissage multimodal implique souvent l'extraction de structures partagées de faible dimension à partir de vues de données appariées $(X, Y)$. Bien que la Méthode des Moindres Carrés Partiels (PLS), et plus spécifiquement sa formulation spectrale via la Décomposition en Valeurs Singulières (PLS-SVD), soit un outil standard pour cette tâche, les ensembles de données multimodaux réels souffrent fréquemment de valeurs manquantes dans les deux vues en raison d'échecs d'acquisition ou de pipelines hétérogènes.

Le problème central abordé est de comprendre les limites fondamentales de la PLS-SVD lorsque les deux vues sont soumises à un masquage Complètement Manquant au Hasard (MCAR). Plus précisément, les auteurs enquêtent sur :

1. Dans quelles conditions la PLS-SVD échoue-t-elle à retrouver la structure latente partagée lorsque les données sont manquantes ?
2. Comment le mécanisme de manquance modifie-t-il quantitativement le seuil de récupération et le chevauchement asymptotique entre les vecteurs singuliers estimés et réels ?
3. Existe-t-il une transition de phase nette où l'estimateur passe d'informatif à non informatif à mesure que la force du signal augmente ?

Méthodologie

Cadre Théorique

Les auteurs analysent la PLS-SVD dans le cadre d'un modèle épinglé de haute dimension proportionnel.

• Configuration : Soit $N$ le nombre d'échantillons et $D_x, D_y$ les dimensions des caractéristiques des deux vues. Les rapports d'aspect sont $\alpha_x = N/D_x$ et $\alpha_y = N/D_y$.
• Modèle de Signal : Les données complètes (non masquées) suivent un modèle épinglé de rang 1 où $Y_\star = \theta (X_\star u_0)v_0^\top + Z$, avec $X_\star$ blanchi, $u_0, v_0$ étant des vecteurs de signal unitaires, et $Z$ un bruit gaussien i.i.d.
• Manquance : Des masques MCAR indépendants $S_x$ et $S_y$ sont appliqués, avec des probabilités de rétention $\rho_x$ et $\rho_y$. La probabilité de rétention conjointe est $\rho = \rho_x \rho_y$. Les entrées manquantes sont traitées comme nulles.
• Estimateur : L'algorithme calcule les vecteurs singuliers dominants de la matrice de covariance croisée empirique redimensionnée $C = \frac{1}{N\sqrt{\rho}} X^\top Y$.

Approche Analytique

L'article emploie l'analyse de Symétrie des Répliques (RS), une technique de physique statistique utilisée pour étudier les problèmes de matrices aléatoires de haute dimension.

1. Réduction au Modèle Épinglé : Les auteurs démontrent que, sous un double masquage MCAR, la matrice de covariance croisée observée se comporte asymptotiquement comme une matrice aléatoire rectangulaire épinglée. Crucialement, la manquance agit comme une atténuation multiplicative de la force du signal, définissant une épine effective $\theta_{\text{eff}} = \sqrt{\rho} \theta$.
2. Optimisation de l'Énergie Libre : En introduisant des champs sources et en prenant la limite de température nulle ($\beta \to \infty$), les auteurs dérivent une densité d'énergie libre symétrique par répliques. Celle-ci est optimisée pour trouver les points stationnaires correspondant aux chevauchements asymptotiques.
3. Déduction de la Transition de Phase : L'analyse aboutit à une condition de seuil critique. En dessous de ce seuil, les vecteurs singuliers dominants sont asymptotiquement orthogonaux au signal réel (chevauchement nul). Au-dessus, un alignement non trivial est atteint.

Contributions Clés

1. Prédiction de Transition de Phase Nette : L'article dérive un seuil critique $\theta_{\text{crit}}$ sous forme close pour la PLS-SVD sous double manquance :
   $$\theta_{\text{crit}} = \frac{1}{(\alpha_x \alpha_y)^{1/4} \sqrt{\rho}}$$
   Cela établit que les données manquantes augmentent efficacement le rapport signal-sur-bruit requis d'un facteur de $1/\sqrt{\rho}$.

2. Formules de Chevauchement Asymptotique : Pour des forces de signal $\theta > \theta_{\text{crit}}$, les auteurs fournissent des formules explicites pour les chevauchements asymptotiques au carré $r_x^2$ et $r_y^2$ entre les vecteurs singuliers estimés et réels. Ces formules dépendent des rapports d'aspect, de la probabilité de rétention conjointe et de la force du signal.

3. Extension au Rang Fini (Conjecture) : Les auteurs conjecturent que pour des structures latentes de rang-$k$ avec des épines séparées, le seuil à épine unique s'applique composante par composante. Autrement dit, la $i$-ème composante est récupérable si et seulement si sa force spécifique $\theta_i$ dépasse le seuil ajusté $\theta_{\text{crit}}$.

4. Validation Empirique :

   • Expériences Synthétiques : De nombreuses simulations de Monte Carlo confirment la frontière de phase prédite et les courbes de chevauchement à travers divers rapports d'aspect, forces de signal et taux de manquance.
   • Expériences Semi-Synthétiques : En utilisant de véritables ensembles de données biologiques (TCGA BRCA et PBMC Multiome), les auteurs extraient des directions de signal empiriques et valident que la transition de phase théorique tient même lorsque la géométrie du signal est non aléatoire et biologique.
   • Diagnostics Pratiques : L'article propose une métrique de « stabilité par moitié » (corrélation entre les vecteurs singuliers de deux moitiés aléatoires de données) comme diagnostic sans vérité terrain pour détecter si le système se trouve dans le régime récupérable.

Résultats

• Effet d'Atténuation : La découverte principale est que la double manquance réduit le rapport signal-sur-bruit effectif par un facteur $\sqrt{\rho}$. Par exemple, un taux de perte de 30 % dans les deux vues ($\rho \approx 0,49$) nécessite une augmentation de la force du signal d'un facteur $1/\sqrt{0,49} \approx 1,43\times$ pour maintenir les mêmes performances de récupération que dans le cas entièrement observé.
• Diagramme de Phase : La transition d'une récupération non informative à informative est nette. La frontière de phase théorique correspond aux cartes thermiques empiriques avec une forte corrélation ($r > 0,99$).
• Robustesse :
  • L'emplacement de la transition de phase est robuste aux déviations modérées par rapport au MCAR (par exemple, Manquant-Au-Hasard), bien que la qualité de la récupération se dégrade si la manquance dépend du signal.
  • La théorie tient pour diverses distributions de bruit, bien que le bruit à kurtose infinie (par exemple, Student-t avec $\nu=3$) dégrade les chevauchements supercritiques.
  • Une simple PLS-SVD « manquante-comme-nulle » avec une normalisation appropriée se montre compétitive face à des bases de comparaison d'imputation plus complexes (EM-PLS, SVD itérative) sous MCAR, offrant une efficacité computationnelle supérieure.
• Prétraitement : Pour les données à valeurs de comptage (par exemple, RNA-seq), des transformations stabilisant la variance (normalisation par rang, sqrt-CPM) sont nécessaires avant le blanchiment pour s'aligner sur les prédictions théoriques ; les transformations brutes ou log-CPM entraînent des écarts.

Signification et Revendications

L'article revendique fournir la première caractérisation rigoureuse des limites fondamentales de la PLS spectrale en présence de données manquantes dans les deux vues. En encadrant le problème dans le contexte de la théorie des matrices aléatoires épinglées et de la transition BBP (Baik-Ben Arous-Péché), les auteurs offrent :

1. Un Outil Prédictif : Une formule précise pour déterminer si un ensemble de données multimodal donné avec des entrées manquantes contient suffisamment de signal pour que la PLS-SVD réussisse.
2. Une Compréhension Mécaniste : L'identification de la manquance comme une simple atténuation multiplicative du signal, plutôt qu'une corruption structurelle complexe, simplifie l'analyse des problèmes de données manquantes dans les méthodes spectrales.
3. Des Directives Pratiques : Le travail suggère que, dans des contextes de haute dimension, une simple normalisation des données « manquantes-comme-nulles » est souvent suffisante, à condition que la force du signal soit ajustée en fonction de la probabilité de rétention. Il souligne également que la stabilité par moitié peut servir de proxy pratique pour la transition de phase théorique lorsque la vérité terrain n'est pas disponible.

Les auteurs restent modestes concernant les limites, notant que l'analyse suppose un MCAR, un bruit gaussien i.i.d. et une conception blanchie. Ils reconnaissent que l'extension au rang fini est une conjecture soutenue par des expériences mais non rigoureusement prouvée, et que l'argument ne se transfère pas directement à l'Analyse des Corrélations Canoniques (CCA) où le masquage perturbe la géométrie de la covariance au sein des vues.