Robust Matrix Estimation with Side Information

1. Problématique et Contexte

L'estimation de matrices de grande dimension (dénouage et complétion de matrices) est un défi central en statistique et en apprentissage automatique, notamment avec l'explosion des données structurées sous forme de matrices (ex: données de panel, recommandations).

Bien que des méthodes existantes comme la Complétion Inductive de Matrices (IMC) intègrent des informations latérales (covariables) pour les lignes et les colonnes, elles présentent des limitations majeures :

• Restructuration rigide : Elles supposent souvent une interaction linéaire exacte entre les caractéristiques des lignes et des colonnes ($XLZ^\top$).
• Manque de flexibilité : Elles ne capturent pas bien les composantes expliquées uniquement par les lignes, uniquement par les colonnes, ou par aucune des deux.
• Absence de bruit explicite : Beaucoup de modèles omettent un composant de bruit explicite ou ne gèrent pas bien les composantes faibles.
• Sensibilité aux données manquantes : Peu de méthodes intègrent des informations latérales dans des scénarios de données manquantes non aléatoires (MNAR), fréquents en inférence causale (ex: données de panel où le traitement n'est pas appliqué au hasard).

L'objectif de cet article est de proposer un cadre flexible et robuste pour l'estimation de matrices en exploitant pleinement les informations latérales des deux côtés, tout en gérant les non-linéarités et les mécanismes de données manquantes complexes.

2. Méthodologie Proposée

Les auteurs proposent une décomposition du signal matriciel $M$ en quatre composantes complémentaires, permettant de modéliser des structures complexes :

$$M = M_1 + M_2 + M_3 + M_4$$

Où :

1. $M_1$ (Interaction) : Composante expliquée par l'interaction entre les caractéristiques des lignes ($X$) et des colonnes ($Z$). Modélisée comme $G_1(X)Q_1(Z)^\top$.
2. $M_2$ (Effet Ligne) : Composante expliquée uniquement par $X$ (irrélevante pour $Z$). Modélisée comme $G_2(X)V_1^\top$.
3. $M_3$ (Effet Colonne) : Composante expliquée uniquement par $Z$ (irrélevante pour $X$). Modélisée comme $W_1Q_2(Z)^\top$.
4. $M_4$ (Résidu) : Composante non expliquée par $X$ ni $Z$ (structure de rang faible résiduelle). Modélisée comme $W_2V_2^\top$.

Les fonctions $G$ et $Q$ sont inconnues et peuvent être non linéaires.

Algorithme d'estimation (Cas complet)

La méthode utilise une projection sur des grilles (sieve projection) combinée à une pénalisation de la norme nucléaire :

1. Projection Sieve : On construit des matrices de projection $P_X$ et $P_Z$ basées sur des bases de fonctions (ex: splines, polynômes) pour approximer les fonctions non linéaires $G$ et $Q$.
2. Estimation par Composantes :
   • $\hat{M}_1$ est estimé par projection directe : $P_X Y P_Z$.
   • $\hat{M}_2, \hat{M}_3, \hat{M}_4$ sont estimés en résolvant des problèmes d'optimisation avec pénalisation de norme nucléaire (soft-thresholding) sur les résidus projetés orthogonalement aux autres composantes.
   • Exemple pour $M_2$ : $\min_A \| P_X Y (I - P_Z) - A \|_F^2 + \nu \|A\|_*$.
3. Agrégation : L'estimateur final est la somme $\hat{M} = \hat{M}_1 + \hat{M}_2 + \hat{M}_3 + \hat{M}_4$.

Avantages clés de l'approche :

• Robustesse aux spécifications : Si une composante (ex: $M_2$) est nulle, la pénalisation de norme nucléaire force son estimateur à zéro avec une haute probabilité, évitant le surajustement.
• Non-linéarité : La projection sur grille permet de capturer des effets non linéaires sans spécifier la forme fonctionnelle exacte.
• Pas de sélection de rang explicite : Contrairement aux méthodes spectrales classiques qui nécessitent d'estimer le rang de chaque composante, cette méthode s'adapte automatiquement.

Extensions aux Données Manquantes

• Cas MAR (Missing At Random) : Utilisation d'une pondération par l'inverse de la probabilité de manque ($1/p$) pour la composante $M_1$, suivie d'une pénalisation nucléaire sur le reste.
• Cas MNAR (Missing Not At Random) : Spécifiquement conçu pour les motifs de blocs (ex: données de panel causal où le traitement commence à un temps $T_0$). La méthode exploite les sous-matrices « tall » (avant traitement) et « wide » (groupe témoin) pour estimer les vecteurs singuliers, puis les combine avec une rotation appropriée pour reconstruire la matrice complète.

3. Résultats Théoriques (Convergence)

Les auteurs établissent des bornes de taux de convergence pour l'erreur de Frobenius $\|\hat{M} - M\|_F$.

• Robustesse : Le taux de convergence dépend de la nature de la composante dominante :
  • Si $M = M_1$ (fort signal des covariables), le taux est $O_p(J)$ (dépendant de la dimension de la grille), ce qui est bien meilleur que les méthodes de rang faible classiques ($O_p(\sqrt{K(N+T)})$).
  • Si $M = M_4$ (pas d'information latérale utile), le taux redevient comparable aux méthodes de rang faible standards ($O_p(\sqrt{K(N+T)})$).
  • Si $M = M_2$ ou $M_3$, la méthode surpasse les estimateurs standards lorsque $N \gg T$ ou $T \gg N$.
• Adaptabilité : La méthode ne souffre pas de la « malédiction de la dimension » liée à $K_1$ (dimension de l'interaction) tant que les fonctions sont suffisamment lisses, car $M_1$ est estimé par projection et non par pénalisation de rang.
• Vecteurs Singuliers : Des résultats de corollaire montrent la convergence des vecteurs singuliers estimés, crucial pour l'interprétation des facteurs latents.

4. Résultats Expérimentaux

Simulations

• Variation des poids des composantes : La méthode surpasse systématiquement les estimateurs « double projection », « norme nucléaire simple » et les méthodes spectrales, surtout lorsque la composante d'interaction ($M_1$) est forte ou lorsque les composantes résiduelles sont faibles.
• Variation des rangs : La performance relative s'améliore lorsque le rang de la composante d'interaction ($K_1$) est élevé, là où les méthodes classiques échouent.

Application Réelle : Ventes de Tabac

• Contexte : Estimation de l'impact de la Proposition 99 (Californie, 1988) sur les ventes de cigarettes, en imputant les contre-factuels (ventes sans intervention) pour les états traités.
• Données : Matrice 38 états $\times$ 31 années avec un motif de blocs manquants (MNAR).
• Résultats :
  • L'utilisation d'informations latérales (prix, revenu, démographie, consommation de bière) améliore significativement la précision d'imputation par rapport aux méthodes spectrales standards (Bai & Ng, 2021).
  • L'erreur quadratique moyenne (AMSE) est réduite, particulièrement lorsque la période d'observation avant traitement est courte.
  • Cela se traduit par une estimation plus précise de l'effet du traitement.

5. Signification et Contributions

Cet article apporte plusieurs contributions majeures à la littérature sur l'estimation de matrices :

1. Cadre Unifié et Flexible : Il propose un modèle général qui englobe et dépasse les modèles IMC, les modèles à facteurs linéaires et les modèles de rang faible, en permettant des effets non linéaires et des structures partielles.
2. Robustesse aux Spécifications : En décomposant le signal et en utilisant la pénalisation de norme nucléaire, la méthode évite les erreurs de spécification de modèle. Elle fonctionne bien même si certaines composantes sont nulles ou si les covariables sont peu informatives.
3. Innovation MNAR : C'est l'une des premières méthodes à intégrer efficacement des informations latérales dans le contexte de données manquantes non aléatoires (motifs de blocs), un problème critique pour l'inférence causale sur données de panel.
4. Performance Pratique : Les résultats empiriques démontrent que l'exploitation intelligente des covariables permet d'améliorer non seulement la prédiction (imputation), mais aussi l'estimation des effets causaux, surpassant les approches de l'état de l'art.

En résumé, cette méthode offre une solution robuste et adaptable pour l'analyse de matrices de grande dimension dans des contextes réels complexes où les données sont partielles et où des informations auxiliaires riches sont disponibles.