The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

Résumé Technique : Le motif de zéros d'une matrice de conception induit une descente multiple dans la régression sur-paramétrée

Énoncé du Problème
La régression linéaire sur-paramétrée a été largement étudiée, mais les cadres théoriques existants reposent largement sur deux hypothèses restrictives : que les covariables sont indépendantes et que leurs matrices de covariance sont non dégénérées (positives définies). Sous ces conditions, le risque de prédiction présente généralement une courbe de « double descente » avec un pic unique au seuil d'interpolation ($\gamma = p/n = 1$), piloté par un événement spectral unique où la matrice de conception perd son rang.

Cet article comble la lacune de compréhension de savoir quand et pourquoi une descente multiple — l'émergence de multiples pics de risque — peut survenir uniquement à partir de la structure des données, sans dépendre d'un ajustement architectural, de blocs de caractéristiques distincts ou de différentes échelles de noyaux. Les auteurs étudient les moindres carrés de Ridge avec une pénalité décroissante ($\lambda_n \downarrow 0$) dans le régime proportionnel ($p/n \to \gamma \in (0, \infty)$) sous deux relaxations spécifiques :

1. Hétérogénéité : Les observations sont indépendantes mais possèdent des matrices de covariance distinctes, potentiellement de rang inférieur.
2. Dépendance : Les observations sont corrélées via des composantes séparables de rang fini (par exemple, l'augmentation de données).

Méthodologie
L'innovation méthodologique centrale est la réduction des conceptions hétérogènes et dépendantes à un modèle de profil de variance. En faisant pivoter les données dans un base propre partagée (où les covariances sont simultanément diagonalisables), les auteurs transforment le problème en l'analyse d'une matrice gaussienne avec des entrées indépendantes mais des variances inégales, définie par une matrice de profil de variance $S \in \mathbb{R}^{n \times p}$.

1. Réduction par profil de variance :

   • Pour le Modèle 1 (Hétérogène), où $X_i = \Sigma_i^{1/2} Z_i$, le profil $S$ est construit à partir des valeurs propres des covariances individuelles $\Sigma_i$.
   • Pour le Modèle 2 (Dépendant), où $X = \sum (\tilde{\Sigma}^{(m)})^{1/2} Z^{(m)} (\Sigma^{(m)})^{1/2}$, le profil $S$ est dérivé du produit des valeurs propres des composantes de covariance de l'échantillon et des coordonnées.
   • Crucialement, le motif de zéros de $S$ (où $S_{ij} = 0$) encode quelles observations ne peuvent pas « voir » quelles directions de coordonnées, représentant des dégénérescences structurelles.

2. Équivalents déterministes via des lois locales :
   Les auteurs dérivent des équivalents déterministes pour le risque de prédiction (biais et variance) dans un régime de ridge décroissant. Cela nécessite l'extension de la loi locale de la théorie des matrices aléatoires (spécifiquement à partir de [4]) pour suivre explicitement le paramètre spectral lorsqu'il approche de zéro ($\lambda_n \downarrow 0$). Cela permet l'analyse du « bord dur » (hard edge) du spectre, là où les petites valeurs propres s'accumulent.

3. Caractérisation combinatoire :
   Le comportement du risque est lié à la décomposition de Dulmage–Mendelsohn (DM) du graphe biparti associé au support de $S$ (le « graphe de variance »).

   • Support du Biais : Déterminé par l'ensemble des colonnes ($J_S$) qui peuvent être laissées non appariées par un couplage maximal dans le graphe de variance. Celles-ci correspondent aux directions où l'estimateur conserve un biais.
   • Pics de Variance : Déterminés par une « condition de commutation » sur le graphe résiduel (après suppression des colonnes dégénérées et de leurs voisins). Un pic se produit lorsque le graphe résiduel perd la « propriété de Hall forte du côté colonne », forçant les plus petites valeurs propres non nulles vers le bord dur.

Contributions Clés et Résultats

1. Mécanisme de descente multiple :
   L'article démontre qu'une seule matrice de conception et un seul estimateur peuvent produire plusieurs pics de risque. Ces pics ne sont pas des artefacts d'architectures spécifiques mais sont intrinsèques à la dégénérescence spectrale causée par le motif de zéros de la structure de covariance.

   • Biais : Persiste sur les coordonnées qui sont structurellement inobservables (non appariées dans la décomposition DM).
   • Variance : Diverge à des rapports d'aspect spécifiques où la conception résiduelle devient « carrée » (la condition de commutation), provoquant un pic de risque.

2. Règles exactes pour la localisation des pics :
   Les auteurs fournissent une règle combinatoire exacte pour prédire le nombre et l'emplacement des pics :

   • Le support du biais est fixé par l'ensemble de colonnes dégénérées $J_S$.
   • Les pics de variance se produisent aux valeurs de $\gamma$ où la sous-conception résiduelle (après suppression de $J_S$) passe d'une marge de Hall forte du côté colonne à une défaillance de celle-ci.
   • Ceci est illustré par des exemples tels que l'augmentation de données (Modèle 2) et les sous-espaces hétérogènes (Modèle 1), où de multiples seuils émergent à mesure que différents blocs de la conception deviennent carrés par rapport à la taille de l'échantillon.

3. Contraste avec les conceptions à définition positive :
   L'article distingue les covariances de rang inférieur des covariances à définition positive.

   • Si les covariances sont à définition positive (même si elles sont hétérogènes et non commutatives), le motif de zéros est vide. Les auteurs conjecturent, appuyés par des simulations, que de telles conceptions conservent uniquement le pic classique unique à $\gamma = 1$.
   • La descente multiple est pilotée spécifiquement par les zéros (le rang inférieur) dans la covariance, et non simplement par l'hétérogénéité ou la rotation.

4. Robustesse et Universalité :

   • Les résultats théoriques s'appliquent aux conceptions avec des entrées indépendantes et des profils de variance correspondants, et pas seulement aux cas gausiens (Remarque 1). Des simulations avec des entrées de type Student-$t_3$ (moment tiers infini) confirment que la structure des pics persiste.
   • Le mécanisme s'applique aux conceptions dégénérées du monde réel, telles que les plongements de texte provenant de transformeurs pré-entraînés augmentés par un bruit gaussien, qui présentent une descente multiple lors de tests empiriques.

Signification
L'article affirme que le phénomène de descente multiple ne se limite pas aux modèles complexes à composantes multiples, mais peut provenir du motif de zéros structurel d'une conception unique, hétérogène ou dépendante. En caractérisant les pics de risque via la décomposition de Dulmage–Mendelsohn du support du profil de variance, les auteurs fournissent une règle déterministe pour prédire où les pics de risque surviennent. Cela déplace la compréhension de la régression sur-paramétrée d'une perspective purement spectrale (basée sur les rapports d'aspect) vers une perspective structurelle (basée sur l'observabilité des coordonnées), soulignant que la dégénérescence dans la covariance des données est le principal moteur de la descente multiple.

Ce travail introduit également une extension technique des lois locales au régime de ridge décroissante, permettant l'analyse du bord dur du spectre en présence de zéros structurels, un outil d'intérêt indépendant pour la théorie des matrices aléatoires.