Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

Résumé technique : Équivalence déterministe à deux points pour les dynamiques de gradient stochastique dans les modèles linéaires

Énoncé du problème
L'apprentissage profond moderne fait preuve de lois d'échelle prévisibles où la performance s'améliore avec l'augmentation des données, de la taille du modèle et de la puissance de calcul. Bien que des travaux récents aient analysé le comportement d'échelle des méthodes à noyau et des modèles à caractéristiques aléatoires entraînés par descente de gradient stochastique (SGD), les cadres théoriques existants traitent souvent des effets spécifiques — tels que la taille finie des ensembles de données, la largeur finie des modèles et le bruit du SGD — de manière isolée, ou s'appuient sur des approches complexes de théorie du champ moyen dynamique (DMFT). Un cadre analytique unifié capable de capturer l'interdépendance entre des données limitées, des caractéristiques limitées et le bruit du SGD dans des modèles linéaires de haute dimension, en particulier pour les dynamiques dépendantes du temps et les scénarios hors distribution (OOD), demeure un défi. Plus précisément, les techniques standard de matrices aléatoires reposent souvent sur des « résolvantes à un point », ce qui est insuffisant lorsque les matrices régissant les dynamiques (par exemple, la covariance empirique, la covariance de population et les matrices de caractéristiques) ne commutent pas.

Méthodologie
Les auteurs développent un cadre analytique novateur basé sur des équivalences déterministes à deux points pour les résolvantes de matrices aléatoires. Le cœur de la méthodologie comprend :

1. Configuration du modèle : L'article considère la régression linéaire et les modèles à caractéristiques aléatoires linéaires ($f(x) = x^\top F v$) entraînés par SGD avec une taille de lot $B$ sur un ensemble de données de taille $P$. L'analyse opère dans la limite de haute dimension où la dimension d'entrée $D$, la largeur de caractéristiques $N$ et la taille de l'ensemble de données $P$ tendent conjointement vers l'infini avec des ratios fixes.
2. Dynamiques réduites : Suivant des travaux antérieurs, les auteurs dérivent un modèle réduit pour l'évolution des erreurs d'entraînement et de généralisation. Cela implique de suivre la covariance de l'écart des poids ($\Delta w_t \Delta w_t^\top$) et d'exprimer la dynamique du risque comme une équation intégrale de Volterra. Cette équation se compose d'un « terme de forçage » (composante de flot de gradient) et d'un « terme de noyau » (composante de bruit SGD).
3. Analyse dans l'espace de Fourier : Les auteurs transforment les dynamiques du domaine temporel dans l'espace de Fourier. Cela révèle que les termes de forçage impliquent des produits de deux résolvantes évaluées à des arguments différents (fréquences), c'est-à-dire $(\lambda + AB)^{-1} M (\lambda' + BA)^{-1}$.
4. Équivalence déterministe à deux points : L'innovation technique principale est la dérivation d'un équivalent déterministe pour ces produits de résolvantes à deux points. En utilisant la théorie des probabilités libres, spécifiquement les propriétés de la transformée S et d'un développement diagrammatique planaire, les auteurs évaluent le comportement asymptotique de ces produits. Ils distinguent les contributions « déconnectées » (se factorisant en équivalents à un point) des contributions « connectées » impliquant des cumulants mixtes, aboutissant à une équation auto-cohérente pour la fonction à deux points.
5. Application au risque : Ces équivalences sont appliquées pour dériver des expressions asymptotiques précises pour les risques d'entraînement et de test (généralisation), y compris des scénarios avec décalage de covariable (où les données de test suivent une distribution différente de celle des données d'entraînement).

Contributions clés

• Nouvelle équivalence déterministe : L'article dérive une nouvelle classe d'« équivalences déterministes à deux points » pour les résolvantes de matrices aléatoires évaluées à des paires d'arguments arbitraires. Cela étend les résultats précédents « à un point » pour gérer des matrices non commutatives, ce qui est essentiel pour les dynamiques à temps fini et les tailles d'ensembles de données finies.
• Dérivation unifiée : Le cadre fournit une dérivation unifiée des performances pour la régression linéaire de haute dimension, la régression à noyau et les modèles à caractéristiques aléatoires linéaires. Il retrouve les asymptotiques précédemment connues (par exemple, issues des approches DMFT dans [16] et des techniques d'équivalence à un point dans [17]) tout en fournissant des résultats novateurs pour les dynamiques dépendantes du temps.
• Caractérisation du bruit SGD : Les auteurs modélisent explicitement l'interaction entre des données limitées, des caractéristiques limitées et le bruit SGD. Ils dérivent des asymptotiques précises pour le « terme de noyau SGD », montrant comment le bruit contribue à la dynamique du risque au fil du temps.
• Analyse du décalage de covariable : La méthodologie est étendue aux scénarios hors distribution, fournissant des formules asymptotiques exactes pour l'erreur de généralisation lorsque les covariables de test suivent une distribution gaussienne différente de celle de l'ensemble d'entraînement.
• Lien avec la DMFT : L'article établit un lien direct entre les quantités de matrices aléatoires dérivées et la théorie du champ moyen dynamique. Il interprète la transformée S des probabilités libres comme une fonction de réponse et identifie les équivalents déterministes à deux points avec les fonctions de corrélation utilisées en DMFT.

Résultats
Les auteurs obtiennent des formules asymptotiques explicites et précises pour :

• Pertes d'entraînement et de test : Des expressions pour l'évolution temporelle de l'erreur d'entraînement et de généralisation dans les modèles à caractéristiques aléatoires linéaires, décomposées en contributions de flot de gradient (forçage) et de bruit SGD (noyau).
• Termes de flot de gradient : De nouveaux équivalents à deux points pour les termes de forçage, qui capturent la nature non commutative des covariances empiriques et de population à temps fini.
• Termes de noyau SGD : Des expressions asymptotiques pour les noyaux régissant l'accumulation du bruit SGD, incluant des corrections pour les tailles de lot finies et les dimensions de caractéristiques.
• Limites statiques : Les résultats retrouvent les limites statiques (temps infini) connues, telles que les performances de régression sans régularisation, validant ainsi l'approche dynamique.
• Performances OOD : Des asymptotiques sous forme close pour l'erreur de généralisation sous décalage de covariable, retrouvant et étendant les résultats statiques antérieurs au cadre dynamique.

Signification
L'article revendique une importance en fournissant un outil analytique unifié et rigoureux pour comprendre les lois d'échelle et les dynamiques d'apprentissage des modèles linéaires de haute dimension. En introduisant des équivalences déterministes à deux points, les auteurs comblent le fossé entre la théorie des matrices aléatoires statique et la nature dynamique et non commutative de l'entraînement par SGD. Cela permet une caractérisation précise de la manière dont des données finies, une largeur de modèle finie et un bruit stochastique interagissent pour déterminer la performance. Ce travail suggère que la transformée S et les méthodes diagrammatiques planaires offrent une alternative puissante à la DMFT pour dériver ces résultats, simplifiant potentiellement l'analyse de dynamiques d'apprentissage complexes tout en maintenant la rigueur mathématique dans la limite de haute dimension. Les auteurs notent que, bien qu'ils ne prouvent pas de bornes d'erreur quantitatives pour des dimensions finies, les formules asymptotiques devraient fournir de bonnes approximations basées sur des résultats connus dans des scénarios statiques et des preuves numériques issues de la littérature antérieure.