Résumé Technique : Taux Optimaux pour la Généralisation des Méthodes de Descente de Gradient avec les Réseaux de Neurones Profonds

1. Formulation du Problème

Cet article traite d'une lacune critique dans la compréhension théorique des réseaux de neurones profonds (DNN) entraînés par descente de gradient. Bien que des progrès récents au sein du régime du Noyau de Tangente Neurale (NTK) aient établi la performance de généralisation statistique pour les réseaux surparamétrés, les travaux existants sur les problèmes de régression sont largement limités aux architectures peu profondes ou nécessitent des hypothèses restrictives (par exemple, une mise à l'échelle exponentielle de la largeur par rapport à la profondeur).

Les auteurs se concentrent sur la régression des moindres carrés utilisant des réseaux ReLU profonds entraînés par Descente de Gradient (GD) et Descente de Gradient Stochastique (SGD). L'objectif principal est de déterminer si les DNN peuvent atteindre des taux minimax-optimaux de risque de population excédentaire comparables aux méthodes à noyaux classiques, spécifiquement sous l'hypothèse que la largeur du réseau croît de manière polynomiale par rapport à la profondeur du réseau ($L$), la taille de l'échantillon ($n$) et la dimension des données ($d$), plutôt qu'exponentiellement.

Le risque de population excédentaire est défini par $\varepsilon_{\text{risk}}(f_W(T)) = L(f_W(T)) - L(f_\rho) = \frac{1}{2}\|f_W(T) - f_\rho\|_\rho^2$, où $f_\rho$ est la fonction de régression cible. L'analyse repose sur deux hypothèses standards :

1. Dimension Effective : La capacité de l'espace d'hypothèses est caractérisée par un paramètre $\gamma \in [0, 1]$, tel que la trace du résolvant de l'opérateur intégral croît comme $\lambda^{-\gamma}$.
2. Condition de Source : La fonction cible $f_\rho$ possède une régularité $\beta > 0$, quantifiée par $\|L^{-\beta} f_\rho\|_\rho \leq B$.

2. Méthodologie et Approche Technique

La contribution méthodologique centrale est une stratégie de décomposition d'erreur raffinée qui comble le fossé entre les réseaux de neurones profonds et les méthodes à noyaux sans dépendre des propriétés structurelles valables uniquement pour les réseaux peu profonds.

2.1 Décomposition d'Erreur Raffinée

Pour un réseau $f_W(T)$ après $T$ itérations, les auteurs décomposent l'erreur $\|f_W(T) - f_\rho\|_\rho^2$ en quatre termes :
$$\|f_W(T) - f_\rho\|_\rho^2 \lesssim \|f_W(T) - f_W^{\text{lin}}(T)\|_\rho^2 + \|f_W^{\text{lin}}(T) - S_m g_T^m\|_\rho^2 + \|S_m g_T^m - S g_T\|_\rho^2 + \|S g_T - f_\rho\|_\rho^2$$
où :

• $f_W^{\text{lin}}(T)$ est l'approximation linéaire du réseau à l'initialisation.
• $g_T^m$ est l'itération GD/SGD dans l'Espace de Hilbert Reproduisant (RKHS) $\mathcal{H}_m$ associé au NTK de largeur finie $K_m$.
• $g_T$ est l'itération GD dans le RKHS $\mathcal{H}_K$ associé au NTK de largeur infinie $K$.
• $S_m$ et $S$ sont des applications d'inclusion des RKHS vers $L^2_{\rho_x}$.

2.2 Défis Techniques Clés et Solutions

L'article identifie et résout trois obstacles techniques spécifiques qui empêchaient les analyses précédentes sur les réseaux peu profonds de s'étendre aux architectures profondes :

1. Bornes de Propagation Avant/Arrière : Les travaux précédents (ex. [53]) fournissaient des bornes sur la déviation entre le réseau non linéaire et son approximation linéaire qui croissaient de manière exponentielle avec la profondeur $L$. Les auteurs étendent l'analyse de la propagation avant et arrière de l'ensemble de données d'entraînement fini à l'espace d'entrée entier $\mathcal{X}$. Cela leur permet d'établir une borne de $\|f_W(T) - f_W^{\text{lin}}(T)\|_\infty^2 \lesssim m^{-1/3} \text{Poly}(L, \eta T)$, réduisant l'exigence de largeur de l'exponentiel au polynomial en $L$.

2. Concentration du Noyau ($K_m$ vs $K$) : Dans les réseaux peu profonds, le noyau de largeur finie $K_m$ est une somme de noyaux i.i.d., permettant des arguments de concentration standards. Dans les réseaux profonds, les gradients dépendent des poids à travers toutes les couches, brisant la structure i.i.d. Les auteurs développent une analyse raffinée (Lemme 16) pour borner la différence de norme infinie $\|K_m - K\|_\infty$. Ils prouvent que $\|K_m - K\|_\infty \lesssim m^{-1/6}\sqrt{d}L$ sous la condition $m \gtrsim dL^3$, relaxant ainsi considérablement l'exigence de surparamétrage par rapport aux résultats précédents de mise à l'échelle exponentielle.

3. Équivalence de la Dimension Effective : Pour les réseaux peu profonds, on peut montrer que la dimension effective du RKHS de largeur finie correspond à la limite de largeur infinie. Pour les réseaux profonds, cela est non trivial. Au lieu de comparer directement les dimensions, les auteurs introduisent $g_T$ (l'itération de largeur infinie) comme terme intermédiaire. Ils borneront séparément la distance entre l'itération de largeur finie et l'itération de largeur infinie ($\|g_T^m - g_T\|_\rho$) en utilisant la discrépance du noyau, et la distance entre l'itération de largeur infinie et la cible ($\|g_T - f_\rho\|_\rho$) en utilisant les résultats standards des méthodes à noyaux. Cela évite de devoir prouver directement que $\tilde{\gamma} = \gamma$ pour le cas profond.

3. Principales Contributions

L'article apporte les contributions spécifiques suivantes :

• Taux Minimax-Optimaux pour les Réseaux Profonds : Il établit les premiers taux de risque de population excédentaire minimax-optimaux connus de $O(n^{-\frac{2\beta}{2\beta+\gamma}})$ pour GD et SGD avec des réseaux ReLU profonds.
• Mise à l'Échelle de Largeur Polynomiale : Les résultats tiennent sous la condition que la largeur du réseau $m$ croisse polynomialement avec $L, n,$ et $d$ (spécifiquement $m \gtrsim \text{Poly}(L, n, d)$), supprimant le besoin de mise à l'échelle exponentielle de la largeur ($m \gtrsim \exp(L)$) requise par les travaux antérieurs sur la régression profonde.
• Suppression des Hypothèses sur la Matrice de Gram du NTK : Contrairement à certains travaux précédents, l'analyse ne nécessite pas que la plus petite valeur propre de la matrice de Gram du NTK soit strictement positive, une condition qui échoue souvent à mesure que la taille de l'échantillon augmente.
• Analyse Unifiée pour GD et SGD : Le cadre fournit des taux optimaux pour la GD en lot complet (full-batch) et la SGD en un passage (one-pass), démontrant que la SGD peut atteindre des taux similaires avec un coût de calcul (complexité de gradient) inférieur.

4. Résultats Principaux

Sous les Hypothèses 1 (Dimension Effective) et 2 (Condition de Source), et avec des tailles de pas et des nombres d'itérations appropriés :

• Descente de Gradient (GD) : Avec une largeur de réseau $m \gtrsim \text{Poly}(L, d, n)$ et $T \approx n^{\frac{1}{2\beta+\gamma}}$, la GD atteint un risque excédentaire de :
  $$L(f_W(T)) - L(f_\rho) \lesssim n^{-\frac{2\beta}{2\beta+\gamma}} \log^4(n/\delta)$$
  Cela correspond au taux optimal atteignable par les méthodes à noyaux dans le cadre RKHS.

• Descente de Gradient Stochastique (SGD) : Avec une mise à l'échelle de largeur similaire et $T \approx n^{\frac{2\beta+1}{2\beta+\gamma}}$, la SGD atteint :
  $$\mathbb{E}[L(f_W(T)) - L(f_\rho)] \lesssim n^{-\frac{2\beta}{2\beta+\gamma}} \log^2(n) \log^{2\beta}(n/\delta)$$
  Cela confirme que la SGD peut également reproduire les résultats classiques des noyaux pour les réseaux profonds sous un surparamétrage léger.

Les résultats sont résumés dans le Tableau 1 de l'article, contrastant avec les travaux antérieurs qui étaient limités aux réseaux peu profonds, aux fonctions d'activation lisses, ou exigeaient une largeur exponentielle.

5. Signification et Revendications

L'article affirme faire progresser significativement la compréhension théorique de la généralisation dans le deep learning en :

1. Comblant le Fossé de la Profondeur : Il résout la question ouverte de savoir si les DNN entraînés par GD/SGD peuvent atteindre des performances de généralisation sur le même plan que leurs équivalents basés sur les noyaux. Les auteurs apportent une réponse affirmative, démontant que les réseaux ReLU profonds peuvent effectivement atteindre des taux minimax-optimaux.
2. Surparamétrage Pratique : En réduisant la largeur de réseau requise de l'exponentiel au polynomial en profondeur, les résultats s'alignent plus étroitement sur les scénarios pratiques de deep learning où les réseaux sont profonds mais pas exponentiellement larges.
3. Robustesse aux Fonctions d'Activation : L'analyse cible spécifiquement les activations ReLU non lisses, qui sont standard en pratique, alors que les précédents résultats de taux optimaux étaient souvent restreints à des fonctions d'activation lisses.

Les auteurs notent que leur initialisation symétrique est un outil technique pour simplifier l'analyse (assurant que $f_{W(0)}=0$) mais discutent dans la Section 5 que les propriétés de concentration uniforme du NTK tiennent également pour les initialisations non symétriques générales, suggérant que les résultats sont robustes à ce choix d'initialisation spécifique.

L'article conclut en identifiant des directions futures, telles que l'extension de ces résultats aux réseaux profonds avec des activations lisses et d'autres architectures comme les réseaux convolutifs et résiduels, mais ne propose pas de validations expérimentales ou de domaines d'application spécifiques au-delà du cadre théorique de la régression.