Résumé technique : Mécanismes de mise à l'échelle de la largeur dans les réseaux résiduels normalisés

Énoncé du problème

Les théories existantes sur la largeur des réseaux de neurones caractérisent principalement les limites asymptotiques (par exemple, les processus gaussiens, les noyaux tangents neuronaux [NTK]) ou les corrections de largeur finie. Cependant, ces cadres échouent souvent à fournir des certificats à échantillon fini pour déterminer si une direction d'expansion locale identifiée à partir de données d'entraînement spécifiques et finies restera bénéfique sur des données de test inédites. Cette lacune est critique pour les stratégies de croissance de modèles (par exemple, Net2Net, empilement progressif, opérateurs de croissance appris), où il faut déterminer si une insertion proposée dans un modèle entraîné améliorera la généralisation au-delà de l'ensemble d'entraînement.

Des travaux antérieurs sur les réseaux résiduels normalisés ont établi un mécanisme qualitatif : un bloc résiduel inséré à une initialisation de sortie nulle crée une direction de descente si ses caractéristiques ne sont pas orthogonales au signal d'erreur au point d'insertion. Cependant, l'observabilité quantitative de cette direction pour un échantillon fini est restée non résolue, reposant souvent sur de fortes hypothèses concernant les spectres de covariance, la variance totale et les taux de croissance de la largeur prescrits.

Méthodologie

Cadre théorique

Les auteurs introduisent la Dimension d'Alignement Effective ($d_{\text{align}}$), une quantité mesurable décrivant la géométrie signal-bruit des gradients d'activation à un point d'insertion spécifique.

1. Signal de gradient d'activation : Pour un modèle de référence entraîné $f^*_{\text{old}} = f_{\text{top}} \circ f_{\text{bot}}$ et un point d'insertion, le gradient d'activation est défini par $q(x, y) = \nabla_z \ell(f_{\text{top}}(z), y)|_{z=f_{\text{bot}}(x)}$.
2. Statistique d'alignement : L'étude analyse le produit scalaire entre les moyennes empiriques des gradients d'activation de l'ensemble d'entraînement ($\mu_M$) et un ensemble de test indépendant ($g_K$). Un désalignement se produit lorsque $\mu_M^\top g_K \leq 0$.
3. Caractérisation exacte : Les auteurs dérivent la moyenne et la variance exactes de ce produit scalaire :
   • $\mathbb{E}[\mu_M^\top g_K] = \|\bar{\mu}\|_2^2$
   • $\text{Var}(\mu_M^\top g_K) = (\frac{1}{M} + \frac{1}{K})\bar{\mu}^\top \Sigma \bar{\mu} + \frac{1}{MK}\text{tr}(\Sigma^2)$
     où $\bar{\mu}$ est la moyenne de la population et $\Sigma$ est la covariance de la population du gradient d'activation.
4. Dimensions effectives : Deux quantités sans dimension sont définies basées sur le rapport signal-sur-bruit :
   • Dimension effective directionnelle : $d_\parallel = \frac{\|\bar{\mu}\|_2^4}{\bar{\mu}^\top \Sigma \bar{\mu}}$
   • Dimension effective de l'énergie de covariance : $d_2 = \frac{\|\bar{\mu}\|_2^4}{\text{tr}(\Sigma^2)}$
   • Dimension d'alignement effective : $d_{\text{align}} = \min\{d_\parallel, d_2\}$.

Théorème 1 (Borne d'alignement à échantillon fini) :
Sous l'hypothèse d'un échantillonnage indépendant et de moments de second ordre finis (avec une moyenne de population non nulle), la probabilité de désalignement est bornée par :
$$\Pr(\mu_M^\top g_K \leq 0) \leq \frac{1}{1 + n_{\text{eff}}(M, K) d_{\text{align}}}$$
où $n_{\text{eff}}(M, K) = \frac{MK}{M+K+1}$ est la taille d'échantillon effective.

Propriétés théoriques clés :

• Hypothèses minimales : La borne ne nécessite que des moments de second ordre finis et un gradient de population non nul. Elle ne nécessite pas de bornes spectrales de la covariance, de conditions de quatrième moment, ou de taux de croissance de la largeur prescrits.
• Rôle de la largeur : La largeur n'entre pas directement dans le certificat. Au lieu de cela, elle influence le certificat en modifiant la distribution du gradient d'activation, changeant ainsi $d_{\text{align}}$. Si $d_{\text{align}}$ augmente avec la largeur, la probabilité de désalignement diminue.
• Récupération des résultats antérieurs : Sous des conditions plus fortes (spectre de covariance et croissance du signal) utilisées dans les travaux précédents, la dimension d'alignement effective croît linéairement avec la largeur ($d_{\text{align}} = \Omega(N)$), récupérant les taux de dépendance à la largeur asymptotiques précédents. Cependant, le nouveau cadre traite ces conditions de croissance comme suffisantes plutôt que nécessaires.

Théorème 2 (Expansion directe entraînement-test) :
L'intégration du certificat d'alignement dans le cadre d'expansion directe entraînement-test produit une condition de haute probabilité pour l'amélioration du risque de test. Si l'alignement est positif (ce qui se produit avec une probabilité $\geq 1 - B_{\text{align}}$), et que d'autres conditions (gain d'optimisation, contrôle de la généralisation) sont remplies, le modèle étendu améliore strictement le risque de test.

Validation expérimentale

Les auteurs valident la théorie à travers trois familles de modèles : des Transformers de type LLaMA contrôlés en largeur, la suite Pythia et ResNet-20.

1. Mise à l'échelle de la largeur de la géométrie du gradient d'activation

• Transformers de type LLaMA : Des expériences avec des largeurs $N \in \{512, \dots, 3072\}$ montrent que $d_{\text{align}}$ augmente de manière monotone avec la largeur (passant d'environ $3,9$à$N=512$ à environ $9,5$à$N=3072$).
• Pythia : Des comparaisons contrôlées en profondeur (régimes de 6 et 32 couches) confirment qu'augmenter la largeur cachée augmente à la fois la statistique du gradient d'activation et $d_{\text{align}}$.
• ResNet-20 : La variation des multiplicateurs de largeur de canal sur CIFAR-10/100 montre des augmentations cohérentes de $d_{\text{align}}$ à mesure que la largeur augmente.

2. Probabilité de désalignement du gradient

• Tendances empiriques : La probabilité empirique de désalignement diminue à mesure que la largeur du modèle augmente, à budget d'échantillonnage ($M, K$) constant.
• Accord avec le certificat : Les certificats théoriques ($B_{\text{exact}}$ et $B_{\text{align}}$) suivent de près les probabilités de désalignement empiriques, le certificat simplifié fournissant une caractérisation par scalaire plus conservatrice.
• Dépendance à la taille de l'échantillon : Augmenter $M$ et $K$ réduit davantage le désalignement, démontrant les rôles complémentaires de la largeur du modèle (amélioration de la géométrie) et de la taille de l'échantillon (réduction de l'incertitude d'estimation).

3. Interventions résiduelles directes

• Configuration de l'intervention : Les auteurs insèrent un paramètre résiduel initialisé à zéro et mesurent le changement réel de la perte (loss) sur l'ensemble de test.
• Précision de la prédiction : La statistique d'alignement ($\mu_M^\top g_K$) prédit avec précision à la fois le signe et la magnitude locale du changement de perte. Un alignement positif a systématiquement prédit une diminution de la perte de test, les magnitudes observées conservant 96 à 99 % des valeurs prédites pour de petites échelles de perturbation.

Signification et revendications

L'article affirme fournir le premier certificat à échantillon fini, spécifique à l'instance, pour la transférabilité des directions d'expansion identifiées lors de l'entraînement vers les données de test dans les réseaux résiduels normalisés.

1. Mécanisme quantitatif : Il remplace les arguments qualitatifs ou asymptotiques par une borne quantitative contrôlée par la dimension d'alignement effective et la taille d'échantillon effective.
2. Bénéfice conditionnel de la largeur : Ce travail clarifie que le bénéfice de l'augmentation de la largeur est conditionnel, et non automatique. La largeur améliore la généralisation seulement dans la mesure où elle améliore la géométrie relative signal-bruit ($d_{\text{align}}$) des gradients d'activation.
3. Estimation pratique : La dimension d'alignement effective peut être estimée à partir d'un modèle entraîné en utilisant un petit nombre de passages avant-arrière (forward-backward) sans former explicitement la grande matrice de covariance, rendant la métrique actionnable pour les décisions de croissance de modèle.
4. Robustesse : Les garanties théoriques tiennent sans hypothèses restrictives sur les spectres de covariance ou les taux de croissance, reposant uniquement sur des moments de second ordre finis.

Les auteurs concluent que les tendances empiriques observées — où les modèles plus larges présentent un $d_{\text{align}}$ plus grand et un désalignement plus faible — soutiennent le mécanisme proposé : $N \uparrow \implies d_{\text{align}}(N) \uparrow \implies p_{\text{désalignement}}(N) \downarrow$. Cela fournit une base théorique à la raison pour laquelle l'augmentation de la largeur produit souvent une meilleure généralisation en pratique, spécifiquement à travers le prisme de la stabilité directionnelle à échantillon fini.