Asymmetric Scaling Laws from Sparse Features

Résumé technique : Lois d'échelle asymétriques issues de caractéristiques éparses

Énoncé du problème
Les lois d'échelle neuronales décrivent les relations prévisibles entre la performance du modèle (perte de test) et les variables de ressources : la taille du modèle ($N$), la taille de l'ensemble de données ($D$) et le budget de calcul ($C$). Bien que des travaux fondamentaux (par exemple, Kaplan et al., 2020 ; Hoffmann et al., 2022) aient établi des relations de loi de puissance et des stratégies d'allocation optimales en calcul (suggérant souvent une mise à l'échelle symétrique où $N$ et $D$ évoluent de manière similaire), une compréhension théorique complète de la raison pour laquelle les exposants de mise à l'échelle pourraient différer entre les régimes limités par le modèle et ceux limités par les données reste insaisissable. Les cadres théoriques existants supposent souvent des données denses distribuées selon une loi gaussienne, ce qui pourrait ne pas capturer les propriétés structurelles des données réelles de haute dimension où les caractéristiques sont souvent éparpillées et à queue lourde. Cet article comble le manque de compréhension de la manière dont les activations d'entrée éparpillées modifient fondamentalement le comportement de mise à l'échelle, pouvant induire une asymétrie entre les exposants régissant la taille du modèle et la taille de l'ensemble de données.

Méthodologie
Les auteurs introduisent un modèle théorique traitable basé sur des caractéristiques aléatoires éparpillées pour analyser la mise à l'échelle de la perte de population.

1. Processus de génération de données : Les données d'entrée $x \in \mathbb{R}^M$ sont générées via un processus structuré où chaque coordonnée $j$ est activée avec une probabilité à queue lourde $p_j = j^{-\alpha_1-1}$. Lorsqu'elle est active, la coordonnée prend une valeur dont la variance évolue comme $j^{-\alpha_1-\alpha_2-2}$. Cela crée un scénario où la plupart des coordonnées sont nulles, et les coordonnées actives suivent une distribution de loi de puissance contrôlée par les paramètres $\alpha_1$ et $\alpha_2$.
2. Architecture du modèle : Le modèle d'apprentissage se compose d'une embedding aléatoire fixe $u \in \mathbb{R}^{N \times M}$ (mappant les entrées vers des caractéristiques $\phi = ux$) suivie d'une lecture linéaire entraînable $\theta$. La fonction cible est un fonctionnel linéaire $y = w^\top x$. Cette configuration modélise efficacement une régression linéaire esquissée ou un réseau à deux couches avec des poids de première couche aléatoires figés.
3. Régimes d'analyse : Les auteurs dérivent la perte de population asymptotique (erreur bayésienne optimale) dans deux régimes distincts :
   • Sous-paramétré ($N \ll D$) : Où la capacité du modèle est le goulot d'étranglement.
   • Sur-paramétré ($D \ll N$) : Où le nombre d'échantillons est le goulot d'étranglement, en se concentrant spécifiquement sur le nombre de coordonnées non observées (jamais activées).
4. Dynamiques d'optimisation : L'article analyse la convergence de la descente de gradient par lot complet (GD), dérivant des conditions de stabilité et une loi d'échelle pour la probabilité d'échec due à des pics d'activation rares et de haute amplitude.
5. Frontière optimale en calcul : Sous un budget de calcul fixe $C \propto ND \cdot \min\{N, D\}$, les auteurs optimisent l'allocation entre $N$ et $D$ pour minimiser la perte.
6. Validation expérimentale : La théorie est validée par des expériences sur des modèles de caractéristiques aléatoires linéaires et non linéaires (ReLU), comparant les entrées éparpillées aux bases gaussiennes denses.

Principales contributions et résultats

• Loi d'échelle à deux exposants : Le résultat théorique principal est la dérivation d'une loi d'échelle de perte avec deux exposants distincts ($\alpha_N \neq \alpha_D$) en présence d'activations éparpillées ($\alpha_1 > 0$).

  • Dans le régime sous-paramétré, la perte évolue comme $\ell \sim N^{-(\alpha_1+\alpha_2+1)}$. Ici, l'éparpillement est efficacement masqué car le modèle s'adapte aux coordonnées principales de forte variance, et l'exposant $\alpha_N$ correspond à celui des modèles denses.
  • Dans le régime sur-paramétré, la perte évolue comme $\ell \sim D^{-(\alpha_1+\alpha_2+1)/(\alpha_1+1)}$. L'exposant $\alpha_D$ est strictement inférieur à $\alpha_N$ (c'est-à-dire $\alpha_D < \alpha_N$). Cette asymétrie découle du fait que le nombre effectif de coordonnées apprenables croît de manière sous-linéaire avec la taille de l'ensemble de données ($K(D) \sim D^{1/(\alpha_1+1)}$) en raison de l'éparpillement. Les coordonnées rares ne sont jamais observées dans l'ensemble d'entraînement, créant un goulot d'étranglement persistant que les modèles denses ne présentent pas.
  • La loi d'échelle combinée est $\ell(N, D) \sim N^{-\alpha_N} + D^{-\alpha_D}$.

• Phénomène de double descente : L'analyse prédit un pic de double descente près du seuil d'interpolation où le nombre de paramètres $N$ correspond au nombre de coordonnées apprenables (observées) $K(D)$. Ce pic est régi par l'exposant d'éparpillement $\alpha_1$.

• Frontière optimale en calcul : Sous un budget de calcul fixe, l'allocation optimale se déplace significativement vers des ensembles de données plus grands plutôt que vers des modèles plus grands. La taille optimale du modèle évolue comme $N^*(C) \sim C^{1/(\alpha_1+3)}$, tandis que la taille optimale de l'ensemble de données évolue comme $D^*(C) \sim C^{(\alpha_1+1)/(\alpha_1+3)}$. À mesure que l'éparpillement augmente ($\alpha_1$ augmente), la stratégie optimale favorise davantage les données, et l'exposant optimal en calcul $\alpha_C$ augmente, indiquant une décroissance plus rapide de la perte avec le calcul.

• Stabilité de la descente de gradient : L'article dérive une loi d'échelle pour la probabilité que la descente de gradient à pas fixe devienne instable en raison de pics d'activation rares. Cette probabilité décroît comme $P_{\text{rare}} \sim D^{-\nu}$, où $\nu = (\alpha_1+\alpha_2+1)/(-\alpha_2-1)$ (pour $\alpha_2 < -1$). Cela identifie un mode d'échec spécifique dans les régimes sur-paramétrés avec des données éparpillées à queue lourde, distinct des barrières d'optimisation standard.

• Robustesse à la non-linéarité : Les expériences avec des activations ReLU confirment que l'asymétrie qualitative entre $\alpha_N$ et $\alpha_D$ persiste dans des contextes non linéaires, bien que l'ampleur de l'asymétrie soit réduite en raison du lissage spectral par la non-linéarité.

Signification et affirmations
L'article affirme isoler la couverture de caractéristiques rares comme une source distincte d'asymétrie de mise à l'échelle, séparée des dynamiques de l'optimiseur ou des mécanismes d'apprentissage de caractéristiques. En démontrant que l'éparpillement seul peut briser la symétrie des lois d'échelle (où $\alpha_N = \alpha_D$ dans les modèles denses), ce travail fournit une explication théorique aux observations empiriques où les exposants de mise à l'échelle du modèle et des données diffèrent.

Les auteurs affirment que leurs résultats offrent une prescription rationnelle pour l'allocation des ressources : dans des contextes éparpillés et de haute dimension, augmenter la taille de l'ensemble de données rapporte davantage que d'augmenter la capacité du modèle, même sous des budgets de calcul fixes. De plus, l'identification d'une loi d'échelle de « défaillance du GD » suggère que l'optimisation pratique dans de tels régimes peut nécessiter des mesures de sécurité spécifiques (comme le clip des gradients) pour gérer les pics rares de forte variance. Le travail conclut que l'éparpillement est une propriété structurelle fondamentale qui façonne la performance réalisable et le comportement de mise à l'échelle dans l'apprentissage de haute dimension, s'étendant au-delà des modèles linéaires vers des architectures non linéaires.