Asymmetric Scaling Laws from Sparse Features

Resumen Técnico: Leyes de Escalamiento Asimétricas desde Características Dispersas

Enunciado del Problema
Las leyes de escalamiento neuronal describen las relaciones predecibles entre el rendimiento del modelo (pérdida de prueba) y las variables de recursos: tamaño del modelo ($N$), tamaño del conjunto de datos ($D$) y presupuesto de cómputo ($C$). Si bien trabajos fundamentales (p. ej., Kaplan et al., 2020; Hoffmann et al., 2022) establecieron relaciones de ley de potencias y estrategias de asignación óptimas de cómputo (a menudo sugiriendo un escalamiento simétrico donde $N$ y $D$ crecen de manera similar), una comprensión teórica integral de por qué los exponentes de escalamiento podrían diferir entre los regímenes limitados por el modelo y los limitados por los datos sigue siendo esquiva. Los marcos teóricos existentes a menudo asumen datos densos con distribución gaussiana, lo cual podría no capturar las propiedades estructurales de los datos reales de alta dimensión donde las características son a menudo dispersas y de cola pesada. Este artículo aborda la brecha en la comprensión de cómo las activaciones de entrada dispersas alteran fundamentalmente el comportamiento de escalamiento, induciendo potencialmente una asimetría entre los exponentes que gobiernan el tamaño del modelo y el tamaño del conjunto de datos.

Metodología
Los autores introducen un modelo teórico tratable basado en características aleatorias dispersas para analizar el escalamiento de la pérdida poblacional.

1. Proceso de Generación de Datos: Los datos de entrada $x \in \mathbb{R}^M$ se generan mediante un proceso estructurado donde cada coordenada $j$ se activa con una probabilidad de cola pesada $p_j = j^{-\alpha_1-1}$. Cuando está activa, la coordenada toma un valor con una varianza que escala como $j^{-\alpha_1-\alpha_2-2}$. Esto crea un escenario donde la mayoría de las coordenadas son cero, y las coordenadas activas siguen una distribución de ley de potencias controlada por los parámetros $\alpha_1$ y $\alpha_2$.
2. Arquitectura del Modelo: El modelo de aprendizaje consiste en una incrustación aleatoria fija $u \in \mathbb{R}^{N \times M}$ (que mapea las entradas a características $\phi = ux$) seguida de una lectura lineal entrenable $\theta$. La función objetivo es un funcional lineal $y = w^\top x$. Esta configuración modela efectivamente una regresión lineal esquematizada o una red de dos capas con pesos de la primera capa aleatorios y congelados.
3. Regímenes de Análisis: Los autores derivan la pérdida poblacional asintótica (error óptimo de Bayes) en dos regímenes distintos:
   • Subparametrizado ($N \ll D$): Donde la capacidad del modelo es el cuello de botella.
   • Sobreparametrizado ($D \ll N$): Donde el número de muestras es el cuello de botella, enfocándose específicamente en el número de coordenadas no observadas (nunca activadas).
4. Dinámicas de Optimización: El artículo analiza la convergencia del descenso de gradiente (GD) por lotes completos, derivando condiciones para la estabilidad y una ley de escalamiento para la probabilidad de fallo debido a picos de activación raros y de alta amplitud.
5. Frente Óptimo de Cómputo: Bajo un presupuesto de cómputo fijo $C \propto ND \cdot \min\{N, D\}$, los autores optimizan la asignación entre $N$ y $D$ para minimizar la pérdida.
6. Validación Experimental: La teoría se valida mediante experimentos en modelos de características aleatorias tanto lineales como no lineales (ReLU), comparando entradas dispersas frente a bases gaussianas densas.

Contribuciones y Resultados Clave

• Ley de Escalamiento de Dos Exponentes: El resultado teórico principal es la derivación de una ley de escalamiento de pérdida con dos exponentes distintos ($\alpha_N \neq \alpha_D$) en presencia de activaciones dispersas ($\alpha_1 > 0$).

  • En el régimen subparametrizado, la pérdida escala como $\ell \sim N^{-(\alpha_1+\alpha_2+1)}$. Aquí, la dispersión está efectivamente enmascarada porque el modelo ajusta las coordenadas principales de alta varianza, y el exponente $\alpha_N$ coincide con el de los modelos densos.
  • En el régimen sobreparametrizado, la pérdida escala como $\ell \sim D^{-(\alpha_1+\alpha_2+1)/(\alpha_1+1)}$. El exponente $\alpha_D$ es estrictamente menor que $\alpha_N$ (es decir, $\alpha_D < \alpha_N$). Esta asimetría surge porque el número efectivo de coordenadas aprendibles crece sublinealmente con el tamaño del conjunto de datos ($K(D) \sim D^{1/(\alpha_1+1)}$) debido a la dispersión. Las coordenadas raras nunca se observan en el conjunto de entrenamiento, creando un cuello de botella persistente que los modelos densos no exhiben.
  • La ley de escalamiento combinada es $\ell(N, D) \sim N^{-\alpha_N} + D^{-\alpha_D}$.

• Fenómeno de Doble Descenso: El análisis predice un pico de doble descenso cerca del umbral de interpolación donde el número de parámetros $N$ coincide con el número de coordenadas aprendibles (observadas) $K(D)$. Este pico está gobernado por el exponente de dispersión $\alpha_1$.

• Frente Óptimo de Cómputo: Bajo un presupuesto de cómputo fijo, la asignación óptima se desplaza significativamente hacia conjuntos de datos más grandes en lugar de modelos más grandes. El tamaño óptimo del modelo escala como $N^*(C) \sim C^{1/(\alpha_1+3)}$, mientras que el tamaño óptimo del conjunto de datos escala como $D^*(C) \sim C^{(\alpha_1+1)/(\alpha_1+3)}$. A medida que aumenta la dispersión ($\alpha_1$ aumenta), la estrategia óptima favorece más intensamente los datos, y el exponente óptimo de cómputo $\alpha_C$ aumenta, indicando una decadencia más rápida de la pérdida con el cómputo.

• Estabilidad del Descenso de Gradiente: El artículo deriva una ley de escalamiento para la probabilidad de que el descenso de gradiente con paso fijo se vuelva inestable debido a picos de activación raros. Esta probabilidad decae como $P_{\text{rare}} \sim D^{-\nu}$, donde $\nu = (\alpha_1+\alpha_2+1)/(-\alpha_2-1)$ (para $\alpha_2 < -1$). Esto identifica un modo de fallo específico en regímenes sobreparametrizados con datos dispersos de cola pesada, distinto de las barreras de optimización estándar.

• Robustez ante la No Linealidad: Los experimentos con activaciones ReLU confirman que la asimetría cualitativa entre $\alpha_N$ y $\alpha_D$ persiste en configuraciones no lineales, aunque la magnitud de la asimetría se reduce debido al suavizado espectral provocado por la no linealidad.

Significado y Afirmaciones
El artículo afirma aislar la cobertura de características raras como una fuente distinta de asimetría de escalamiento, separada de las dinámicas del optimizador o los mecanismos de aprendizaje de características. Al demostrar que la dispersión por sí sola puede romper la simetría de las leyes de escalamiento (donde $\alpha_N = \alpha_D$ en modelos densos), el trabajo proporciona una explicación teórica para observaciones empíricas donde los exponentes de escalamiento del modelo y de los datos difieren.

Los autores afirman que sus hallazgos ofrecen una prescripción principista para la asignación de recursos: en entornos dispersos y de alta dimensión, aumentar el tamaño del conjunto de datos produce mayores retornos que aumentar la capacidad del modelo, incluso bajo presupuestos de cómputo fijos. Además, la identificación de una ley de escalamiento de "fallo del GD" sugiere que la optimización práctica en dichos regímenes podría requerir salvaguardas específicas (como recorte de gradiente) para manejar picos raros de alta varianza. El trabajo concluye que la dispersión es una propiedad estructural fundamental que moldea el rendimiento alcanzable y el comportamiento de escalamiento en el aprendizaje de alta dimensión, extendiéndose más allá de los modelos lineales hacia arquitecturas no lineales.