Inverse Depth Scaling From Most Layers Being Similar

Resumen Técnico: Escalamiento de Profundidad Inverso debido a la Similitud de la Mayoría de las Capas

Planteamiento del Problema
Las leyes de escalamiento neuronal han establecido que el rendimiento de los modelos de lenguaje de gran tamaño (LLM) mejora de manera predecible con incrementos en el tamaño del modelo y del conjunto de datos, siguiendo típicamente relaciones de ley de potencia. Sin embargo, estas leyes de escalamiento suelen tratar el tamaño del modelo como una cantidad monolítica, ocultando las contribuciones distintivas del ancho y la profundidad. Mientras que los marcos teóricos proponen que la profundidad podría contribuir al rendimiento a través de la asamblea compositiva (abstracción jerárquica), la asamblea procedimental (discretización de dinámicas suaves) o el promedio de ensamble (estimación redundante), el mecanismo real por el cual los LLM utilizan su profundidad sigue sin estar claro. Los estudios empíricos sugieren que las capas de los LLM son a menudo redundantes, pero carecían de un marco cuantitativo que vinculara esta redundancia con leyes de escalamiento específicas. Este artículo investiga la relación cuantitativa entre la profundidad de los LLM y la pérdida para determinar qué régimen teórico predomina.

Metodología
Los autores emplean un enfoque de tres vertientes que combina el análisis empírico de LLM reales, experimentos con modelos de juguete controlados y análisis teórico:

1. Análisis del Estado Oculto de LLM: Los autores analizaron la dinámica de los estados ocultos a través de las capas en varias familias de modelos Pythia (que van desde 410M hasta 12B de parámetros) y otras familias (Qwen-2.5, OPT) utilizando el conjunto de datos FineWeb. Midieron el cambio angular entre estados ocultos vecinos, $\theta(h_l, h_{l+1})$, y la correlación entre actualizaciones incrementales, $\theta(\Delta h_l, \Delta h_{l+1})$. Se utilizó el Análisis de Componentes Principales (PCA) para identificar distintos grupos de comportamiento entre los tokens.
2. Descomposición Empírica de la Pérdida: Los autores propusieron una ley de escalamiento descompuesta para la pérdida ($L$) separando las contribuciones del ancho ($m$), la profundidad ($\ell$) y el tamaño del conjunto de datos ($D$):
   $$L = \frac{c_m}{m^{\alpha_m}} + \frac{c_\ell}{\ell^{\alpha_\ell}} + \frac{c_D}{D^{\alpha_D}} + L_0$$
   Ajustaron este modelo a datos reconstruidos de experimentos de escalamiento de Chinchilla (aproximadamente 200 puntos de datos) para estimar el exponente de escalamiento de profundidad $\alpha_\ell$.
3. Experimentos con Modelos de Juguete: Para aislar mecanismos, se diseñó una configuración de profesor-estudiante donde una red estudiante aprende a imitar a un profesor más profundo. La dinámica del profesor fue controlada mediante el atado de pesos (induciendo dinámicas suaves para la asamblea procedimental) o pesos independientes (induciendo dinámicas de paseo aleatorio no suaves para el promedio de ensamble). La profundidad del estudiante fue variada y el entrenamiento se llevó a cabo bajo diferentes temperaturas de distribución objetivo para observar la convergencia y los comportamientos de escalamiento.

Contribuciones Clave y Resultados

• Escalamiento de Profundidad Inverso: El hallazgo principal es que la pérdida de los LLM escala aproximadamente de forma inversamente proporcional a la profundidad ($\alpha_\ell \approx 1$). El exponente ajustado para el término dependiente de la profundidad es $\alpha_\ell = 1.2 \pm 0.3$, lo que sugiere un decaimiento de ley de potencia donde duplicar la profundidad reduce aproximadamente a la mitad el componente de error limitado por la profundidad.
• Dominio del Promedio de Ensamble: El análisis de los estados ocultos revela que para la gran mayoría de los tokens (99.6%) y las capas, las actualizaciones son incrementales y uniformes en el medio de la red. Crucialmente, la correlación entre las actualizaciones de capas vecinas es débil (ángulos cercanos a $\pi/2$), lo que contradice las dinámicas suaves requeridas para la asamblea procedimental. En su lugar, estas firmas se alinean con el promedio de ensamble, donde las capas actúan como estimadores redundantes y ruidosos que reducen el error mediante el promedio.
• Rechazo del Dominio Compositivo y Procedimental:
  • Asamblea Compositiva: Los datos no muestran los patrones de "parada temprana" o de abstracción jerárquica distinta (por ejemplo, sintaxis $\to$ semántica $\to$ razonamiento) predichos por este régimen para la mayoría de los datos.
  • Asamblea Procedimental: Aunque la asamblea procedimental (discretización de ODEs suaves) puede teóricamente producir un escalamiento inverso bajo condiciones específicas (por ejemplo, baja temperatura/entrenamiento incompleto), los experimentos con modelos de juguete de los autores muestran que una vez que el entrenamiento converge con dinámicas suaves, el exponente de escalamiento cambia a $\alpha_\ell \approx 3$. Dado que los LLM reales exhiben $\alpha_\ell \approx 1$, es poco probable que la asamblea procedimental sea el mecanismo dominante en los LLM convergidos.
• Explicación Mecanicista: El artículo concluye que la ineficiencia de la profundidad de los LLM surge porque la mayoría de las capas realizan transformaciones funcionalmente similares. Añadir profundidad aumenta el tamaño de estos grupos funcionales, y la reducción de la pérdida es impulsada por la ley de los grandes números (promediando los errores) en lugar de la construcción de nuevas abstracciones más profundas.

Significancia y Reivindicaciones
Los autores afirman que este trabajo proporciona una explicación cuantitativa para el uso "ineficiente" de la profundidad observado en estudios empíricos previos. Al establecer que los LLM operan principalmente en un régimen de promedio de ensamble, el artículo sugiere que:

1. Implicaciones Arquitectónicas: Las arquitecturas actuales de redes residuales pueden sesgar inherentemente a los modelos hacia el promedio de ensamble en lugar del aprendizaje compositivo. Mejorar la eficiencia puede requerir innovaciones arquitectónicas que fomenten el uso compositivo de la profundidad.
2. Leyes de Escalamiento: El observado escalamiento de profundidad inverso ($\alpha_\ell \approx 1$) combinado con el escalamiento de ancho ($\alpha_m \approx 1$) implica una relación óptima de ancho-profundidad de $m \propto \ell$ bajo un presupuesto de parámetros fijo. Esto se alinea con el escalamiento empírico $N^{-1/3}$ observado en los modelos Chinchilla.
3. Limitaciones: Los autores señalan modestamente que su descomposición de la pérdida fue propuesta basada en ajustes empíricos en lugar de derivada de primeros principios. Reconocen que, si bien descartan el papel dominante de la asamblea compositiva y procedimental, no se pueden excluir rigurosamente otros mecanismos que producen comportamientos de escalamiento similares sin derivaciones de primeros principios. Además, el estudio se centra en las capas del "núcleo" (bulk), reconociendo que la primera y la última capa pueden exhibir comportamientos diferentes y potencialmente compositivos.

En resumen, el artículo postula que el éxito actual del escalamiento de los LLM es en gran medida el resultado de añadir capas redundantes que promedian los errores, en lugar de profundizar la jerarquía de representación, y que el progreso arquitectónico futuro puede depender de romper este sesgo hacia el promedio de ensamble.