Resumen Técnico: Transporte de Gradiente de Tamaño Finito en el Preentrenamiento de Modelos de Lenguaje Grandes

Enunciado del Problema

Aunque las leyes de escalado neuronal han establecido dependencias robustas de ley de potencia entre la pérdida de preentrenamiento de Modelos de Lenguaje Grandes (LLM) y factores externos (escala del modelo, tamaño del conjunto de datos, cómputo), no revelan la organización interna del campo de gradiente a medida que avanza el entrenamiento. Las curvas de rendimiento escalar pueden ocultar reorganizaciones internas que se desarrollan con el tiempo y a través de escalas. Estudios existentes sobre "grokking" (generalización retardada) y propagación de señales críticas sugieren que las transiciones conductuales pueden estar precedidas por cambios internos más suaves, sin embargo, las métricas actuales carecen de una sonda resuelta en escala para medir cómo evoluciona la organización del campo de gradiente. Los autores argumentan que un solo exponente (como el exponente de tamaño de cascada $D$) es insuficiente para caracterizar los regímenes reales de entrenamiento de LLM, haciendo necesario un marco de múltiples canales para distinguir entre diferentes dinámicas de entrenamiento que pueden compartir esqueletos de escalado de tamaño similares.

Metodología

El artículo introduce un marco de transporte de gradiente de tamaño finito fundamentado en la mecánica estadística de no equilibrio, adaptando específicamente la sonda de avalancha Actualización de Difusión Umbralizada–Olami-Feder-Christensen (TDU-OFC).

1. La Sonda TDU-OFC

El método trata el campo de gradiente (o campo de actualización de parámetros) como un campo de carga sujeto a una regla de redistribución controlada en un grafo Barabási–Albert (BA) fijo.

• Entrada: En cada paso de entrenamiento $t$, se toma una instantánea del campo $u(t)$. Para Pico-LM, esto es el vector de gradiente crudo $g_t$; para Pythia, es el campo de actualización de diferencia de punto de control $\Delta\theta_t$.
• Umbralización: Se establece un umbral fijo $\tau(t)$ en el percentil 90 de la magnitud del campo.
• Relajación: Los nodos activos (donde $|u_i| > \tau$) se relajan sincrónicamente, redistribuyendo valores con signo a los vecinos basándose en la normalización por grado. Este proceso itera hasta que no quedan nodos activos o se alcanza un límite de pasos (500).
• Salidas: La sonda produce el tamaño de cascada $s(t)$ (eventos activos totales) y la duración de cascada $n_{steps}(t)$.

2. Caracterización de Cinco Cantidades

El marco extiende el exponente único $D(t)$ a un cierre algebraico de cinco cantidades:

1. $D(t)$ (Exponente de tamaño de cascada): Describe la extensividad espacial ($s_{max} \sim N^D$).
2. $z(t)$ (Exponente de duración): Describe la persistencia temporal ($n_{steps} \sim N^z$).
3. $\beta$ (Exponente de transporte absoluto): Derivado de $D - z$.
4. $\delta$ (Exponente de transporte intensivo): Describe la eficiencia por parámetro ($v_{rel} \sim N^\delta$).
5. $v_{rel}$ (Eficiencia de transporte relativa): Una observable medida directamente definida como $s_{max} / (N \cdot n_{steps})$.

Estas cantidades satisfacen las relaciones de cierre algebraico: $\beta = D - z$ y $\delta = \beta - 1 = D - z - 1$.

3. Familias Empíricas y Controles Nulos

El marco se aplica a dos familias complementarias:

• Pico-LM: Cuatro escalas (11M–570M) con instantáneas directas de gradiente crudo en 125 pasos alineados.
• Pythia/PolyPythias: Cinco escalas sub-1B (14M–410M) utilizando campos de diferencia de punto de control (proxy para actualizaciones) en 153 pasos alineados.

Para asegurar la comparabilidad, los autores emplean una jerarquía de descomposición nula:

• $N_0/N_1$: Nulos gaussianos (estándar o ajustados por momentos) para establecer una línea base.
• $N_2$: Un nulo de permutación que preserva la distribución marginal con signo pero aleatoriza la asignación de valor a nodo.
• Esto permite separar los "efectos de distribución" de los "efectos de asignación" (la organización específica de los valores en el grafo).

4. Compresibilidad Paso a Paso

Una contribución novedosa es tratar la compresibilidad paso a paso (el $R^2$ del ajuste de ley de potencia en cada paso) como una observable de organización interna, en lugar de una mera nota al pie sobre la calidad del ajuste. Esto mide si un canal de transporte admite una pendiente de ley de potencia única y limpia a través de escalas en un paso de entrenamiento dado.

Resultados Clave

1. Esqueleto de Tamaño Compartido, Regímenes de Transporte Distintos

Tanto Pico-LM como Pythia exhiben un esqueleto de tamaño de cascada cercano a la unidad ($D \approx 1$) durante toda la ventana de entrenamiento estable. Sin embargo, ocupan regímenes de transporte distintos:

• Pico-LM: Muestra escalado de duración positivo ($z > 0$) y escalado de eficiencia intensiva negativo ($\delta < 0$). Los modelos más pequeños exhiben mayor eficiencia de transporte por parámetro, y las cascadas duran más en los modelos más grandes.
• Pythia: Permanece en una banda estrecha cerca de la línea base $D=1$ con escalado de eficiencia positivo débil ($\delta > 0$) y escalado de duración cercano a cero ($z \approx 0$). Se acerca a una banda de eficiencia común a través de escalas.

2. Alineación con la Línea Base Nula

Los controles de campo aleatorizados ($N_0$) revelan que ambas familias comparten suelos nulos casi idénticos en los canales intensivo ($v_{rel}$) y de duración ($z$). Por lo tanto, los contrastes observados se interpretan como desviaciones reales distintas de un esqueleto nulo compartido en lugar de artefactos de calibraciones nulas diferentes. En el canal de duración, Pico muestra una desviación positiva del nulo, mientras que Pythia muestra una desviación negativa.

3. Compresibilidad como Observable

• Pico-LM: Exhibe alta compresibilidad paso a paso ($R^2 \approx 0.97-0.99$) a través de los canales de tamaño, duración y eficiencia, indicando una organización de ley de potencia limpia en cada paso.
• Pythia: Aunque el esqueleto de tamaño ($D$) permanece altamente compresible ($R^2 \approx 1.0$), los canales de duración y eficiencia muestran compresibilidad de una sola pendiente débil ($R^2 \approx 0.55-0.65$). Esto sugiere que los canales de transporte internos de Pythia no están bien descritos por una única pendiente de ley de potencia en cada paso, aunque el comportamiento agregado sea estable.

4. Asociación con el Rendimiento Externo

El artículo encuentra asociaciones a nivel de canal pero ninguna asociación significativa a nivel de exponente:

• Nivel de Canal: El rendimiento externo (perplejidad para Pico, precisión zero-shot para Pythia) está fuertemente asociado con la observable de eficiencia intensiva ($v_{rel}$) y la duración normalizada ($n_{steps}/N$). Un mejor rendimiento se correlaciona con una menor $v_{rel}$ y una mayor duración normalizada. Estas asociaciones persisten después de controlar por el programa de tasa de aprendizaje.
• Nivel de Exponente: El exponente de tamaño $D(t)$ actúa como un esqueleto compartido pero no se correlaciona significativamente con los exponentes de rendimiento externo ($\beta_{PPL}$ o $\alpha_{acc}$) a lo largo de toda la trayectoria en ninguna de las familias.

Significado y Afirmaciones

El artículo afirma proporcionar un marco de medición de transporte reutilizable para comparar regímenes reales de entrenamiento de LLM sin afirmar un punto fijo universal o una derivación de primeros principios de las leyes de escalado neuronal.

• Cambio en el Rol de $D(t)$: En los benchmarks controlados de "grokking" (trabajo previo), $D(t)$ actuaba como un marcador localizado en la transición (cruzando $D=1$ en la generalización). En el preentrenamiento real de LLM, $D(t)$ se convierte en una coordenada de esqueleto estable ($D \approx 1$) que no distingue regímenes; la distinción radica en cómo este esqueleto se descompone en canales de duración y eficiencia.
• Naturaleza Observacional: Los resultados son observacionales y de escala finita. Los autores declaran explícitamente que no afirman que el entrenamiento de LLM realice un mecanismo clásico de Criticalidad Autoorganizada (SOC) o una clase de universalidad completa de ruido de chisporroteo.
• Contribución Metodológica: El trabajo eleva la "compresibilidad paso a paso" a la categoría de observable primaria, argumentando que el grado en que los canales internos admiten leyes de potencias limpias es una propiedad fundamental de la organización de las dinámicas de entrenamiento.
• Limitaciones: Los autores advierten que el contraste Pico/Pythia involucra múltiples variables (gradiente crudo vs. campo de actualización, diferentes arquitecturas, optimizadores). Las afirmaciones cuantitativas fuertes se restringen a análisis dentro de la familia, mientras que las comparaciones entre familias se limitan a estructuras a nivel de régimen.

En resumen, el artículo argumenta que el preentrenamiento real se describe mejor mediante una estructura de transporte de múltiples observables (tamaño, duración, eficiencia y compresibilidad) que por cualquier estadística de cruce única, ofreciendo un lenguaje inspirado en la física para resolver reorganizaciones internas que las curvas de pérdida escalar ocultan.