Resumen Técnico: La memoria del optimizador convierte el orden de mezcla (shuffle) en una fuente de primer orden de ruido en el ajuste fino

1. Planteamiento del problema

En el ajuste fino (fine-tuning) de modelos de lenguaje extensos, el orden en el que se presentan los dominios de datos (o lotes) puede impactar significablemente los parámetros finales del modelo. Los análisis teóricos previos, que a menudo asumen pasos de gradiente sin memoria, predecían que reordenar un multiconjunto igual de datos solo afectaría el estado final a un nivel de segundo orden ($O(\eta^2)$ respecto a la tasa de aprendizaje $\eta$). Esto se debe a que el término de primer orden en una expansión sin memoria es una suma plana sobre el multiconjunto, la cual permanece invariante bajo permutación.

Sin embargo, los optimizadores prácticos como AdamW no carecen de memoria; mantienen buffers de estado (momento, estimaciones de varianza, contadores de corrección de sesgo) que avanzan basándose en el índice de paso discreto $k$, no en la variable de tiempo continuo de entrenamiento $\tau = \eta k$. El artículo postula que este avance de estado de "reloj fijo" provoca que el mismo gradiente reciba pesos diferentes dependiendo de su posición en la secuencia. En consecuencia, el contraste entre dos ordenamientos distintos de los mismos datos (por ejemplo, la secuencia $AB$ frente a $BA$) puede convertirse en un efecto de primer orden ($O(\eta)$) en lugar de segundo orden, lo que potencialmente convierte al orden de la mezcla en una fuente dominante de ruido en las comparaciones de ajuste fino.

2. Metodología

Marco teórico: Teorema del Reloj de Estado Elevado (Lifted-State Clock Theorem)

Los autores introducen un marco de "estado elevado" donde el estado del optimizador $z = (\theta, \xi)$ incluye tanto los parámetros $\theta$ como los buffers internos $\xi$. Analizan el comportamiento local del optimizador sobre una ventana finita de $K$ pasos con un estado de medición fijo.

• Optimizadores regulares: Definidos como aquellos donde el mapa de estado local $F^\eta_D(z) = z + \eta X_D(z) + O(\eta^2)$ tiene un peso de impulso independiente de la posición. Para estos, los contrastes de multiconjuntos iguales son $O(\eta^2)$.
• Optimizadores de reloj fijo: En optimizadores como AdamW, la actualización de estado para los buffers (por ejemplo, $m_{t} = \beta_1 m_{t-1} + (1-\beta_1)g_t$) avanza con el índice de paso $t$. Los autores derivan un Teorema del Reloj de Estado Elevado, demostiendo que para optimizadores de reloj fijo, la diferencia de parámetros en el punto final entre dos permutaciones $w$ y $w'$ del mismo multiconjunto es:
  $$\langle u, \theta_K(w) - \theta_K(w') \rangle = \eta \Lambda_{w,w'}(u) + O(\eta^2)$$
  donde $\Lambda_{w,w'}(u)$ es la diferencia en las "reproducciones del estado del optimizador con parámetros congelados". Si este coeficiente de reproducción es distinto de cero, el contraste de orden escala como $O(\eta)$.

Especialización analítica: AdamW con precondicionador congelado

Para derivar resultados de forma cerrada, el artículo especializa a AdamW con un precondicionador congelado ($P_0$) en el estado de medición, manteniendo activos los relojes del buffer del primer momento y de la corrección de sesgo.

• Pesos de impulso: Los autores derivan un kernel de peso de impulso dependiente de la posición $W^{(s,\beta)}_{r,K}$ para un gradiente en la posición $r$. A diferencia de los optimizadores regulares, estos pesos no son planos (por ejemplo, decaen de 0.815 a 0.100 a través de una ventana de 16 pasos para hiperparámetros típicos).
• Piso de varianza: Derivan una cota inferior asintótica para la varianza de los resultados sobre permutaciones aleatorias. El término principal es:
  $$\text{Var}_w[\langle g_E, \theta_K(w) \rangle] \approx \eta^2 \frac{K}{K-1} \sigma^2_\phi V_K$$
  donde $\sigma^2_\phi$ es la varianza de los gradientes proyectados y $V_K$ es una métrica del contraste de la memoria del optimizador (varianza de los pesos de impulso). Para optimizadores regulares, $V_K=0$, resultando en una varianza de $O(\eta^4)$; para optimizadores de reloj fijo, $V_K > 0$, resultando en $O(\eta^2)$.

Protocolo experimental

Los autores validan estas afirmaciones utilizando celdas de ajuste fino LoRA locales en modelos como Pythia-1B y Llama-3.2-1B.

• División de exponente: Miden el escalamiento de la diferencia mediana de parámetros ($\|\theta_{AB} - \theta_{BA}\|$) contra la tasa de aprendizaje $\eta$.
• Controles: Comparan AdamW contra:
  • SGD: Sin memoria.
  • Momento de Reloj Emparejado (Matched-Clock Momentum): Donde el decaimiento $\beta$ y la normalización se escalan con $\eta$ (por ejemplo, $\beta = e^{-a\eta}$) para restaurar el comportamiento regular de $O(\eta^2)$.
  • Momento de $\beta$ Fijo: Un control no adaptativo para aislar el efecto del buffering de la adaptatividad de coordenadas.
• Reproducción determinista bit a bit: Para aislar el mecanismo, bifurcan un estado de optimizador precalentado y lo reproducen con diferentes ordenamientos usando pasos deterministas bit a bit, eliminando el ruido estocástico del gradiente.
• Diagnósticos: Introducen métricas como $\rho$ (razón de región de confianza para validez local), $\chi$ (brecha de conservatividad entre el escalar $P$ congelado y la reproducción completa) y $\rho_{curl}$ (clasificabilidad escalar de las preferencias de orden por pares).

3. Resultados clave

1. Cambio de exponente de segundo a primer orden

Las mediciones empíricas confirman el cambio en los exponentes de escalamiento teórico:

• SGD y Momento de Reloj Emparejado: El contraste de orden escala cerca de $\eta^2$ (exponentes $\approx 2.0$).
• AdamW de Reloj Fijo y Lion: El contraste de orden escala cerca de $\eta^1$ (exponentes $\approx 0.91 - 1.09$).
• Momento de $\beta$ Fijo: Un control no adaptativo con buffering de reloj fijo también exhibe un exponente cercano a $1.0$ (pendiente 0.998), confirmando que el buffering por sí solo (sin adaptatividad de coordenadas) es suficiente para crear el canal de primer orden.

2. Piso de varianza y ruido de orden

• Escalamiento de la varianza: La varianza de la órbita de orden para AdamW de reloj fijo escala con $\eta^{1.20}$ (bruto) o $\eta^{1.83}$ (cuando se controla la heterogeneidad de la entrada), significativamente mayor que el escalamiento de $\eta^{3.83}$–$\eta^{4.00}$ observado para SGD y los controles de reloj emparejado.
• Reproducción determinista: La reproducción determinista bit a bit produce pendientes de varianza de 1.83 (AdamW), 2.00 (momento de $\beta$ fijo) y 4.00 (SGD), aislando el mecanismo del ruido estocástico del gradiente.

3. Validez local y clasificabilidad

• Región de confianza ($\rho$): La aproximación de primer orden con $P$ congelado predice resultados en vivo con alta correlación (Pearson 0.80) cuando $\rho < 1$.
• Clasificabilidad escalar ($\rho_{curl}$): En el régimen perturbativo, las preferencias de orden por pares son mayormente clasificables por un potencial escalar (se observaron cero ciclos dirigidos de 3 elementos cuando $\rho_{curl} < 1$). Cuando $\rho_{curl}$ se acerca a 1, los términos de corchete no conservativos pueden crear ciclos dirigidos (preferencias intransitivas).

4. Presupuesto de semillas de mezcla (Shuffle-Seed Budget)

El artículo proporciona una fórmula para calcular el número de semillas de mezcla requeridas para resolver una brecha $\Delta$ dado el desvío estándar del ruido de orden $\sigma_{ord}$.

• Implicación: Cuando la brecha entre configuraciones es comparable al piso de ruido de orden ($|\Delta|/\sigma_{ord} < 1$), una comparación de una sola semilla es insuficiente y puede cambiar fácilmente el signo del resultado. Por ejemplo, en una calibración de NLL con datos mantenidos fuera (held-out), las tasas de cambio de signo alcanzaron el 33–44% cuando la brecha era pequeña en relación con el ruido.

4. Significado y Reivindicaciones

El artículo afirma aislar y cuantificar un mecanismo específico —la memoria del optimizador de reloj fijo— que eleva el orden de los datos de un efecto de segundo orden despreciable a una fuente de ruido de primer orden dominante en el ajuste fino.

• Identificación del mecanismo: Demuestra que la suposición de "falta de memoria" en trabajos teóricos previos falla para los optimizadores estándar porque sus relojes internos (contadores de pasos) no escalan con la tasa de aprendizaje. Esto crea pesos dependientes de la posición para los gradientes.
• Impacto práctico: El "canal de orden" resultante es lo suficientemente grande como para que una sola semilla aleatoria pueda revertir el resultado de una prueba A/B cercana en el ajuste fino. Esto desafía la confiabilidad de las comparaciones de una sola semilla en el ajuste de hiperparámetros y la selección de modelos.
• Herramientas de diagnóstico: Los autores proporcionan una forma "libre de ajustes" para dimensionar este ruido utilizando el piso de varianza derivado y los pesos de impulso, ofreciendo un criterio para determinar el presupuesto necesario de semillas de mezcla para comparaciones reproducibles.
• Limitaciones del alcance: Los autores declaran explícitamente que sus resultados de forma cerrada son locales a una ventana de medición finita y dependen de una aproximación de precondicionador congelado. No pretenden resolver problemas de convergencia global ni proporcionar una política de ordenamiento universal, sino explicar la varianza observada en celdas de ajuste fino locales.

En resumen, el artículo argumenta que la memoria del optimizador convierte el orden de la mezcla en una fuente de primer orden de ruido en el ajuste fino, lo que requiere presupuestos de semillas más grandes y una interpretación cuidadosa de las comparaciones de ajuste fino cuando se utilizan optimizadores de reloj fijo como AdamW.