How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

Resumen Técnico: Escalado de Modelos de Lenguaje con Bucles (Looped LMs)

1. El Problema

Los modelos de lenguaje con bucles (o depth-recurrent) utilizan un mismo bloque de capas transformadoras repetido $r$ veces para procesar cada token, en lugar de tener $r$ bloques únicos. Esta arquitectura promete:

• Desacoplar el número de parámetros únicos de la profundidad efectiva.
• Introducir un sesgo inductivo hacia el razonamiento.
• Permitir un mayor cómputo por token durante la inferencia sin aumentar la memoria de parámetros.

Sin embargo, existe una pregunta fundamental no cuantificada: ¿Cuánto vale una repetición (recurrencia) adicional en términos de capacidad del modelo? ¿Es un bloque compartido $r$ veces equivalente a $r$ bloques únicos (equivalencia total, $\phi=1$) o no aporta ganancia de capacidad alguna ($\phi=0$)? La literatura previa ha comparado arquitecturas sin aislar el costo de compartir parámetros de la profundidad efectiva, lo que dificulta determinar la relación óptima entre parámetros únicos, tokens de entrenamiento y recurrencias.

2. Metodología

Los autores proponen un estudio de escalado de profundidad isométrica (iso-depth) para aislar el costo de compartir parámetros.

• Configuración Experimental:

  • Se comparan cuatro variantes de arquitecturas prelude-recur-coda (un bloque inicial, un bloque recurrente compartido, y un bloque final) con recurrencias $r \in \{1, 2, 4, 8\}$.
  • Profundidad Efectiva Fija: Todas las arquitecturas tienen 20 capas efectivas ($L_{eff} = n_{prelude} + r \cdot n_{recur} + n_{coda} = 20$).
  • Cómputo Isométrico: Se ejecutan 116 entrenamientos a través de 6 presupuestos de cómputo (desde $4.64 \times 10^{17}$ hasta $2.15 \times 10^{19}$ FLOPs, un rango de ~50x).
  • Ajuste de Ancho: Para cada presupuesto, se barre el ancho del modelo ($d_{model}$) para encontrar el punto óptimo de cómputo (donde la pérdida de validación es mínima).
  • Control de Variables: Todas las variantes consumen el mismo número de FLOPs por token en entrenamiento e inferencia (excepto una pequeña sobrecarga por la capa de inyección de entrada).

• Ley de Escalado Conjunta Propuesta:
  Los autores extienden la ley de escalado Chinchilla ($L = E + A N^{-\alpha} + B D^{-\beta}$) para incluir la recurrencia mediante un nuevo exponente de equivalencia de recurrencia, $\phi$:
  $$L(N_{once}, N_{rec}, D, r) = E + A (N_{once} + r^\phi N_{rec})^{-\alpha} + B D^{-\beta}$$
  Donde:

  • $N_{once}$: Parámetros únicos que se ejecutan una vez (prelude + coda).
  • $N_{rec}$: Parámetros del bloque recurrente compartido.
  • $r^\phi$: Factor que determina cuánto contribuye el bloque compartido al "número efectivo de parámetros".
  • Si $\phi=1$, hay equivalencia total (sin costo de compartir). Si $\phi=0$, no hay ganancia de capacidad.

3. Contribuciones Clave

1. Ley de Escalado Conjunta: Introducen una ley que unifica las 116 ejecuciones bajo un solo exponente $\phi$, permitiendo predecir la pérdida de validación basándose en parámetros únicos, tokens y recurrencias.
2. Medición del Costo de Compartir: Cuantifican directamente el "costo de compartir parámetros" al aislar la profundidad efectiva del cómputo por token.
3. Evaluación Downstream: Construyen una suite de evaluación de cinco ejes para analizar cómo el costo de compartir afecta diferentes capacidades (conocimiento paramétrico, comprensión lectora, razonamiento, etc.).

4. Resultados Principales

• El Exponente de Equivalencia ($\phi = 0.46$):
  El ajuste de la ley conjunta arroja un valor de $\phi = 0.46$ (con $R^2 = 0.997$).

  • Interpretación: Un bloque compartido $r$ veces no es equivalente a $r$ bloques únicos. Por ejemplo, con $r=4$, el bloque recurrente contribuye como si fuera $4^{0.46} \approx 1.86$ bloques únicos, no 4.
  • Consecuencia: A paridad de cómputo de entrenamiento, un modelo con bucles tiene una pérdida de validación mayor que un modelo no recurrente equivalente.
  • Ejemplo Práctico: Un modelo recurrente de 410M parámetros ($r=4$) tiene un rendimiento similar a un modelo no recurrente de 580M, pero incurre en el costo de entrenamiento de un modelo no recurrente de 1B parámetros.

• Comportamiento de Escalado:

  • Los modelos con mayor $r$ prefieren anchos más grandes y menos tokens de entrenamiento por parámetro para alcanzar el óptimo de cómputo.
  • La brecha de pérdida de validación entre modelos recurrentes y no recurrentes crece monótonamente con $r$ y se estabiliza ligeramente en los presupuestos más altos, sin mostrar cruces donde el modelo recurrente supere al baseline.

• Evaluación Downstream (5 Ejes):

  • Conocimiento Paramétrico (QA cerrado): Sigue estrictamente el orden de la pérdida de validación. Los modelos recurrentes rinden peor, confirmando que compartir parámetros reduce la capacidad de almacenar hechos.
  • Comprensión Lectora y Símbolo Composicional: La brecha se cierra o desaparece. En tareas de "libro abierto" o extracción de contexto, los modelos recurrentes pueden igualar a los no recurrentes a pesar de tener menos parámetros únicos.
  • Razonamiento: En tareas de razonamiento puro (primitivas de razonamiento, problemas matemáticos), la señal es demasiado débil o ruidosa con los presupuestos de cómputo actuales para distinguir diferencias significativas entre arquitecturas.

5. Significado e Implicaciones

• Definición de un Punto de Referencia: El valor $\phi = 0.46$ sirve como una línea base para futuras investigaciones. Cualquier técnica que mejore los modelos recurrentes (como truncated backpropagation, early exit adaptativo, o retrofitting) debe demostrar que puede elevar $\phi$ por encima de 0.46 para ser considerada una mejora real en eficiencia.
• Validación de la Pérdida como Métrica: Dado que las tareas de razonamiento no son resolubles con los presupuestos actuales, la pérdida de validación sigue siendo el objetivo más fiable y medible para guiar el diseño de arquitecturas recurrentes a escala de desarrollo.
• Diseño de Comparaciones Justas: El estudio advierte que comparar modelos recurrentes y no recurrentes en el mismo punto $(N, D)$ no es óptimo, ya que sus configuraciones óptimas de cómputo difieren (los recurrentes necesitan más ancho y menos tokens).
• Futuro: Aunque los bucles ofrecen flexibilidad en el despliegue y entrenamiento, el costo de compartir parámetros es significativo. Para que los modelos recurrentes superen a los densos, las futuras recetas de entrenamiento deben reducir el costo de FLOPs por recurrencia o mejorar la eficiencia del bloque compartido para aumentar $\phi$.

En resumen, el paper demuestra que la recurrencia no es "gratis": cada repetición adicional aporta menos capacidad de aprendizaje que un bloque único, y este "descuento" en capacidad ($\phi \approx 0.46$) es una métrica fundamental para evaluar el futuro de los modelos de lenguaje con bucles.