Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

Resumen Técnico: Transformadores en Crecimiento: Composición Modular y Expansión por Capas sobre un Sustrato Congelado

1. Declaración del Problema

El entrenamiento de modelos de lenguaje a gran escala se ve frecuentemente limitado por la memoria del estado del optimizador, y no solo por la cantidad de parámetros. En el preentrenamiento denso monolítico estándar, mantener los estados del optimizador para todos los parámetros entrenables crea un cuello de botella de escalabilidad bajo presupuestos de memoria de aceleradores fijos.

Este artículo investiga un régimen de entrenamiento restringido para responder a una pregunta específica de viabilidad: ¿Puede continuar creciendo la profundidad del modelo si la interfaz de tokens está fija, los bloques densos previamente entrenados permanecen congelados y el conjunto activo de parámetros entrenables se mantiene aproximadamente constante? Los autores posicionan explícitamente esto como un estudio de compensaciones y viabilidad, no como una afirmación de que este régimen supera al preentrenamiento denso monolítico ajustado.

2. Metodología

El régimen propuesto, denominado "Crecimiento Constructivo", opera bajo cuatro restricciones estrictas:

1. Interfaz de Tokens Fija: La capa de incrustación de entrada es fija y determinista durante todo el entrenamiento. El artículo estudia dos variantes:
   • Una interfaz visual Unicode congelada (de trabajos anteriores).
   • Una prueba de estrés extrema: un código binario de ID de token de 16 dimensiones congelado. Aquí, cada token se representa mediante un código binario de 16 bits (su ID de token) elevado determinísticamente a la dimensión del modelo ($d_{model}$) mediante repetición de coordenadas. Esto resulta en una matriz de incrustación de entrada con una rango de como máximo 16, asegurando que no existan semánticas de alta dimensión aprendidas en la entrada.
2. Sustrato Congelado: Una vez que un bloque (o grupo de bloques) está entrenado, se congela. Nunca se reabre para actualizaciones de parámetros completos.
3. Presupuesto Activo Acotado: A medida que aumenta la profundidad, solo se entrenan los bloques añadidos más recientemente y la cabecera del Modelo de Lenguaje (LM). El número de parámetros entrenables activos permanece aproximadamente constante.
4. Reajuste Opcional con LoRA: En ejecuciones más largas, se intercalan etapas de LoRA (Adaptación de Bajo Rango) entre las fases de crecimiento. Estas etapas reasignan el mismo presupuesto entrenable activo a adaptadores en todas las capas para permitir un reajuste global limitado sin reabrir los pesos densos.

Procedimiento de Entrenamiento:

• Inicializar un modelo superficial sobre la interfaz fija.
• Entrenar la pila superior actual.
• Congelar los bloques densos entrenados.
• Añadir un nuevo grupo de bloques en la parte superior.
• Entrenar solo el nuevo grupo y la cabecera del LM.
• (Opcional) Intercalar etapas de LoRA para ajustar las representaciones globales manteniendo el presupuesto de parámetros activos.

3. Contribuciones y Afirmaciones Clave

El artículo presenta afirmaciones estrechas y fundamentadas empíricamente, en lugar de afirmaciones amplias de superioridad algorítmica:

• Definición de un Régimen Restringido: Los autores definen un protocolo de entrenamiento específico que combina una interfaz de tokens determinista fija, bloques inferiores congelados y un presupuesto de parámetros activos acotado.
• Viabilidad del Crecimiento sobre Interfaz Mínimas: El estudio demuestra que el aprendizaje continuo útil es posible incluso por encima de una interfaz de ID de token binaria de 16 dimensiones, donde la dimensión del subespacio de entrada es como máximo 16. Esto sugiere que las incrustaciones de entrada entrenables semánticamente ricas no son un prerrequisito estricto para formar representaciones internas útiles en capas superiores.
• Compensación Calidad-Memoria: El artículo cuantifica la compensación entre la cantidad de parámetros activos y la perplejidad final.
  • En un estudio controlado de 9 capas, el modelo congelado constructivo utiliza 105.0M de parámetros entrenables activos en comparación con 180.5M para una línea base monolítica congelada coincidente con la interfaz y 247.6M para una línea base monolítica totalmente entrenable.
  • Esta reducción en parámetros activos conlleva un costo: la perplejidad de entrenamiento final aumenta de 3.71 (monolítico congelado) a 4.12 (congelado constructivo).
• Viabilidad del Crecimiento a Largo Plazo: Un experimento de 16 capas en un conjunto de datos de 68.9B de tokens (FineWeb-Edu + Cosmopedia) utilizando la interfaz binaria de 16 dimensiones y etapas de LoRA intercaladas alcanzó un 28.92% en MMLU. Esto sirve como una demostración de viabilidad de que el crecimiento puede proceder bajo restricciones extremas, aunque la mezcla de datos cambiante impide una comparación causal limpia.

4. Resultados

• Estudio Controlado de 9 Capas:
  • El crecimiento constructivo fue estable, mostrando picos transitorios de pérdida al apilar nuevas capas seguidos de una recuperación rápida.
  • El modelo constructivo (105M de parámetros activos) logró un rendimiento aguas abajo (MMLU, ARC, SQuAD) en el mismo rango amplio que las líneas base monolíticas, aunque con mayor perplejidad.
  • El modelo constructivo entrenado sobre la interfaz binaria de 16 dimensiones convergió de manera estable, demostrando que la restricción de rango extrema (rango $\le$ 16) no impide que el modelo aprenda representaciones útiles en las capas superiores.
• Ejecución a Largo Plazo de 16 Capas:
  • Un modelo de 269.7M de parámetros (tamaño base) entrenado con etapas de LoRA intercaladas alcanzó un 28.92% en MMLU.
  • Los autores señalan que, dado que la mezcla de datos cambió entre etapas (aumentando la mezcla de instrucciones/SFT), este resultado se interpreta como una demostración de viabilidad y no como una estimación causal de la eficiencia del crecimiento.

5. Significado y Limitaciones

Significado:
La contribución principal del artículo es una "afirmación estrecha pero útil": el aprendizaje continuo útil puede proceder por encima de una interfaz mínima fija bajo un presupuesto de parámetros entrenables activos acotado. Esto es significativo para los practicantes con presupuestos de memoria limitados que desean expandir la profundidad del modelo sin la sobrecarga de memoria de mantener estados del optimizador para todo el modelo. Cuestiona la suposición de que las incrustaciones de entrada aprendidas de alta capacidad son estrictamente necesarias para el crecimiento de la profundidad.

Modestia y Limitaciones:
Los autores son explícitos sobre lo que el artículo no afirma:

• No afirma que el crecimiento constructivo iguale la calidad del preentrenamiento denso monolítico ajustado (la perplejidad es peor).
• No afirma que el apilamiento inicializado aleatoriamente sea la mejor estrategia genérica de crecimiento en comparación con métodos que preservan la función (por ejemplo, Net2Net).
• Las comparaciones controladas son experimentos de ejecución única; las pequeñas diferencias en las métricas no están establecidas estadísticamente.
• El estudio de 9 capas utiliza un protocolo común sin ajuste de hiperparámetros específico de la línea base, lo que lo convierte en una comparación de regímenes en lugar de una comparación optimizada de lo mejor contra lo mejor.
• La ejecución a largo plazo confunde la atribución causal debido a las mezclas de datos cambiantes.
• La interfaz binaria de 16 dimensiones utiliza una asignación de código determinista específica; las comparaciones sistemáticas de asignaciones de código alternativas se dejan para trabajos futuros.

En conclusión, el artículo establece que, aunque el entrenamiento denso monolítico sigue siendo la línea base más fuerte para la calidad cuando los recursos lo permiten, un régimen restringido de expansión por capas sobre un sustrato congelado es una alternativa viable para escenarios donde los presupuestos de parámetros activos deben estar estrictamente acotados.