Resumen Técnico: Más Allá de los Costos Hundidos: Potenciando la Eficiencia del Pre-entrenamiento de LLM mediante el Crecimiento Ortogonal de Mezclas de Expertos

Enunciado del Problema

La demanda computacional para el pre-entrenamiento de Modelos de Lenguaje Grande (LLM) está aumentando, pero los puntos de control pre-entrenados existentes a menudo permanecen subutilizados debido a limitaciones arquitectónicas. Las estrategias actuales de crecimiento de modelos se centran típicamente en expandir los modelos durante las etapas tempranas del entrenamiento, sin aprovechar los sustanciales "costos hundidos" (inversión computacional previa) de los puntos de control bien convergidos. Además, la aplicación del crecimiento de modelos a arquitecturas de Mezcla de Expertos (MoE), que son cada vez más dominantes en LLM a gran escala, no ha sido estudiada sistemáticamente. El desafío central es determinar cómo "reciclar" eficazmente los modelos MoE convergidos para crear modelos más grandes y capaces sin descartar el conocimiento aprendido y los parámetros optimizados del modelo base.

Metodología

Los autores proponen un marco de "crecimiento ortogonal" diseñado para expandir los modelos MoE convergidos a lo largo de dos dimensiones independientes: Profundidad (aumentando capas) y Ancho (aumentando el número de expertos).

1. Crecimiento en Profundidad: Interposicional vs. Apilamiento

El artículo contrasta dos métodos para expandir la profundidad del modelo:

• Apilamiento: Concatenar la secuencia original de capas $k$ veces ($l_1, \dots, l_n, l_1, \dots, l_n$).
• Crecimiento Interposicional: Duplicar cada capa en su lugar ($l_1, l_1, \dots, l_2, l_2, \dots$).

Insight Clave: El análisis de LLM pre-entrenados revela una distribución característica de la norma de los pesos por capa: las normas son pequeñas en las capas iniciales, aumentan monótonamente a través del medio y disminuyen ligeramente cerca del final. Este patrón es una firma estructural de una convergencia saludable.

• Apilamiento interrumpe esta tendencia monótona al colocar normas de capas tempranas después de normas de capas tardías, creando discontinuidades agudas que requieren que el modelo "repare" durante el entrenamiento continuo.
• Crecimiento Interposicional preserva la trayectoria de la norma de los pesos aprendida al duplicar las capas en su lugar, manteniendo la progresión estructural suave.
• Umbral: La superioridad del crecimiento interposicional se vuelve crítica una vez que el modelo base ha sido entrenado más allá de los FLOPs óptimos en cómputo definidos por las leyes de escalado de Chinchilla (aproximadamente $1\times F_c$).

2. Crecimiento en Ancho: Duplicación de Expertos Ruidosa

Para expandir el ancho del modelo, los autores duplican tanto el número total de expertos ($E \to 2E$) como el número de expertos activados ($k \to 2k$).

• Estrategia de Inicialización: Los nuevos expertos se inicializan copiando los pesos de los expertos existentes y añadiendo una pequeña cantidad de ruido gaussiano ($\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ con $\alpha \approx 0.01$).
• Racional: La duplicación exacta crea una simetría perfecta, impidiendo la divergencia funcional. Una pequeña perturbación rompe esta simetría lo suficiente como para permitir que el enrutador diferencie a los expertos durante el entrenamiento continuo, mientras preserva las representaciones aprendidas. Esto contrasta con el "reciclaje" desde modelos densos, que a menudo requiere niveles altos de ruido ($\ge 50\%$) e inicialización aleatoria del enrutador.

3. Ortogonalidad

El artículo demuestra que el crecimiento en profundidad y en ancho son ortogonales.

• Disyunción Estructural: El crecimiento en profundidad añade nuevas capas; el crecimiento en ancho añade nuevos expertos dentro de las capas existentes. Operan sobre conjuntos de parámetros que no se superponen.
• Dinámicas de Optimización: El análisis de gradientes muestra que las direcciones de optimización para los modelos crecidos en profundidad y en ancho son casi ortogonales a la dirección previa al crecimiento y entre sí.
• Independencia del Orden: El rendimiento final es invariante a la secuencia de expansión (profundidad-luego-ancho vs. ancho-luego-profundidad), confirmando que las estrategias pueden integrarse de manera flexible.

Resultados Clave

El marco fue validado mediante experimentos extensos en modelos que van desde 3B hasta 70B de parámetros utilizando un conjunto de datos de 1 billón de tokens.

• Eficacia del Crecimiento en Profundidad: En un modelo MoE de 3B crecido hasta 6B, el método interposicional superó consistentemente al apilamiento tanto en la pérdida de entrenamiento como en la precisión aguas abajo. La brecha de rendimiento se amplió a medida que el modelo base se volvía más convergido.
• Correlación con Costos Hundidos: Existe una fuerte correlación positiva entre la cantidad de "FLOPs hundidos" (pasos de entrenamiento previos al crecimiento) y la precisión final del modelo crecido. Los modelos crecidos a partir de puntos de control posteriores y más convergidos lograron un rendimiento final más alto que aquellos crecidos desde puntos de control anteriores, incluso con presupuestos de cómputo adicionales idénticos.
• Comparación con Entrenamiento desde Cero:
  • Bajo un presupuesto de cómputo adicional fijo, el crecimiento de modelos superó significativamente al entrenamiento de un modelo grande desde cero (por ejemplo, una mejora del 10.6% en precisión en el experimento de 70B).
  • Bajo un presupuesto de cómputo total fijo (hundido + adicional), el crecimiento de modelos produjo resultados comparables o ligeramente superiores al entrenamiento desde cero, siempre que el crecimiento se iniciara desde un punto de control con suficiente costo hundido.
• Escalabilidad: El método escaló con éxito un modelo MoE de 17B (entrenado en ~600B tokens) a 70B de parámetros (entrenado en un total de 1T tokens). El modelo final de 70B logró una precisión promedio del 64.17, superando la línea base de 17B en 5.62 puntos y la línea base de 70B entrenada desde cero en un 10.6% de ganancia relativa bajo el mismo presupuesto de FLOPs extra.

Significado y Afirmaciones

El artículo afirma proporcionar una hoja de ruta rentable para el desarrollo sostenible de LLM a gran escala. Su significado principal radica en:

1. Reciclaje de Costos Hundidos: Demostrar que los puntos de control pre-entrenados, a menudo vistos como activos intermedios desechables, pueden aprovecharse sistemáticamente para crear modelos más grandes, preservando así el valor de las inversiones computacionales previas.
2. Estrategias de Crecimiento Óptimas: Establecer que para modelos bien convergidos, la copia interposicional de capas y la duplicación de expertos con ruido mínimo son superiores al apilamiento tradicional y a la inicialización aleatoria.
3. Escalado Ortogonal: Probar que la profundidad y el ancho pueden expandirse de forma independiente y en cualquier orden sin interferencia, ofreciendo flexibilidad en escenarios de escalado con recursos limitados.
4. Eficiencia: Mostrar que el crecimiento puede lograr ganancias de rendimiento que superan el entrenamiento desde cero bajo presupuestos de cómputo extra idénticos, reduciendo efectivamente la barrera para el pre-entrenamiento de modelos de escala de vanguardia.

Los autores enfatizan que este trabajo no introduce nuevos riesgos sociales más allá de los inherentes a los LLM, sino que tiene como objetivo reducir la huella ambiental del desarrollo de modelos mejorando la eficiencia del entrenamiento.