Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching

Resumen Técnico: Entrenamiento Dens vs. Esparcido a Escala Mínima

Enunciado del Problema
Los transformadores de Mezcla de Expertos (MoE) desacoplan la cantidad total de parámetros de la capacidad activa por token, permitiendo teóricamente que los modelos almacenen capacidades mayores mientras activan solo un subconjunto de parámetros. Sin embargo, gran parte de la evidencia que respalda la superioridad de los MoE proviene de entornos distribuidos a gran escala donde el comportamiento de enrutamiento, los costos de comunicación y el diseño de sistemas están entrelazados, lo que dificulta aislar la contribución del modelo. Este artículo aborda una pregunta empírica más simple: en un régimen diminuto accesible desde una sola GPU, ¿reemplazar las redes de alimentación hacia adelante (FFN) densas con expertos enrutados esparcidos genera un beneficio de modelado genuino bajo presupuestos estrictamente controlados?

Metodología
El estudio compara transformadores densos y esparcidos (MoE) dentro de una pila de entrenamiento de decodificador estilo LLaMA compartida, entrenada en el conjunto de datos TinyStories. El diseño experimental mantiene constantes el tokenizador, la tubería de datos, el optimizador, el cronograma, la profundidad, la longitud de contexto, el estilo de normalización y el protocolo de evaluación. La intervención esparcida reemplaza los bloques FFN densos con expertos enrutados estilo Mixtral.

Para garantizar la equidad, los autores emplean dos criterios de comparación distintos, ajustando el tamaño de las líneas base densas para coincidir con presupuestos específicos:

1. Activo Coincidido: La línea base densa se ajusta de tamaño para que su conteo de parámetros activos por token coincida con la ruta enrutada activa del MoE.
2. Total Coincidido: La línea base densa se ajusta de tamaño para que su conteo total de parámetros almacenados coincida con el modelo MoE completo.

La configuración esparcida principal utiliza cuatro expertos, enrutamiento top-2, despacho sin pérdida (dropless), equilibrado de carga estilo Switch y pérdida z del enrutador. El objetivo de entrenamiento combina la entropía cruzada del siguiente token con términos auxiliares de equilibrado de carga y pérdida z del enrutador. El estudio opera en un régimen de menos de 25 millones de parámetros (aproximadamente 14,89 millones activos frente a 21,06 millones totales para el MoE).

Contribuciones Clave

• Desenredar Criterios de Equidad: El artículo demuestra que la conclusión sobre la superioridad de "densos vs. esparcidos" depende enteramente de la métrica de equidad utilizada. Separa el análisis en comparaciones de activo coincidido y total coincidido, mostrando que conducen a clasificaciones diferentes.
• Estabilidad del Entrenamiento Esparcido a Escala Mínima: El estudio identifica los ingredientes específicos requeridos para un entrenamiento esparcido estable en modelos pequeños. El enrutamiento top-1 ingenuo colapsa inmediatamente; se requiere un equilibrado estilo Switch para evitar el colapso, y pasar al enrutamiento top-2 proporciona la ganancia de calidad principal. Se demuestra que la pérdida z del enrutador mejora la estabilidad y los diagnósticos de enrutamiento en lugar de ser la fuente principal de reducción de la pérdida de validación.
• Diagnósticos de Enrutamiento: Los autores proporcionan diagnósticos integrales de enrutamiento (fracción del experto más ocupado, varianza de uso, entropía, log-z) para confirmar que las ganancias observadas no son artefactos de un enrutamiento colapsado o patológico.

Resultados
El estudio presenta una comparación completa de datos con tres semillas a través de las tres configuraciones:

• Comparación Activo Coincidido: El modelo MoE (aproximadamente 14,77 millones de parámetros activos) supera significativamente a la línea base de coincidencia activa densa (aproximadamente 14,89 millones de parámetros activos). El MoE logra una mejor pérdida de validación de 1,5788 ± 0,0020, en comparación con la 1,6545 ± 0,0012 de la línea base densa. Esto produce una brecha de 0,0758 a favor del MoE.
• Comparación Total Coincidido: El modelo denso (aproximadamente 21,06 millones de parámetros totales) permanece ligeramente más fuerte que el MoE (aproximadamente 21,06 millones de parámetros totales). La línea base de coincidencia total densa logra 1,5608 ± 0,0025, mientras que el MoE logra 1,5788 ± 0,0020. Esto produce una brecha de 0,0180 a favor del modelo denso.
• Dinámicas de Entrenamiento: A través de los presupuestos de entrenamiento (de 40,5 millones a 426,3 millones de tokens), la ventaja de activo coincidido para el MoE crece, mientras que la ventaja de total coincidido para el modelo denso se estrecha drásticamente. El MoE se sitúa consistentemente entre las dos líneas base densas: mejor que el modelo denso de igual activo pero ligeramente peor que el modelo denso de igual total.

Significado y Afirmaciones
El artículo concluye que en este régimen de menos de 25 millones de parámetros, el cómputo condicional (MoE) mejora la pérdida de validación cuando la equidad se define por parámetros activos por token, pero no supera al entrenamiento denso cuando la equidad se define por capacidad total almacenada.

Los autores declaran explícitamente que este es un estudio empírico controlado y no una propuesta de nueva arquitectura. El significado radica en aclarar que:

1. El entrenamiento esparcido ya es útil en regímenes de escala mínima si la comparación se basa en la capacidad activa.
2. La "ventaja del MoE" no es una superioridad bruta de capacidad total, sino un beneficio derivado del uso condicional de parámetros almacenados adicionales.
3. Los resultados son específicos del régimen de TinyStories y no afirman extenderse automáticamente a corpus más amplios, regímenes de parámetros más grandes o configuraciones de transferencia posterior sin un estudio adicional.

El artículo se abstiene de afirmar una victoria en el tiempo de entrenamiento real, señalando que los análisis de rendimiento son un contexto secundario, y evita hacer afirmaciones causales sobre los mecanismos de capacidad inactiva, centrándose en cambio en la asignación de conclusiones a los criterios de equidad.