💬 NLP

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning

El artículo presenta SPARKLING, un nuevo marco para la expansión de ancho en etapa intermedia en el aprendizaje progresivo que equilibra la preservación de la señal y la ruptura de simetría para superar las inestabilidades de entrenamiento, reduciendo así los costos computacionales hasta en un 35% mientras supera al entrenamiento desde cero.

Autores originales: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

Publicado 2026-06-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una biblioteca masiva e increíblemente compleja (un Modelo de Lenguaje Grande) para almacenar y comprender el conocimiento humano. Normalmente, para construir la biblioteca más grande y lista, tienes que construir todo el edificio desde los cimientos, ladrillo a ladrillo, todo a la vez. Esto es increíblemente costoso y requiere una enorme cantidad de tiempo y energía.

El Aprendizaje Progresivo es una forma más inteligente de hacer esto: comienzas con una pequeña y acogedora sala de lectura y vas añadiendo más salas a medida que avanzas. Esto ahorra dinero porque no necesitas construir todo el palacio antes de empezar a leer.

Sin embargo, hay un inconveniente. Aunque los investigadores han descubierto cómo añadir fácilmente más pisos (profundidad), añadir más habitaciones en el mismo piso (anchura) en medio del proceso de construcción es una pesadilla. Si simplemente pegas nuevas habitaciones al edificio existente sin cuidado, todo empezará a tambalearse y a colapsar.

El artículo presenta un nuevo método llamado SPARKLING (que significa equilibrio de preservación de la señal y ruptura de simetría para el aprendizaje progresivo de anchura o, en inglés, balancing Signal Preservation And symmetRy breaKing for width-progressive LearnING). Piensa en SPARKLING como el kit de herramientas de un maestro arquitecto para expandir la biblioteca de forma segura durante la construcción.

Así es como funciona, utilizando analogías sencillas:

Los dos grandes problemas

Cuando intentas duplicar el tamaño de la biblioteca en medio de la construcción, dos cosas salen mal:

El "Choque de Volumen" (Preservación de la Señal):
Imagina que la biblioteca tiene una regla estricta: el nivel de ruido en cada pasillo debe ser exactamente el mismo. Si de repente añades un montón de habitaciones nuevas y vacías, la acústica cambia. El sonido (los datos) se vuelve demasiado silencioso o demasiado fuerte en las nuevas áreas, confundiendo a los bibliotecarios (las neuronas del modelo).
- La solución de SPARKLING: Utilizan una técnica llamada consistencia de escala RMS. Es como instalar un "control de volumen" en cada habitación nueva. Antes de que las nuevas habitaciones sean utilizadas, se ajustan para que el nivel de ruido coincida perfectamente con el de las habitaciones antiguas. Esto asegura que los datos fluyan suavemente sin sacudir el sistema.
La "Trampa del Clon" (Ruptura de Simetría):
La forma más fácil de añadir una nueva habitación es copiar exactamente el plano de una existente. Pero aquí está el problema: si tienes dos habitaciones idénticas con la misma decoración y los mismos bibliotecarios idénticos, harán exactamente lo mismo. Recibirán las mismas instrucciones y se moverán de la misma manera. Se convierten en "clones" que no aprenden nada nuevo; simplemente repiten lo que hace la habitación original. La biblioteca se hace más grande, pero no más lista.
- La solución de SPARKL la solución de SPARKLING: Rompen la "trampa del clon" con dos trucos:
  - El "Comienzo desde Cero" (Reinicio del Estado del Optimizador): Aunque la nueva habitación se parezca a la antigua, limpian el tablero para los nuevos bibliotecarios. No les dan las memorias o los hábitos de los antiguos bibliotecarios. Esto los obliga a descubrir las cosas por sí mismos.
  - El "Impulso Especial" (Tasa de Aprendizaje Asimétrica): Les dan a los nuevos bibliotecarios un megáfono ligeramente más fuerte (una tasa de aprendizaje más alta) durante un tiempo breve. Esto los anima a probar cosas nuevas y explorar, mientras que los antiguos bibliotecarios siguen trabajando a su ritmo normal. Esto asegura que las nuevas habitaciones desarrollen su propia personalidad única en lugar de simplemente copiar a la antigua.

Los Resultados

Los investigadores probaron esto en dos tipos de bibliotecas:

Modelos Densos: Una biblioteca estándar donde cada libro está en cada estante.
MoE (Mezcla de Expertos): Una biblioteca de alta tecnología con habitaciones de "expertos" especializados que solo se abren cuando es necesario.

Descubrieron que SPARKLING funciona como por arte de magia:

Ahorra dinero: Al expandir la biblioteca en medio del proceso, ahorraron hasta un 35% del costo total de construcción (potencia de cómputo) en comparación con construir la gran biblioteca desde cero.
Funciona mejor: A pesar de usar menos energía, la biblioteca final fue en realidad más inteligente y funcionó mejor en las pruebas que las bibliotecas construidas de la forma tradicional y costosa.

La Conclusión

SPARKLING es una nueva forma de hacer crecer los modelos de IA que dice: "No te limites a copiar y pegar partes nuevas; ajústalas para que encajen con el sonido existente y luego dales un pequeño empujón para que sean únicas". Esto nos permite construir sistemas de IA masivos y potentes mucho más rápido y barato que antes, sin que el sistema se desmorone durante la expansión.

Resumen Técnico: SPARKLING

Declaración del Problema

El Aprendizaje Progresivo (PL, por sus siglas en inglés) busca reducir la carga computacional del entrenamiento de Modelos de Lenguaje de Gran Escala (LLMs) mediante la expansión gradual de la escala del modelo durante el entrenamiento, en lugar de entrenar la escala completa desde cero. Mientras que la investigación previa en PL ha explorado extensamente la expansión de profundidad (por ejemplo, apilamiento de capas), la expansión de ancho permanece significativamente subestudiada. Los métodos previos de expansión de ancho se limitan en gran medida a las etapas iniciales del entrenamiento (por ejemplo, <10–30% de los tokens), ofreciendo ventajas computacionales insignificantes frente al entrenamiento del modelo de ancho objetivo desde cero.

Expandir el ancho durante la etapa intermedia del pre-entrenamiento es esencial para maximizar el ahorro computacional, pero presenta desafíos formidables. El artículo identifica dos problemas centrales que causan inestabilidad en el entrenamiento y degradación del rendimiento en este régimen:

Fallo en la Preservación de la Señal: La inicialización ingenua en el punto de expansión interrumpe la distribución estadística de las activaciones intermedias (específicamente la escala de la raíz cuadrática media o RMS). Este desajuste altera las magnitudes de la señal por capa, desestabilizando la optimización incluso si la pérdida inmediata no presenta picos.
Bloqueo de Simetría: La inicialización basada en copias, aunque preserva la función hacia adelante (forward function), induce una simetría hacia atrás (backward symmetry). Los canales duplicados reciben gradientes idénticos y, si los estados del optimizador también son simétricos, evolucionan de manera idéntica. Esto evita que la nueva capacidad se diversifique en características distintas, haciendo que los parámetros expandidos sean funcionalmente redundantes. Este problema persiste a través de diferentes familias de optimizadores, incluyendo los optimizadores de tipo elemento a elemento (AdamW) y los de tipo espectral (Muon).

Metodología: SPARKLING

Los autores proponen SPARKLING (equilibrio de la Signatura de la Preservación de la señal y el mantenimiento de la Resistencia a la simetría para el LearnING progresivo de ancho), un marco diseñado para equilibrar la preservación de la señal y la ruptura de la simetría durante la expansión de ancho en etapa intermedia. El marco consta de cuatro mecanismos concretos:

1. Preservación de la Señal mediante la Consistencia de la Escala RMS

Los autores argumentan que la verdadera preservación de la señal requiere mantener la distribución estadística de las representaciones ocultas, específicamente la escala RMS, en lugar de solo la preservación de la función (continuidad de la pérdida).

Mecanismo: Derivan factores de reescalado para los pesos durante la expansión para asegurar que la escala RMS de salida permanezca invariante.
- Expansión de Fan-out: Los nuevos canales de salida se inicializan copiando o mediante muestreo aleatorio de la misma distribución que los pesos existentes.
- Expansión de Fan-in: Los nuevos canales de entrada requieren un reescalado de pesos específico. Si las nuevas coordenadas son aleatorias o de copia unilateral, los pesos se escalan por $\sqrt{d_{in}/d'_{in}}$ . Si ambos lados son copiados (duplicando las dimensiones existentes), los pesos se escalan por $1/\sqrt{1+3c}$ (donde $c$ es la razón de copia) para dar cuenta de la contribución cuadrática de la covarianza.
- Expansión de RMSNorm: Los nuevos parámetros de RMSNorm se inicializan mediante copia o muestreo aleatorio sin reescalado adicional, ya que el número de parámetros es insignificante en relación con las capas lineales.

2. Ruptura de Simetría mediante Intervenciones Asimétricas

Para resolver el "bloqueo de simetría" donde los componentes copiados no logran diversificarse, SPARKLING introduce intervenciones dirigidas que actúan solo en la dinámica hacia atrás (backward) mientras preservan la función hacia adelante (forward).

Reinicio Asimétrico del Estado del Optimizador: En lugar de copiar o reiniciar globalmente los estados del optimizador (momentum), el marco retiene los estados del optimizador para los parámetros originales ( $W$ ) pero reinicia los estados para los parámetros recién introducidos ( $\tilde{W}$ ) a cero. Esto rompe el acoplamiento de gradientes de inmediato, permitiendo que los nuevos parámetros diverjan.
Re-calentamiento Asimétrico de la Tasa de Aprendizaje: En el punto de expansión, los parámetros originales continúan con el programa de tasa de aprendizaje base. Los nuevos parámetros experimentan un re-calentamiento (re-warmup) partiendo de la tasa de aprendizaje actual ( $\eta_e$ ) hacia un pico más alto ( $\hat{\eta}_{max} = \rho \cdot \eta_e$ ) durante una ventana corta ( $\tau_w$ ), antes de decaer de nuevo hacia el mínimo compartido. Esto inyecta una asimetría de optimización controlada para estimular la diversificación de características sin perturbar globalmente el modelo pre-entrenado bien adaptado.

Contribuciones Clave

Identificación de Desafíos en Etapa Intermedia: El artículo establece que el éxito de la expansión de ancho en etapa intermedia depende de dos principios complementarios: la Preservación de la Señal (estabilización de las estadísticas de activación mediante consistencia RMS) y la Ruptura de Simetría (resolución del acoplamiento de gradientes en la inicialización basada en copias).
El Marco SPARKLING: Una implementación práctica que combina el escalado de preservación de RMS, la inicialización basada en copias, el reinicio asimétrico del estado del optimizador y el re-calentamiento asimétrico de la tasa de aprendizaje.
Validación Empírica: Experimentos extensos a través de arquitecturas densas y de Mezcla de Expertos (MoE), múltiples ejes de ancho (dimensión oculta y dimensión intermedia del experto de MoE) y familias de optimizadores (AdamW y Muon).

Resultados

Rendimiento: Bajo un presupuesto de tokens fijo, SPARKLING supera consistentemente al entrenamiento del modelo de escala completa desde cero en evaluaciones de tareas descendentes (por ejemplo, ARC, MMLU, HellaSwag) e iguala o supera el rendimiento de las líneas base ingenuas de preservación de función.
Eficiencia: SPARKLING reduce significativamente los costos de entrenamiento. Bajo una expansión de ancho de 2×, logra hasta una reducción del 35% en los FLOPs de entrenamiento y una aceleración de tiempo de ejecución (wall-clock speed-up) de hasta 1.49× en comparación con el entrenamiento del modelo expandido desde cero.
Convergencia: El escalado de preservación de RMS mejora la convergencia en la etapa tardía en comparación con la inicialización no escalada ingenua. Las intervenciones asimétricas (reinicio de estado y re-calentamiento) son críticas para romper el bloqueo de simetría, siendo la inicialización de copia-copia combinada con estas intervenciones la que logra la mejor pérdida final entre todas las variantes.
Generalidad: El método se generaliza a modelos densos, diferentes optimizadores (incluyendo Muon) y expansiones iterativas de múltiples etapas (por ejemplo, 256→512→1024).

Significancia y Reivindicaciones

El artículo afirma que SPARKLING hace que la expansión de ancho en etapa intermedia sea prácticamente viable, abordando la motivación principal del Aprendizaje Progresivo: reducir los costos de entrenamiento manteniendo o superando el rendimiento de los modelos de ancho objetivo.

Los autores enfatizan que su enfoque resuelve la tensión entre la continuidad hacia adelante (mantener la función pre-entrenada) y la diversidad hacia atrás (permitir que los nuevos parámetros aprendan características distintas). Al desacoplar estos dos aspectos —preservando las estadísticas de la señal mientras se rompe la simetría en la dinámica de optimización—, SPARKLING permite el escalado eficiente de los LLMs. El trabajo sugiere que el marco ofrece un comportamiento de escalado de cómputo-pérdida más favorable, logrando una pérdida menor con presupuestos de cómputo equivalentes en comparación con el entrenamiento desde cero.

El artículo concluye señalando que, si bien los resultados son prometedores, se necesita trabajo futuro para establecer un principio unificado para la expansión simultánea de ancho y profundidad e investigar si la estrategia de preservación de RMS satisface la condición $\mu$ P (parametrización de actualización máxima) para la transferibilidad de hiperparámetros.