💬 NLP

Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs

Este artículo presenta una receta de entrenamiento continuo que recicla un modelo denso Qwen2.5-8B en un LLM de canales dispersos y eficiente en hardware mediante la integración de un mecanismo de enrutamiento con puerta predictora durante el entrenamiento, al tiempo que aborda modos de falla específicos de contexto largo a través de un algoritmo de reparación dirigido.

Autores originales: Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente inteligente (un Modelo de Lenguaje Grande, o LLM) que lo sabe casi todo. Pero hay un problema: cada vez que alguien hace una pregunta, el bibliotecario tiene que revisar cada uno de los libros de la biblioteca para encontrar la respuesta, a pesar de que solo una mínima fracción de esos libros es realmente relevante. Esto es lento, costoso y desperdicia mucha energía.

Este artículo presenta una nueva forma de entrenar a estos "bibliotecarios" para que se vuelvan super-eficientes sin perder su inteligencia. Ellos llaman a este proceso "Upcycling de Denso a Disperso" (Dense-to-Sparse Upcycling).

Aquí está el desglose sencillo de cómo lo hicieron:

1. El Problema: El enfoque de "Todos los Libros"

En los modelos de IA estándar, cada vez que el modelo procesa una palabra, activa una enorme red de "neuronas" internas (piensa en estas como estantes de libros). Incluso si el modelo solo necesita información de 4 estantes específicos, actualmente abre los 1ras 16 estantes para estar seguro. Este es el enfoque "Denso". Funciona bien, pero es pesado y lento.

2. La Solución: El "Predictor Inteligente"

Los autores querían enseñar al modelo a abrir solo los 4 estantes más importantes de cada 16. Esto se llama "Dispersión" (Sparsity).

Sin embargo, no puedes simplemente adivinar qué estantes abrir. Si adivinas mal, el modelo se vuelve estúpido.

La Forma Antigua: Algunos métodos observan los libros después de que han sido abiertos para decidir si fueron útiles. Eso es demasiado tarde; la energía ya se ha desperdiciado.
La Nueva Forma (Este Artículo): Instalaron un "Predictor" diminuto y superrápido (como un asistente de bibliotecario inteligente) justo antes de que se abran los estantes.
- El asistente observa la pregunta y el contexto actual.
- Predice instantáneamente exactamente qué 4 estantes de cada 16 son necesarios.
- Le dice al sistema principal: "Solo abre estos 4; ignora los otros 12".

3. El Sistema de "Bancos"

Para que esto sea organizado, dividieron los estantes en grupos llamados "Bancos".

Imagina que un banco tiene 64 estantes.
La regla es simple: Para cada pregunta, el asistente elige los mejores 16 estantes en ese banco e ignora el resto.
Esto reduce el trabajo en 4 veces (dispersión de 4x).

4. La Receta de Entrenamiento: "Aprender Haciendo"

No puedes simplemente tomar un modelo terminado y pesado e intentar forzarlo a ser perezoso; usualmente se rompe. En su lugar, usaron una receta de entrenamiento específica:

Empezar Pesado: Primero entrenaron un modelo estándar y pesado (hasta 8,000 palabras de contexto).
Extender la Memoria: Le enseñaron a manejar conversaciones más largas (hasta 32,000 palabras).
Introducir al Asistente: Solo después de que el modelo ya era inteligente, añadieron al "Asistente Predictor".
Practicar: Entrenaron al modelo y al asistente juntos. El modelo aprendió a confiar en las predicciones del asistente para ahorrar energía, mientras que el asistente aprendió a mejorar sus conjeturas sobre los estantes correctos.

5. Los Resultados: Más Inteligentes y Rápidos

Probaron este nuevo modelo "Disperso con Predictor" contra otros dos:

El Modelo Pesado: La versión original y lenta.
El Modelo Disperso "Ingenuo": Una versión donde simplemente apagaron estantes de forma aleatoria o perezosa sin entrenar un predictor.

El Ganador: El modelo "Con Predictor" era casi tan inteligente como el Modelo Pesado, pero mucho más eficiente. La versión "Ingenua", sin embargo, se volvió significativamente más tonta. Esto demuestra que entrenar el modelo para que sea disperso desde el principio es crucial; no puedes simplemente hackearlo después.

6. El "Acantilado" y la Solución

Durante las pruebas, encontraron un error extraño. El modelo funcionaba de maravilla para preguntas cortas y medianas, pero cuando la conversación se volvía muy larga (alrededor de 12,000 a 16,000 palabras), de repente empezaba a fallar. Era como si el bibliotecario se confundiera y olvidara cómo encontrar libros en medio de una historia muy larga.

Descubrieron que esto no era un problema de toda la biblioteca. Era solo un estante específico (la Capa 7) el que estaba fallando.

La Solución: Crearon un "parche de reparación" que le dice al modelo: "Si la conversación se vuelve demasiado larga, simplemente ignora al asistente inteligente para ese estante específico y usa la versión pesada completa en su lugar".
Este simple arreglo hizo que el modelo funcionara perfectamente de nuevo para historias largas.

Resumen

El artículo muestra que puedes tomar un modelo de IA pesado y lento y "reciclarlo" (upcycle) en una versión ligera y rápida enseñándole a un predictor que sabe exactamente qué partes de su cerebro usar para cada palabra. Es como enseñarle a un chef a agarrar solo las especias específicas que necesita para un plato, en lugar de verter todo el estante de especias en la olla. El resultado es un modelo que es 4 veces más eficiente pero mantiene casi toda su inteligencia.

Resumen Técnico: Reciclaje Continuo de LLM mediante la Escasez por Bancos con Predictor de Puerta

Planteamiento del Problema

El costo computacional de los Grandes Modelos de Lenguaje (LLM), particularmente de los Transformers de solo decodificador, está cada vez más dominado por el tamaño de los parámetros y la computación por token requerida por las Redes de Propagación hacia Adelante (FFN) densas. En las arquitecturas SwiGLU modernas, la FFN expande el estado oculto a una dimensión intermedia grande, lo procesa y lo proyecta de vuelta. Durante el entrenamiento e inferencia de contexto largo, esta computación densa se aplica a todos los tokens, a pesar de que solo un subconjset de canales intermedios es crítico para un token específico.

Las soluciones existentes enfrentan limitaciones:

Mezcla de Expertos (MoE): Reduce la computación mediante el enrutamiento de tokens a grupos de expertos específicos, pero introduce pools de parámetros separados, requisitos complejos de equilibrio de carga y sobrecarga de comunicación all-to-all.
Escasez Post-hoc: Los métodos que derivan máscaras dispersas a partir de las activaciones nativas de la FFN suelen llegar demasiado tarde para omitir las computaciones de la puerta dominante y de la up-proyección, fallando en proporcionar aceleración a nivel de hardware.
Escasez Contextual: Aunque trabajos previos muestran que la computación de los LLM depende de la entrada, los métodos libres de entrenamiento pueden ser frágiles en tareas de generación complejas.

El artículo aborda el desafío de convertir un LLM denso pre-entrenado en un modelo de canales dispersos a través de un entrenamiento continuo (upcycling) sin una degradación significativa del rendimiento, con el objetivo de crear una ruta dispersa orientada al hardware donde la señal de enrutamiento esté disponible antes de la computación principal de la FFN.

Metodología

El enfoque propuesto, Escasez por Bancos con Predictor de Puerta (Predictor-Gated Bank-Wise Sparsity), transforma un modelo Qwen2.5-8B denso en una variante dispersa a través de una receta específica de entrenamiento continuo.

1. Arquitectura: SwiGLU Dispersa con Predictor de Puerta

En lugar de utilizar las salidas de la puerta nativa para determinar la escasez, los autores introducen un predictor de bajo rango ( $P_l$ ) que opera sobre el estado oculto del token ( $x_{l,t}$ ) antes de la computación de la FFN.

Predictor: Un módulo ligero de dos capas ( $R^d \to R^{448} \to R^{d_i}$ ) que mapea el estado oculto a los logits sobre los canales intermedios de la FFN.
Mecanismo de Enrutamiento: El predictor genera logits que se utilizan para generar una señal de enrutamiento. Esto reemplaza la puerta SwiGLU densa estándar $\sigma(u_{l,t})$ .
Regla Top-k por Bancos: La dimensión intermedia ( $d_i = 14336$ ) se particiona en bancos fijos de tamaño 64. Para cada banco, se aplica una regla top-k estricta ( $k=16$ ). Esto retiene 16 canales activos por cada banco de 64 canales, logrando una escasez de 4x en el ancho de la activación intermedia de la FFF ( $d_s = 3584$ ).
Ejecución:
- Paso hacia adelante (Forward Pass): Se aplica una máscara binaria estricta. Los canales inactivos son exactamente cero.
- Paso hacia atrás (Backward Pass): La selección top-k no diferenciable se gestiona mediante un gradiente sustituto suave (gradiente local tipo sigmoide) alrededor del umbral de selección, permitiendo que la pérdida de modelado de lenguaje actualice los parámetros del predictor.

2. Receta de Entrenamiento (Entrenamiento Continuo de Denso a Disperso)

El proceso convierte un modelo Qwen2.5-8B entrenado con un contexto de 8K en un modelo disperso de 32K a través de cuatro etapas distintas:

Etapa Densa de 8K: Entrenar desde cero utilizando la arquitectura estándar de Qwen2.5-8B.
Etapa Densa de 32K: Reanudar desde el checkpoint de 8K, extender el contexto a 32K y continuar el entrenamiento denso durante aproximadamente 3T tokens.
Calentamiento del Predictor (Predictor Warm-up): Introducir el predictor de bajo rango como una rama auxiliar para imitar la señal de la puerta nativa. Esta rama no afecta la pérdida principal.
FFN Densa con Predictor de Puerta: Enrutar la puerta principal de la FFN a través del predictor (usando sigmoide) para que el predictor afecte la pérdida, pero sin aplicar aún la selección top-k estricta.
FFN Dispersa Top-k con Predictor de Puerta: Activar la selección top-k por bancos para imponer la escasez de 4x.

Nota: La rama dispersa se introduce tardíamente en la etapa de 32K (después de ~3T de tokens) para reflejar un escenario práctico de upcycling donde un modelo denso se convierte en disperso.

3. Implicaciones de Hardware

El entrenamiento se realiza en GPUs como una simulación funcional. Aunque la implementación actual en GPU materializa las proyecciones de puerta y up-proyección densas antes del enmascaramiento (limitando la aceleración inmediata en tiempo real), el principio algorítmico permite que un hardware disperso dedicado se salte las computaciones en las tres etapas de la FFN (proyecciones de puerta, up y down) para los canales inactivos, reduciendo teóricamente el ancho intermedio efectivo en 4x.

Contribuciones Clave

Patrón de Escasez de Canales con Predictor de Puerta: Una arquitectura novedosa donde un predictor de bajo rango genera logits de enrutamiento de canales antes de la computación de la FFN, combinada con una regla top-k estricta por bancos. Esto permite omitir los canales inactivos de la puerta, up y down, siempre que se utilicen kernels o hardware especializados.
Receta de Entrenamiento Continuo de Denso a Disperso: Un flujo de trabajo práctico para convertir un modelo denso Qwen2.5-8B (entrenado en 8K, continuado en 32K) en un modelo FFN disperso de 4x con un predictor de puerta y una degradación de rendimiento limitada.
Lecciones de Entrenamiento y Modos de Fallo:
- Equilibrio de Canales: El artículo demuestra que los sesgos de equilibrio de expertos estilo MoE no se transfieren limpiamente al enrutamiento de canales por bancos. Se encontró que forzar explícitamente el equilibrio de canales (mediante actualizaciones en línea) era perjudicial o neutro en comparación con no aplicar ningún equilibrio.
- Fallo de Contexto Largo Local por Capa: La evaluación en RULER-CWE reveló un precipicio de rendimiento agudo (12K–16K) en el modelo disperso que era invisible en los benchmarks de contexto corto. Los autores identificaron esto como un fallo local de la capa (específicamente en la séptima capa) y propusieron un algoritmo de reparación de una sola capa (intervención de fallback denso) que recupera sustancialmente el rendimiento en el rango de longitud afectado.

Resultados

El modelo disperso fue evaluado contra dos líneas base: un Compañero Denso (completamente denso, mismo presupuesto) y una línea base Denso-4x (escasez de 4x aplicada post-hoc basada en la magnitud de la activación).

Proximidad de Rendimiento: A través de un amplio conjunto de benchmarks (QA Factual, Código, Razonamiento, Matemáticas, Compuesto), el modelo disperso con predictor de puerta se mantuvo consistentemente más cerca del compañero denso que la línea base de Denso-4x.
Ganancias Específicas:
- El modelo disperso igualó o superó ligeramente al baseline denso en MBPP, MultiPL-E y MMLU.
- Redujo sustancialmente la degradación vista en la línea base Denso-4x en Chinese SimpleQA, MBPP+, MBXP y KOR-Bench.
Rendimiento de Contexto Largo:
- En los benchmarks RULER (4K, 8K, 16K), el modelo disperso se comportó de manera comparable al modelo denso.
- A 32K, el modelo disperso (80.4) superó a la línea base Denso-4x (73.5) y superó ligeramente al compañero denso (79.2).
- Análisis RULER-CWE: El modelo disperso exhibió un "precipicio" en la recuperación entre 12K y 16K. Aplicar la propuesta de reparación de una sola capa (Capa 7) mejoró el recall promedio en el rango de 8.7K–12.2K de 0.856 a 0.947 y en el rango de 12.8K–16.3K de 0.583 a 0.802.

Significación y Reivindicaciones

El artículo afirma que el upcycling disperso no es libre de pérdidas, pero es una vía viable para construir modelos dispersos orientados al hardware a partir de checkpoints densos.

Enfoque Centrado en el Entrenamiento: A diferencia de la compresión post-hoc, este método trata la escasez de canales como una parte integral de la ruta de modelado de lenguaje, optimizada durante el entrenamiento continuo.
Alineación con el Hardware: Al colocar el predictor de enrutamiento antes de la computación de la FFN y utilizar una máscara estricta, el método se alinea con los requisitos de un hardware disperso dedicado para lograr una verdadera aceleración, en lugar de solo una escasez teórica.
Valor Diagnóstico: El trabajo destaca que la evaluación de contexto largo es crítica para identificar modos de fallo (como el precipicio local de la capa) que los benchmarks de contexto corto omiten. También proporciona un resultado negativo respecto a la transferibilidad de las estrategias de equilibrio de MoE al enrutamiento de nivel de canal en entornos de entrenamiento continuo.

Los autores concluyen que, si bien el modelo disperso no es un reemplazo perfecto y directo del modelo denso en todos los escenarios, ofrece una receta práctica para el upcycling de modelos densos en variantes dispersas eficientes con compromisos de rendimiento manejables.