🤖 machine learning

NIRVANA: Structured Pruning Reimagined for Large Language Model Compression

NIRVANA es un novedoso marco de poda estructurada consciente del hardware que aprovecha la saliencia inspirada en el Kernel de Tangente Neuronal, una estrategia de clasificación de unidades global con asignación óptima y una selección de datos impulsada por la divergencia KL para lograr la compresión de vanguardia de los Grandes Modelos de Lenguaje preservando el rendimiento de cero disparos y las capacidades de ajuste fino sin un reentrenamiento computacionalmente costoso.

Autores originales: Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

Publicado 2026-07-21

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva e increíblemente inteligente de libros que puede responder cualquier pregunta, contar chistes o escribir código. Esta biblioteca es tan grande que se necesita un almacén entero de computadoras solo para mantener las luces encendidas. En el mundo de la inteligencia artificial, estos son llamados Modelos de Lenguaje Extensos (LLM). Son como supercerebros, pero son tan pesados y hambrientos de electricidad que solo los gigantes tecnológicos más grandes pueden permitirse ejecutarlos. Los científicos han estado tratando de encoger estos cerebros, como si intentaran meter una enciclopedia completa en un cuaderno de bolsillo, sin perder la capacidad de leer o entender.

Para hacer esto, los investigadores utilizan una técnica llamada "poda" (pruning). Piensa en un árbol en invierno. Para ayudarlo a sobrevivir y crecer más rápido en primavera, un jardinero corta las ramas muertas o innecesarias. En la IA, la poda significa cortar partes del modelo que no están haciendo mucho trabajo. Hay dos formas principales de hacerlo: puedes recortar diminutos hilos individuales (pesos) por todas partes, lo que hace que el árbol se vea desordenado y en realidad no lo hace correr más rápido en una computadora, o puedes cortar ramas enteras (neuronas o cabezales de atención), lo que mantiene la forma del árbol limpia y lo hace mucho más rápido. El problema es que, cuando cortas demasiadas ramas, el árbol a menudo deja de crecer o olvida cómo hablar correctamente. Necesita mucho "entrenamiento de recuperación" costoso para aprender de nuevo, e incluso así, a menudo permanece un poco torpe.

Aquí es donde entra un nuevo método llamado NIRVANA. Los investigadores detrás de él querían crear una estrategia de poda que no solo adivinara qué ramas cortar, sino que realmente entendiera cómo piensa el árbol. Se dieron cuenta de que simplemente mirar qué tan "fuerte" es una rama (su peso) no es suficiente. En su lugar, utilizaron un concepto matemático llamado Kernel de Tangente Neural (NTK). Puedes pensar en el NTK como un mapa del "potencial de crecimiento" del árbol. Muestra no solo qué tan grande es una rama, sino cuánto depende de ella el aprendizaje futuro del árbol. Al usar este mapa, NIRVANA descubre exactamente qué ramas cortar para que el árbol se mantenga sano, conserve su memoria y esté listo para aprender cosas nuevas inmediatamente después del corte, sin necesidad de un largo y costoso periodo de recuperación.

La Gran Idea: Un Jardinero Inteligente para Árboles de IA

El artículo presenta NIRVANA (que significa NTK-InfoRmed adaptiVe neuron & AttentioN heAd pruning), una nueva forma de encoger grandes modelos de IA que es tanto inteligente como amigable con el hardware. Los autores argumentan que los métodos anteriores eran como un jardinero que simplemente corta las ramas más grandes sin mirar la salud general del árbol. Esto a menudo provoca que el árbol colapse o pierda su capacidad para realizar tareas complejas como matemáticas o programación.

NIRVANA cambia las reglas del juego al actuar como un botánico altamente capacitado que utiliza un "mapa de crecimiento" especial (el NTK) para decidir qué cortar. Así es como funciona, desglosado en pasos simples:

1. El "Mapa de Crecimiento" (Saliencia guiada por NTK)
En lugar de solo preguntar: "¿Es este peso grande?", NIRVANA pregunta: "Si corto esto, ¿cuánto cambiará la capacidad del árbol para aprender?". Utilizan una puntuación de saliencia de espacio de funciones de primer orden inspirada en el Kernel de Tangente Neural. En lenguaje sencillo, esto mide cuánto contribuye una parte específica del modelo a la salida del modelo y a su capacidad futura de ser ajustado (entrenado en nuevas tareas).

La Analogía: Imagina una banda tocando una canción. Algunos instrumentos son fuertes, pero si los silencias, la canción todavía suena bien. Otros instrumentos pueden ser silenciosos, pero si los silencias, toda la canción se desmorona. NIRVANA escucha la "canción" (la salida del modelo) y la "partitura" (la dinámica de entrenamiento) para encontrar los instrumentos que son verdaderamente esenciales, en lugar de solo los más ruidosos.

2. Cortar Ramas Enteras, No Solo Hojas (Poda Estructurada)
Muchos métodos antiguos intentan cortar hilos individuales (pesos) esparcidos por todo el modelo. Esto es como cortar pequeños trozos de cada hoja de un árbol. Hace que el árbol sea más ligero, pero debido a que los cortes son desordenados, el hardware de la computadora (que está construido para procesar cosas en filas ordenadas) no puede ejecutar el árbol más rápido.
NIRVANA corta "ramas" completas a la vez. En un modelo de IA, estas ramas son ya sean Cabezales de Atención (que ayudan al modelo a enfocarse en palabras importantes) o Neuronas MLP (que ayudan al modelo a almacenar hechos y lógica). Al eliminar unidades completas, el modelo se vuelve más pequeño y corre significablemente más rápido en computadoras estándar.

3. El Equilibrio Perfecto (Sparsidad Adaptativa)
Aquí hay una parte difícil: No todas las ramas son iguales. Algunas partes del modelo (como las neuronas MLP) son excelentes para almacenar hechos, mientras que otras (como los Cabezales de Atención) son excelentes para entender el contexto. Si cortas demasiados de un tipo, el modelo pierde una habilidad específica.
NIRVANA utiliza una fórmula especial para determinar la proporción perfecta. Calcula un valor llamado $\gamma$ (gamma) para decidir cuánto cortar de las partes de "almacenamiento de hechos" frente a las partes de "enfoque".

El Hallazgo: El artículo sugiere que para los modelos que probaron (como Llama3.1-8B), se debe cortar aproximadamente 3.36 veces más de las neuronas MLP que de los cabezales de atención para mantener el modelo equilibrado. Esto no es una suposición al azar; lo derivaron matemáticamente y demostraron que funciona mejor que cortar todo por igual.

4. Elegir las "Preguntas de Prueba" Correctas (Selección de Datos por Divergencia KL)
Para saber qué ramas cortar, el jardinero necesita probar el árbol. Esto requiere un pequeño conjunto de datos (datos de calibración). Los métodos anteriores a menudo simplemente tomaban texto aleatorio para probar. Los autores descubrieron que la calidad de estos datos de prueba importa más que la cantidad.
Introdujeron un método para elegir los mejores datos de prueba midiendo la divergencia KL (una forma de medir qué tan diferentes son dos cosas). Prueban diferentes lotes pequeños de texto y ven cuál causa el menor cambio en la salida del modelo cuando se poda.

El Resultado: Descubrieron que usar solo 32 ejemplos (con una longitud de 128 tokens cada uno) es suficiente. Sorprendentemente, encontraron que los "mejores" datos no siempre eran textos coherentes o con base en hechos. A veces, el texto extraño o incoherente funcionaba mejor para la poda, lo que sugiere que los patrones estadísticos en los datos importan más que la calidad percibida por los humanos.

Lo Que Encontraron (y lo que no)

Los investigadores probaron NIRVANA en varios modelos famosos, incluyendo Llama3.1-8B, Llama3.2-3B, Qwen2.5 y T5. Lo compararon con otros métodos de poda líderes como LLM-Pruner, SliceGPT y FLAP.

Las Buenas Noticias:

Mejor Rendimiento: Al mismo nivel de reducción (sparsidad), NIRVANA obtuvo consistentemente puntuaciones más altas en pruebas de matemáticas, programación y conocimiento general. Por ejemplo, en una prueba de generación de código (MBPP), mientras que otros métodos cayeron a un rendimiento cercano a cero con un 20% de sparsidad, NIRVANA mantuvo una puntuación de 23.80, superando con creces al siguiente mejor método (que obtuvo 4.40).
Recuperación más Rápida: Cuando intentaron "re-entrenar" los modelos podados usando un método ligero llamado LoRA, NIRVANA recuperó sus habilidades mucho más rápido y mejor que los otros. Esto sugiere que la poda no rompió la capacidad de aprendizaje del modelo.
Velocidad Real: Debido a que cortaron ramas completas y aseguraron que los tamaños restantes fueran múltiplos de 8 (un requisito para que los chips de computadora funcionen rápido), NIRVANA realmente hizo que el modelo corra más rápido. En un chip de computadora estándar (NVIDIA A100), redujo significativamente el tiempo que tarda en generar texto (latencia) en comparación con otros métodos que solo reducen las operaciones matemáticas pero no aceleran el hardware.

Los Límites:

La Alta Sparsidad es Difícil: Como todos los métodos de poda, si cortas demasiado (como el 50% o más), el rendimiento del modelo sí cae. El artículo admite que, en tasas de compresión muy altas, el modelo podría necesitar un re-entrenamiento más extenso para recuperarse por completo.
Un Solo Paso vs. Iterativo: NIRVANA es un método de "un solo paso", lo que significa que realiza los cortes de una sola vez. Otros métodos requieren horas de prueba y error (búsqueda iterativa) para encontrar los mejores cortes. Aunque NIRVANA es mucho más rápido (tardando menos de 2 segundos en podar), el artículo señala que los métodos iterativos podrían encontrar cortes ligeramente mejores si tienes días para esperar, pero NIRVANA ofrece el mejor equilibrio entre velocidad y calidad.

Por Qué Esto Importa

El artículo sugiere que NIRVANA ofrece un "enfoque teóricamente sólido y práctico" para hacer la IA más pequeña. Resuelve el problema de que los modelos sean demasiado grandes para las computadoras regulares al recortarlos de una manera que respeta cómo aprenden. Al usar el "mapa de crecimiento" (NTK) y equilibrar cuidadosamente los cortes, mantiene a la IA inteligente y rápida sin necesidad de un enorme almacén de computadoras para ejecutarla.

En resumen, NIRVANA es una forma más inteligente de encoger la IA. No solo recorta el modelo al azar; lo poda cuidadosamente para que la IA se mantenga sana, aprenda rápido y funcione velozmente en los dispositivos que realmente tenemos.

Resumen Técnico: NIRVANA - Reimaginando la Poda Estructurada para la Compresión de Modelos de Lenguaje Extensos

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLMs) enfrentan barreras significativas para su adopción generalizada debido a sus enormes requisitos computacionales y de memoria. Si bien las técnicas de compresión de modelos como la poda (pruning) ofrecen una solución, los métodos existentes sufren de limitaciones críticas:

Poda No Estructurada: Métodos como SparseGPT y Wanda logran una precisión casi sin pérdidas, pero no logran aceleraciones prácticas en aceleradores de hardware debido a patrones de dispersión irregulares.
Poda Semi-Estructurada: Los enfoques que imponen patrones fijos (por ejemplo, dispersión de bloque 2:4) luchan durante el ajuste fino supervisado (SFT), ya que las actualizaciones del optimizador alteran las estructuras predefinidas.
Poda Estructurada: Aunque es prometedora para la aceleración de hardware, los métodos actuales (por ejemplo, LLM-Pruner, FLAP) enfrentan tres desafíos principales:
- Recuperación Ineficiente: Dependen de un ajuste fino costoso (por ejemplo, LoRA) sin alinear explícitamente las decisiones de poda con la dinámica de ajuste fino del modelo, lo que conduce a una recuperación subóptima.
- Tratamiento Uniforme: A menudo aplican ratios de poda uniformes en todas las capas y módulos (Atención vs. MLP), ignorando sus distintos roles funcionales y causando degradación del rendimiento.
- Sensibilidad a la Calibración: Los resultados de la poda son altamente vulnerables a la selección de los datos de calibración, un factor que a menudo se pasa por alto o se gestiona de forma subóptima.

Metodología: NIRVANA

NIRVANA (NTK-InfoRmed adaptiVe neuron & AttentioN heAd pruning) es un marco de poda estructurada consciente del hardware y de un solo paso (one-shot), diseñado para preservar tanto el rendimiento zero-shot como el paisaje de optimización para el ajuste fino posterior. Consta de cuatro componentes principales:

1. Puntuación de Saliencia Guiada por NTK (Nivel de Peso)

Partiendo de las heurísticas tradicionales basadas en la pérdida, NIRVANA evalúa la importancia estructural a través de una saliencia en el espacio de función de primer orden inspirada en el Kernel de Tangente Neuronal (NTK).

Mecanismo: La puntuación de saliencia para un peso $W_{i,j}$ se define como $S(W_{i,j}) = |\frac{\partial f(x; W)}{\partial W_{i,j}} \cdot W_{i,j}|$ . Esto captura el impacto inmediato de eliminar un peso en la salida del modelo.
Conexión con NTK: El método vincula esta puntuación con la dinámica de entrenamiento mediante el análisis del NTK bajo la optimización de Adam (aproximada como SignGD). Los autores demuestran que la poda basada en esta puntuación preserva el límite de estabilidad del NTK, asegurando que el modelo podado siga una trayectoria de optimización similar durante el ajuste fino. Esto justifica teóricamente la preservación tanto de la estabilidad de la salida inmediata como de la capacidad de entrenamiento a largo plazo.

2. Agrupación Estructurada (Nivel de Neurona/Cabeza)

Para permitir la aceleración de hardware, los pesos se agregan en unidades estructuradas:

MLP: Cada unidad oculta $u$ se trata como un grupo que comprende la $u$ -ésima columna de $W_{gate}$ y $W_{up}$ , y la $u$ -ésima fila de $W_{down}$ .
Atención: Cada cabeza de atención $a$ es un grupo que comprende todos los pesos en $W_Q, W_K, W_V$ y la parte correspondiente de $W_O$ .
Poda: Las unidades se clasifican por sus puntuaciones de saliencia acumuladas. Las unidades que caen por debajo de un umbral global son podadas (anuladas), respetando la estructura de dependencia de la red.

3. Asignación de Dispersión Adaptativa (Nivel de Modelo)

NIRVANA emplea una estrategia de dispersión global en lugar de ratios locales fijos.

Clasificación Global: Todas las unidades a través de capas y módulos se clasifican conjuntamente por sus puntuaciones de saliencia.
Ratio Adaptativo ( $\gamma$ ): Reconociendo que las capas MLP y las cabezas de Atención tienen influencias estructurales diferentes, NIRVANA introduce un parámetro $\gamma$ para equilibrar la agresividad de la poda. El $\gamma$ óptimo se deriva analíticamente cuantificando la influencia estructural esperada de eliminar una cabeza de atención frente a una neurona MLP, teniendo en cuenta el recuento de parámetros y los hiperparámetros arquitectónicos (por ejemplo, en Llama3.1-8B, $\gamma \approx 3.36$ ).
Conciencia de Hardware: Un paso de redondeo asegura que todas las dimensiones restantes sean múltiplos de 8 para alinearse con las optimizaciones de los Tensor Cores de las GPU, evitando la degradación del rendimiento debido a retrocesos (fallbacks) de kernel.

4. Selección de Datos de Calibración Impulsada por Divergencia KL

Para mitigar la inestabilidad del muestreo de datos aleatorios, NIRVANA emplea un proceso de selección ligero:

Mecanismo: Se muestrean múltiples lotes candidatos de un conjunto de datos. El modelo se poda utilizando cada lote, y se computa la divergencia KL entre la salida del modelo podado y la salida del modelo original en un conjunto fijo de retención.
Selección: Se selecciona el lote que minimiza la divergencia KL como el dato de calibración $C^*$ . Esto asegura que las decisiones de poda preserven la distribución de salida del modelo original.

Principales Contribuciones

Marco NIRVANA: Un nuevo método de poda estructurada guiado por NTK que conecta explícitamente las decisiones de poda con la dinámica de entrenamiento, preservando la precisión zero-shot y la capacidad de ajuste fino.
Asignación de Dispersión Adaptativa: Una estrategia que ajusta dinámicamente los ratios de poda a través de las capas y entre los módulos MLP/Atención utilizando un ratio $\gamma$ derivado analíticamente, abordando las disparidades ignoradas por los enfoques uniformes.
Selección de Datos de Calibración: Un mecanismo impulsado por la divergencia KL que identifica subconjuntos de calibración óptimos, desacoplando la calidad de la poda del tamaño del conjunto de datos y asegurando la robustez.
Diseño Consciente del Hardware: Integración de alineación de dimensiones para garantizar aceleraciones de inferencia prácticas en las GPU modernas.

Resultados Experimentales

Se realizaron evaluaciones extensas en arquitecturas Llama3 (1-8B, 3.2-3B), Qwen2.5 (7B, 14B) y T5-base.

Rendimiento Zero-Shot: NIRVANA supera consistentemente a las líneas base de vanguardia (LLM-Pruner, SliceGPT, FLAP, Tyr-the-Pruner) en perplejidad (WikiText, PTB, Lambada) y tareas de downstream (ARC-e, WinoG, HellaS, SVAMP, MBPP). Notablemente, con un 20% de dispersión, NIRVANA alcanza un 23.80% de Pass@1 en MBPP, superando significativamente al mejor baseline (4.40%).
Recuperación de Ajuste Fino: Bajo un ajuste fino ligero de LoRA, NIRVANA logra la mayor precisión recuperada en todos los niveles de dispersión, validando su preservación del paisaje de optimización.
Eficiencia: A diferencia de las líneas base que muestran un comportamiento errático de latencia, NIRVANA demuestra una reducción constante de la latencia y una mejora del rendimiento (throughput) a medida que aumenta la dispersión, atribuido directamente a su alineación de dimensiones consciente del hardware.
Estudios de Ablación: Eliminar la puntuación guiada por NTK, el ratio adaptativo $\gamma$ o la selección de datos basada en KL conduce a una degradación significativa del rendimiento, confirmando la necesidad de cada componente.

Significancia y Reivindicaciones

El artículo afirma que NIRVANA proporciona un enfoque teóricamente sólido y práctico para la compresión de LLMs. Al alinear los criterios de poda con la dinámica de NTK, equilibra de manera única la preservación de la precisión inmediata con la adaptabilidad del ajuste fino a largo plazo. El método establece nuevos estados del arte en diversos benchmarks sin requerir reentrenamientos extensos o modificaciones a los pipelines estándar de ajuste fino. Los autores enfatizan que su enfoque aborda las brechas críticas en los métodos de poda estructurada existentes con respecto a la alineación del ajuste fino, las características específicas de los módulos y la influencia de los datos de calibración, ofreciendo una solución robusta para desplegar LLMs eficientes en hardware con recursos limitados.