🤖 aprendizaje automático

SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs

SLOPE es un nuevo método de preentrenamiento para modelos de lenguaje extensos que combina pesos dispersos N:M de doble poda con una estrategia de adaptador de bajo rango "perezosa" aplicada solo en el último 1% de las iteraciones de entrenamiento, logrando aceleraciones significativas (hasta 1.54×) y reducciones de memoria (hasta 0.63×) tanto durante el entrenamiento como durante la inferencia, mientras mantiene una precisión del modelo comparable a la de los modelos densos.

Autores originales: Mohammad Mozaffari, Amir Yazdanbakhsh, Zhao Zhang, Maryam Mehri Dehnavi

Publicado 2025-01-25✓ Author reviewed ⓘ

📖 5 min de lectura🧠 Análisis profundo

Autores originales: Mohammad Mozaffari, Amir Yazdanbakhsh, Zhao Zhang, Maryam Mehri Dehnavi

✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El mundo moderno de la inteligencia artificial está definido cada vez más por los grandes modelos de lenguaje, vastos cerebros digitales entrenados en enormes bibliotecas de texto para comprender y generar el lenguaje humano. Estos sistemas son potentes, pero conllevan un alto precio: requieren cantidades inmensas de potencia informática para su entrenamiento y vastas cantidades de memoria para su ejecución. Para hacer que estos modelos sean más rápidos y económicos de usar, los investigadores han intentado durante mucho tiempo simplificarlos eliminando partes de su estructura interna que parecen menos importantes, un proceso conocido como poda. Imagine una biblioteca masiva donde decide eliminar cada libro que no se lee con frecuencia; el edificio se vuelve más pequeño y fácil de navegar, pero si elimina demasiados libros o los incorrectos, la biblioteca pierde su capacidad para responder preguntas. En el reino digital, esta simplificación a menudo conduce a una pérdida de precisión, donde el modelo se vuelve menos confiable. Además, aunque eliminar datos ahorra espacio, la computadora aún tiene que realizar el complejo trabajo de verificar qué partes conservar y cuáles descartar durante cada paso de su aprendizaje, lo que a menudo anula los beneficios de velocidad.

Un equipo de investigadores ha desarrollado un nuevo enfoque llamado SLOPE para resolver este persistente compromiso entre velocidad, memoria y precisión. Su método permite que estos masivos modelos de lenguaje sean entrenados y utilizados con significativamente menos recursos sin sacrificar su capacidad para comprender el lenguaje. El núcleo de su innovación reside en cómo gestionan el proceso de aprendizaje del modelo. En lugar de intentar mantener el modelo simple desde el principio, permiten que aprenda utilizando una estructura estándar y simplificada durante casi todo el periodo de entrenamiento. Luego, en la fracción final y diminuta del tiempo de entrenamiento, introducen una pequeña y flexible adición que ayuda al modelo a recuperar cualquier precisión perdida. Esta adición no es un componente pesado y de tamaño completo, sino una capa ligera y eficiente que actúa como una herramienta de ajuste fino, permitiendo que el modelo recupere su agudeza sin necesidad de almacenar o procesar una cantidad masiva de datos adicionales.

Los investigadores también abordaron un cuello de botella específico que ha ralentizado los intentos previos de simplificar estos modelos. En las operaciones informáticas estándar, el modelo debe observar sus datos internos en dos direcciones diferentes: una para predecir la siguiente palabra y otra para corregir sus errores. Los métodos de simplificación anteriores funcionaban bien para la primera dirección, pero obligaban a la computadora a realizar un trabajo extra y lento al observar los datos en la segunda dirección. El nuevo método cambia el orden de las operaciones para que la simplificación funcione de manera eficiente en ambas direcciones simultáneamente. Esto permite que la computadora procese los datos mucho más rápido, utilizando hardware especializado diseñado para manejar estos patrones específicos de ceros y no ceros. Al reorganizar cómo se podan los datos antes de que sean procesados en la fase de corrección, los investigadores aseguraron que el modelo pudiera aprender con la misma efectividad mientras se desplazaba a través de los datos a una velocidad mucho mayor.

Al ser probado en modelos que van desde cientos de millones hasta decenas de miles de millones de parámetros, los resultados fueron sustanciales. El nuevo método aceleró el proceso de entrenamiento hasta 1.25 veces y logró que el modelo final se ejecutara hasta 1.54 veces más rápido durante su uso. Quizás incluso más importante, redujo la cantidad de memoria informática requerida para ejecutar estos modelos en más de la mitad en algunos casos. Los investigadores descubrieron que, al añadir su capa ligera y flexible solo al final del entrenamiento, el modelo podía alcanzar niveles de precisión muy cercanos a los de las versiones mucho más grandes y no simplificadas. Este enfoque evita el error común en el que los modelos simplificados requieren una fase final y costosa de reentrenamiento con datos de tamaño completo para volver a ser útiles. En su lugar, el modelo permanece eficiente durante todo su ciclo de vida, desde el momento en que comienza a aprender hasta el momento en que responde a la pregunta de un usuario.

El estudio demuestra que es posible tener tanto eficiencia como alto rendimiento en la inteligencia artificial, siempre que la simplificación se aplique con una estrategia específica. Los investigadores demostraron que el momento en que se añade la capacidad extra importa enormemente; introducir una pequeña cantidad de flexibilidad al final del proceso de aprendizaje produce mejores resultados que intentar mantener esa flexibilidad durante todo el trayecto. Este hallazgo desafía la suposición de que un modelo debe ser o bien totalmente complejo o bien totalmente simple, sugiriendo en cambio que un enfoque híbrido, donde el modelo es mayormente simple pero recibe un impulso dirigido en la línea de meta, ofrece lo mejor de ambos mundos. El trabajo proporciona un camino claro hacia adelante para hacer que la inteligencia artificial avanzada sea más accesible, más rápida y menos exigente para el hardware que la potencia.

Resumen Técnico: SLOPE – Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) requieren recursos computacionales, memoria y ancho de banda de comunicación sustanciales para el preentrenamiento y la inferencia. Si bien la escasez (sparsity) del modelo (podar las partes menos importantes) ofrece una vía para reducir estos costos, los enfoques existentes enfrentan compromisos significativos:

Escasez No Estructurada (Unstructured Sparsity): Elimina elementos de ubicaciones arbitrarias pero carece de soporte de hardware/software para la aceleración.
Escasez Estructurada (N:M): Impone restricciones (por ejemplo, como máximo $N$ ceros de entre $M$ elementos consecutivos) para aprovechar el hardware como los núcleos tensoriales dispersos de NVIDIA. Sin embargo, la elección limitada de patrones de escasez a menudo conduce a una degradación de la precisión en comparación con los modelos densos.
Métodos Adaptativos: El ajuste dinámico de la máscara mejora la precisión pero incurre en altos costos (almacenar pesos densos, buscar máscaras) y desperdicia computación en pesos que eventualmente serán podados.
Enfoques Híbridos Esparso-Denso: Métodos como el Preentrenamiento Esparso-Denso (FST) compensan la pérdida de precisión cambiando a un ajuste fino (fine-tuning) denso. Sin embargo, esto anula los beneficios de memoria y cómputo de la escasez durante la fase de inferencia, ya que el modelo final sigue siendo denso.

El desafío central es lograr un modelo esparso que sea tanto preciso como eficiente tanto en el entrenamiento como en la inferencia, sin la sobrecarga de la búsqueda de máscaras dinámicas o el costo de memoria de una etapa densa final.

2. Metodología

Los autores proponen SLOPE (Double-Pruned Sparse Plus Lazy Low-rank Adapter Pretraining), un método diseñado para mejorar la precisión de los modelos preentrenados con escasez mientras se acelera el entrenamiento y la inferencia. La metodología consta de tres componentes primarios:

A. Paso Atrás de Doble Poda (Double-Pruned Backward Pass)

La escasez N:M estándar acelera el paso hacia adelante (forward pass) pero falla en el paso hacia atrás (backward pass) porque la matriz de pesos es transpuesta, destruyendo la estructura N:M por filas requerida para la aceleración de hardware.

Enfoque: En lugar de forzar que la matriz de pesos transpuesta sea N:M esparsa (lo que limita los patrones y reduce la precisión), SLOPE primero transpone la matriz de pesos N:M ya esparcida y luego impone una segunda ronda de escasez N:M.
Mecanismo:
- Paso hacia Adelante (Forward Pass): Utiliza una matriz de pesos podada por filas ( $W^R_i$ ).
- Paso hacia Atrás (Backward Pass): Utiliza una matriz de pesos de doble poda ( $W^{R,C}_i$ ), donde tanto las dimensiones de fila como de columna están podadas.
Garantía Teórica: Los autores demuestran que esta materialización "con pérdida" (lossy) de pesos podados (donde el paso hacia atrás utiliza una máscara de escasez diferente al paso hacia adelante) aún satisface las propiedades de convergencia. El Teorema 2.2 demuestra que la alteración dinámica de la máscara por columnas no impacta detrimentalmente la convergencia del optimizador, siempre que la máscara se fije después de la inicialización.

B. Adaptadores de Bajo Rango Perezosos (Lazy Low-Rank Adapters)

Para mitigar la pérdida de precisión inherente a la poda agresiva, SLOPE introduce adaptadores de bajo rango ( $L$ y $R$ ) a la descomposición de pesos: $W_{dense} = W_{sparse} + LR$ .

Temporalidad: A diferencia de LoRA estándar, que se utiliza a menudo durante todo el entrenamiento, SLOPE introduce estos adaptadores solo durante el último 1% de las iteraciones de preentrenamiento.
Justificación: Los resultados empíricos muestran que los adaptadores de bajo rango convergen significativamente más rápido que los pesos esparsos debido a su menor conteo de parámetros. Añadirlos tardíamente en el entrenamiento permite al modelo recuperar capacidad y precisión sin incurrir en el costo computacional de mantenerlos durante toda la duración del preentrenamiento.
Inferencia: Los adaptadores se retienen durante la inferencia, permitiendo que el modelo mantenga capacidades similares a las de un modelo denso sin almacenar una matriz de pesos densa completa.

C. Kernels CUDA Optimizados

Para realizar las aceleraciones teóricas, los autores desarrollaron kernels de CUDA altamente optimizados:

Tiling (Mosaico): Realizan el tiling de tensores de upsampling para asegurar que encajen en los puntos óptimos de rendimiento del backend cuSPARSELt, evitando la degradación de la velocidad para dimensiones ocultas grandes.
Operaciones Fusionadas: Combinan la multiplicación de matrices esparsas (SpMM) con los cálculos de los adaptadores de bajo rango en kernels únicos. Esto reduce la sobrecarga de lanzamiento de kernels y mejora la intensidad aritmética al concatenar tensores de downsampling con pesos esparsos y utilizar operaciones de multiplicación-suma fusionadas.

3. Contribuciones Clave

Paso Atrás de Doble Poda: Una formulación novedosa que transpone una matriz esparsa N:M antes de aplicar una segunda máscara de escasez N:M. Esto permite pasos hacia atrás esparsos acelerados sin las penalizaciones de precisión asociadas con la búsqueda de máscaras transponibles.
Adaptadores de Bajo Rango Perezosos: Una estrategia para inyectar adaptadores de bajo rango solo en el último 1% del entrenamiento. Esto mejora la capacidad del modelo y la velocidad de convergencia con una sobrecarga mínima, evitando la necesidad de una etapa de ajuste fino denso.
Optimización del Sistema: Optimización conjunta de los kernels esparsos 2:4 de NVIDIA y las llamadas de bajo rango mediante tiling y programación (scheduling) eficientes, resultando en aceleraciones significativas de extremo a extremo.

4. Resultados Experimentales

Los autores evaluaron SLOPE en varios LLMs (OPT, LLaMA-3, Mistral) y modelos más pequeños (GPT-2, BERT).

Aceleración (Speedup):
- Preentrenamiento: Logró hasta 1.25× de aceleración (ej., OPT-33B).
- Inferencia: Logró hasta 1.54× de aceleración (ej., OPT-66B).
- SLOPE superó consistentemente al método de vanguardia FST, que mostró una aceleración de inferencia insignificante debido a su requerimiento de una etapa final densa.
Huella de Memoria (Memory Footprint):
- Entrenamiento: Redujo el uso de memoria hasta en 0.63× (aprox. 68% de reducción) almacenando solo pesos no nulos, índices y estados de optimizador reducidos.
- Inferencia: Redujo el uso de memoria hasta en 0.61× (aprox. 54% de reducción).
Precisión:
- En el preentrenamiento de GPT-2 (Small/Large), SLOPE logró una menor perplejidad y una mayor precisión zero-shot en comparación con Wanda y Extended SR-STE.
- En BERT-Large, SLOPE con adaptadores de bajo rango recuperó un rendimiento cercano a los modelos densos en tareas de SQuAD y GLUE, mientras que los métodos esparsos estáticos mostraron brechas mayores.
- Los experimentos indicaron que los primeros 12 bloques de un modelo son más sensibles a la escasez que los bloques posteriores, sugiriendo que se puede aplicar una escasez agresiva a las capas finales.

5. Significado y Reivindicaciones

El artículo afirma que SLOPE cierra con éxito la brecha entre la eficiencia de los modelos esparsos y la precisión de los modelos densos. Al combinar un paso hacia atrás de doble poda teóricamente fundamentado con una estrategia de adaptador de bajo rango "perezosa", SLOPE elimina la necesidad de una etapa de ajuste fino denso que típicamente anula los beneficios del preentrenamiento esparso.

Los autores enfatizan que su método proporciona una solución práctica para entrenar y desplegar LLMs a gran escala con miles de millones de parámetros, ofreciendo reducciones sustanciales tanto en el tiempo de entrenamiento como en la huella de memoria, manteniendo una calidad de modelo competitiva. El trabajo demuestra que es posible lograr un entrenamiento e inferencia esparsa acelerada simultáneamente sin sacrificar las capacidades de rendimiento final del modelo.