Resumen Técnico: Más allá de la compresión unidimensional

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) enfrentan desafíos significativos de despliegue debido a los altos costos de inferencia. Si bien se han desarrollado técnicas de compresión de modelos como la poda de parámetros estática y la computación dinámica a nivel de token para reducir los requisitos de memoria y cómputo, estas comparten una limitación común: la existencia de un límite de escasez esencial (essential sparsity boundary). Más allá de un umbral crítico de escasez, una mayor escasez agresiva desencadena una rápida degradación del rendimiento.

La investigación actual suele estudiar estos mecanismos de compresión de forma aislada. La poda de parámetros estática elimina la redundancia estructural antes de la inferencia, mientras que el salto de tokens dinámico adapta la computación por cada entrada durante la inferencia. La pregunta central que aborda este trabajo es si la combinación de estos dos mecanismos distintos puede retrasar la aparición de la degradación del rendimiento mediante la distribución de la carga de compresión a través de múltiples dimensiones, en lugar de agotar la redundancia de una sola dimensión.

Metodología

Los autores proponen un marco de escasez compuesta minimalista diseñado para controlar independientemente la escasez de parámetros y la escasez de computación a nivel de token. El flujo de trabajo consta de dos etapas secuenciales:

1. Compresión del Espacio de Parámetros Estáticos:

   • El marco aplica poda estructurada al backbone preentrenado del LLM.
   • Utiliza LoRAP (Aproximación de Bajo Rango para la Poda) para los módulos de atención y poda de canales para los módulos MLP.
   • Esto reduce el costo estructural del modelo, convirtiendo el operador de capa completa $F(\cdot)$ en un operador de backbone disperso $F_p(\cdot)$.

2. Compresión de Computación Dinámica a Nivel de Token:

   • Construido sobre el backbone podado, se introduce un mecanismo de enrutamiento ligero y adaptativo a la inferencia.
   • Siguiendo a SkipGPT, un enrutador post-entrenado genera indicadores binarios para cada token.
   • Los tokens se dividen en un subconjunto Activo (que experimenta la computación completa del forward) y un subconjunto Inactivo (omitido y pasado directamente a la siguiente capa).

Definición de Escasez Compuesta:
Los autores definen la escasez compuesta global ($S_{comp}$) basándose en la reducción de la computación efectiva de inferencia:
$$S_{comp} = 1 - (1 - s_p)(1 - s_t)$$
Donde $s_p$ es la tasa de escasez de parámetros y $s_t$ es la tasa de escasez computacional de tokens. Esta formulación permite una asignación flexible de un presupuesto total de escasez fijo entre las dos dimensiones (por ejemplo, una asignación equilibrada donde $s_p \approx s_t$).

Resultados Clave

Los experimentos se realizaron utilizando Llama3.1-8B con datos de entrenamiento de Redpajama, evaluados en tareas de comprensión de lenguaje (BoolQ, PIQA, HellaSwag, etc.) y modelado de lenguaje (WikiText-2 PPL).

1. Degradación Retrasada:

   • La escasez compuesta supera consistentemente a la compresión de mecanismo único bajo la misma escasez total.
   • En tareas de comprensión, el umbral de colapso de la "escasez esencial" (donde el rendimiento cae bruscamente) se retrasa de aproximadamente un 20% (mecanismo único) a un 30% (compuesta).
   • En el modelado de lenguaje, la escasez compuesta mantiene un rendimiento significativamente mayor. Al 30% de escasez total, la escasez compuesta mantiene aproximadamente un 70% del rendimiento relativo, comparado con un ~60% para el salto de tokens y un ~56% para la poda de parámetros por sí sola.

2. Sensibilidad a la Tarea:

   • Las tareas de modelado de lenguaje son más sensibles a la escasez que las tareas de comprensión de opción múltiple. Las tareas de modelado exhiben una escasez esencial temprana (0–10%) seguida de una degradación aproximadamente lineal, mientras que las tareas de comprensión muestran un "acantilado" de rendimiento más distintivo.

3. Interferencia entre Dimensiones:

   • El estudio revela que la poda de parámetros y el salto de tokens no son enteramente independientes. Un backbone levemente podado (por ejemplo, 10% de escasez de parámetros) se vuelve más sensible al salto de tokens.
   • Esta interferencia sugiere un límite inherente y unificado para la escasez compuesta; aunque la degradación se retrasa, no se elimina.

4. Asignación Óptima:

   • Bajo un presupuesto de escasez total fijo (por ejemplo, 50%), una asignación casi equilibrada de la esces de parámetros y de tokens produce el mejor rendimiento.
   • El rendimiento sigue una curva convexa: mejora con una escasez de parámetros leve, pero se degrada drásticamente cuando una dimensión está sobre-comprimida.

Contribuciones Clave

1. Cambio de Perspectiva: El trabajo investiga la escasez esencial desde una perspectiva de compresión compuesta, desafiando la visión de que los límites de escasez son propiedades de mecanismos individuales.
2. Marco Controlable: Introduce un marco desacoplado utilizando LoRAP, poda de canales y salto de capas dinámico por token, permitiendo la manipulación independiente de la escasez de parámetros y de tokens para analizar compensaciones.
3. Validación Empírica: El estudio demuestra que la escasez compuesta mejora la relación entre compresión y rendimiento y retrasa la degradación del rendimiento. Sin embargo, también identifica un límite de escasez transdimensional más amplio que finalmente limita la mayor compresión, apoyando el principio de "Dos Dimensiones, Un Muro".

Significado y Reivindicaciones

El artículo afirma que la compresión compuesta proporciona una forma práctica de mejorar la compresión de los LLM al distribuir la presión a través de dimensiones ortogonales (parámetros y tokens). Este enfoque permite que los modelos alcancen una mayor escasez total antes de alcanzar el acantilado de rendimiento en comparación con los enfoques de mecanismo único.

Sin embargo, los autores mantienen una postura modesta respecto a los límites últimos de la compresión. Afirman que, si bien compartir la carga de compresión pospone la degradación del rendimiento, no puede eludir el límite de escasez inherente. Un muro de escasez transdimensional universal sigue siendo la restricción definitiva. Los hallazgos ofrecen referencias principios para la programación de presupuestos transdimensionales, sugiriendo que la asignación equilibrada es la estrategia más efectiva para maximizar la capacidad del modelo bajo restricciones estrictas de recursos.

Nota: El código de este trabajo está disponible en https://github.com/EIT-NLP/LLM-Pruning.