🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH es un marco de dispersión híbrido que particiona las matrices de pesos de los LLM en baldosas con asignaciones densas o dispersas 2:4 aprendibles, permitiendo ratios de dispersión continuos entre 0% y 50% para lograr una precisión superior y aceleraciones prácticas en GPU en comparación con los métodos de poda existentes no estructurados o semiestructurados rígidos.

Autores originales: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Publicado 2026-04-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como una biblioteca masiva e hiperorganizada que contiene miles de millones de libros (parámetros). Para hacer que esta biblioteca funcione rápido en una computadora estándar, necesitas eliminar algunos libros. Sin embargo, te enfrentas a un dilema complicado:

El enfoque "desordenado" (Dispersión no estructurada): Tiras libros al azar desde cualquier lugar de los estantes. Esto mantiene el conocimiento de la biblioteca muy preciso porque puedes ser muy selectivo, pero crea un caos desordenado. Un bibliotecario (la GPU de la computadora) que intenta encontrar libros tiene que saltar por todas partes, lo que hace que el proceso sea lento e ineficiente.
El enfoque "rígido" (Dispersión 2:4): Decides seguir una regla estricta: "En cada grupo de cuatro libros, debes eliminar exactamente dos". Esto hace que el trabajo del bibliotecario sea fácil y rápido porque el patrón es predecible. Sin embargo, esta regla es demasiado rígida. A veces, los dos libros que debes eliminar son en realidad los más importantes, lo que hace que la biblioteca pierda su inteligencia y precisión.

Presentamos PATCH: El bibliotecario de "Baldosa Inteligente"

El artículo introduce un nuevo método llamado PATCH (Poda con una Configuración de Nivel de Baldosa Aprendible para Dispersión Híbrida). En lugar de elegir entre el enfoque "desordenado" y el "rígido", PATCH actúa como un bibliotecario inteligente que divide la biblioteca en baldosas (secciones pequeñas y manejables de estantes).

Así es como funciona, usando una analogía simple:

El sistema de baldosas: Imagina que la biblioteca está dividida en baldosas cuadradas, como un mosaico.
La decisión: Para cada baldosa, el sistema PATCH aprende a tomar una elección:
- Opción A (Densa): Mantén esta baldosa completamente llena de libros. Esto es para las secciones "críticas" de la biblioteca donde la precisión importa más.
- Opción B (Dispersa 2:4): Aplica la regla estricta de "eliminar dos de cada cuatro" a esta baldosa. Esto es para secciones donde la biblioteca tiene libros extra y redundantes que se pueden eliminar de forma segura para ahorrar espacio y acelerar las cosas.
El proceso de aprendizaje: El sistema no adivina. Se "entrena" a sí mismo para descubrir exactamente qué baldosas deben estar llenas y cuáles deben estar dispersas. Aprende a mantener las partes importantes densas y las partes redundantes dispersas, todo mientras sigue las reglas amigables con el hardware.

¿Por qué es esto un gran logro?

Lo mejor de ambos mundos: PATCH cierra la brecha. Mantiene la biblioteca precisa (como el enfoque desordenado) pero la organiza de una manera que las computadoras pueden leer rápidamente (como el enfoque rígido).
Velocidad flexible: Puedes decirle a PATCH: "Quiero que la biblioteca sea un 25% más pequeña" o "un 50% más pequeña". Ajusta la cantidad de "baldosas llenas" frente a "baldosas dispersas" para alcanzar ese objetivo perfectamente, en lugar de quedar atrapado en una reducción fija del 50%.
Resultados del mundo real: Los autores probaron esto en modelos que van desde pequeños hasta muy grandes (hasta 13 mil millones de parámetros).
- Velocidad: En una tarjeta gráfica de consumidor estándar (una GPU A6000), PATCH hizo que los modelos se ejecutaran de 1.18 a 1.38 veces más rápido que los modelos originales sin podar.
- Inteligencia: A diferencia de otros métodos que hacen que el modelo sea "menos inteligente" cuando lo aceleran, PATCH en realidad hizo que los modelos fueran más precisos (de 0.37% a 2.96%) en comparación con el método rígido actual de vanguardia (MaskLLM).

En resumen

Piensa en PATCH como una forma de desordenar un almacén gigante. En lugar de tirar cosas al azar (lo que ralentiza las carretillas elevadoras) o seguir una regla tonta que tira artículos importantes, PATCH designa inteligentemente zonas específicas para mantenerlas llenas y otras zonas para limpiarlas en un patrón que las carretillas elevadoras aman. El resultado es un almacén que es más rápido de navegar y que aún conserva todo el conocimiento esencial.

A continuación se presenta un resumen técnico detallado del artículo "PATCH: LEARNABLE TILE-LEVEL HYBRID SPARSITY FOR LLMS".

1. Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) ofrecen un rendimiento superior pero sufren costos prohibitivos de memoria y computación durante su despliegue. La poda de modelos es una solución principal, pero los enfoques existentes enfrentan un compromiso fundamental:

Dispersión No Estructurada: Permite elementos no nulos en cualquier lugar, preservando una alta precisión pero creando patrones de acceso a memoria irregulares que impiden una aceleración eficiente de la GPU (por ejemplo, Tensor Cores).
Dispersión Semi-Estructurada (por ejemplo, 2:4): Impone un patrón rígido (dos no nulos por cada cuatro elementos) que es compatible con el hardware y acelera la inferencia. Sin embargo, la relación de dispersión fija del 50% y la aplicación uniforme en todas las capas a menudo conducen a una degradación significativa de la precisión, especialmente al utilizar métodos de poda de un solo disparo (one-shot).

Los métodos actuales luchan por cerrar la brecha entre la flexibilidad de la poda no estructurada y la eficiencia del hardware de la poda semi-estructurada, particularmente en lo que respecta a la incapacidad de adaptar las relaciones de dispersión de forma continua o de asignar la dispersión de manera no uniforme a través de las capas.

2. Metodología: PATCH

Los autores proponen PATCH (Poda con una Configuración de Nivel de Baldosa Aprendible para Dispersión Híbrida), un marco que permite una relación de dispersión continua entre el 0% y el 50% mientras mantiene la compatibilidad con el hardware.

Mecanismo Central

PATCH divide las matrices de pesos en baldosas (tiles) (por ejemplo, $b_1 \times b_2$ ). Para cada baldosa, el modelo aprende a decidir si debe permanecer densa (0% de dispersión) o convertirse en 2:4 dispersa (50% de dispersión).

Generación de Máscara Híbrida: La máscara final es una combinación ponderada de una opción "densa" y una opción "2:4 dispersa".
Distribuciones Aprendibles:
1. Selección de Baldosas: Una distribución de logits aprendible determina la probabilidad de que una baldosa sea densa frente a dispersa. Esto se muestrea utilizando Gumbel-Softmax para permitir una optimización diferenciable.
2. Selección de Patrón: Dentro de las baldosas designadas como dispersas, una distribución aprendible separada selecciona el patrón 2:4 específico (de entre 6 permutaciones posibles).
Objetivo de Optimización: El objetivo de entrenamiento combina:
- Pérdida de modelado estándar (por ejemplo, Predicción del Siguiente Token).
- Regularización de Dispersión: Un término que penaliza las desviaciones de una relación de dispersión global objetivo ( $\rho$ ), permitiendo un control preciso sobre el rango de 0–50%.
- Regularización de Pesos: Fomenta magnitudes de pesos más grandes para ayudar a la propagación de gradientes.

Variantes

PATCHJoint: Optimiza conjuntamente tanto la selección a nivel de baldosa (densa vs. dispersa) como los patrones 2:4 de grano fino dentro de las baldosas dispersas. Se utiliza para modelos más pequeños (<1B de parámetros).
PATCHTile: Una variante eficiente en memoria donde los patrones 2:4 se congelan (inicializados desde un método de alta calidad de un solo disparo como MaskLLM), y solo se optimizan las decisiones de baldosa densa/dispersa a nivel de baldosa. Esto permite escalar a modelos más grandes (hasta 13B) en memoria de GPU limitada.

Inferencia y Despliegue

Integración con STOICC: Dado que las bibliotecas estándar de GPU (cuBLAS, cuSPARSELt) no admiten baldosas mixtas densas/dispersas, PATCH utiliza STOICC, un compilador basado en Triton. STOICC ajusta automáticamente las configuraciones del kernel (tamaños de baldosa, por ejemplo, $128 \times 128$ ) para manejar la ejecución híbrida de manera eficiente.
Compatibilidad con Hardware: Al asegurar que las baldosas dispersas se adhieran estrictamente al patrón 2:4, PATCH aprovecha los Tensor Cores de NVIDIA/AMD para la aceleración, mientras que las baldosas densas utilizan kernels densos estándar.

3. Contribuciones Clave

Marco de Dispersión Híbrida: Introduce el primer método para permitir una relación de dispersión continua (0%–50%) mezclando dinámicamente baldosas densas y 2:4 dispersas dentro de la misma matriz de pesos.
Asignación No Uniforme Aprendible: A diferencia de los métodos 2:4 fijos, PATCH aprende a asignar la dispersión de forma adaptativa. Preserva la densidad en capas sensibles (por ejemplo, bloques tempranos/tardíos de Transformer, mecanismos de Atención) y aplica dispersión a capas redundantes (por ejemplo, bloques medios, matrices de subida/puerta/bajada de MLP).
Entrenamiento Diferenciable de Extremo a Extremo: Utiliza Gumbel-Softmax para optimizar conjuntamente la selección de máscara y la poda de pesos, evitando la caída de precisión asociada con la poda de un solo disparo.
Despliegue Práctico: Demuestra la primera integración exitosa de la dispersión híbrida a nivel de baldosa con un compilador (STOICC) para lograr aceleraciones en el mundo real en GPUs de nivel de consumo.

4. Resultados Experimentales

Los autores evaluaron PATCH en modelos que van desde 0.5B hasta 13B de parámetros (Qwen-2.5, LLaMA-2/3, Gemma-3) utilizando 8 tareas posteriores de cero disparos (zero-shot) y la perplejidad de WikiText2.

Precisión:
- PATCH supera consistentemente a los métodos de poda 2:4 más avanzados (MaskLLM, SparseGPT, Wanda, ProxSparse).
- En LLaMA-2 7B, PATCH (con 25% de dispersión) alcanza una 51.58% de precisión promedio en comparación con el 48.62% de MaskLLM (50% de dispersión) y el 45.92% de ProxSparse.
- PATCH reduce significativamente la brecha con los modelos densos; con 25% de dispersión, se recupera dentro de ~2 puntos porcentuales de la precisión densa.
- Perplejidad: PATCH logra una perplejidad menor que todos los puntos de referencia. Para LLaMA-2 7B con 25% de dispersión, la PPL es 5.86 frente a 6.78 de MaskLLM.
Aceleración y Eficiencia:
- En una GPU NVIDIA A6000 (LLaMA-2 7B), PATCH logra aceleraciones de extremo a extremo de 1.18× a 1.38× sobre los puntos de referencia densos.
- La huella de memoria se reduce a 0.59×–0.76× del modelo denso.
- PATCH supera a la poda no estructurada (que no ofrece aceleración) y a la poda 2:4 rígida (que a menudo degrada la precisión demasiado para justificar la velocidad).
Estudios de Ablación:
- Global vs. por Capa: Los objetivos de dispersión global (que permiten dispersión variable por capa) superan significativamente a los objetivos uniformes por capa.
- Tamaño de Baldosa: El rendimiento es robusto a través de tamaños de baldosa, aunque $4 \times 4$ ofrece el control más fino. La eficiencia del hardware dicta el uso de baldosas de ejecución más grandes ( $128 \times 128$ ).
- Inicialización: El método es robusto a los priores de inicialización; el objetivo de dispersión global permite la realocación dinámica durante el entrenamiento.

5. Significado

PATCH representa un paso significativo hacia adelante en la inferencia eficiente de LLM al resolver el dilema de "precisión vs. aceleración".

Cerrando la Brecha: Combina con éxito los beneficios de aceleración del hardware de la dispersión semi-estructurada con la flexibilidad de la asignación no estructurada.
Practicidad: Va más allá de la poda teórica para demostrar aceleraciones reales en hardware real utilizando infraestructura de compiladores existente (STOICC).
Escalabilidad: La variante eficiente en memoria (PATCHTile) demuestra que la dispersión híbrida puede aplicarse a modelos grandes (13B+) sin requerir presupuestos de computación masivos para entrenar las máscaras.
Dirección Futura: El marco es agnóstico al patrón y teóricamente puede extenderse a otros patrones N:M (por ejemplo, 4:8) a medida que el nuevo hardware los soporte, convirtiéndolo en una solución versátil para la compresión futura de LLM.

En resumen, PATCH proporciona una estrategia de poda flexible, aprendible y eficiente en hardware que permite a los profesionales ajustar el compromiso entre la calidad del modelo y la velocidad de inferencia con una granularidad sin precedentes.