🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

Este artículo introduce FiPS (Compartición de Parámetros de Alta Granularidad), un marco unificado que comprime los MLP de los transformadores mediante la optimización conjunta de la compartición de parámetros entre bloques, la factorización de bajo rango y la dispersión, logrando una reducción significativa del tamaño del modelo con una pérdida mínima de precisión tanto en Transformadores Visuales como en Modelos de Lenguaje Grandes.

Autores originales: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Publicado 2026-05-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva de libros (un modelo de IA grande) que es increíblemente inteligente pero ocupa tanto espacio que no cabe en una estantería normal (un teléfono o una computadora pequeña). Quieres reducir el tamaño de la biblioteca sin perder las historias que contiene.

Durante mucho tiempo, los científicos intentaron comprimir estas bibliotecas simplemente recortando páginas (poda) o escribiendo los libros en una fuente más pequeña (cuantización). Pero este artículo introduce una nueva y astuta estrategia llamada FiPS (Compartición de Parámetros de Alta Granularidad).

Así es como funciona FiPS, explicado mediante analogías sencillas:

1. El Problema: Demasiadas Habitaciones Idénticas

Piensa en un modelo Transformer (como los que impulsan la IA moderna) como un hotel gigante con muchos pisos idénticos. En cada piso hay una "cocina" (llamada capa MLP) donde ocurre la cocción.

La Vieja Forma: Por lo general, cada piso tiene su propio conjunto único de 100 chefs, cada uno con sus propias recetas únicas. Aunque los pisos se ven iguales, los chefs no se hablan entre sí. Esto desperdicia mucho espacio.
La Idea de FiPS: FiPS dice: "¿Por qué necesita cada piso 100 chefs únicos? Contratemos a un Chef Maestro Compartido (una base compartida) que conozca las recetas fundamentales, y luego tengamos unos pocos Ayudantes Locales (matrices de proyección dispersas) en cada piso que ajusten ligeramente esas recetas para ese piso específico".

2. El Secreto: El "Chef Maestro Compartido" y los "Ayudantes Dispersos"

FiPS hace tres cosas a la vez para reducir el tamaño del modelo:

El Chef Maestro Compartido (Factorización de Bajo Rango): En lugar de 100 chefs únicos por piso, FiPS crea un "Chef Maestro" que conoce las técnicas fundamentales. Este chef se comparte entre un grupo de pisos.
Los Ayudantes Dispersos (Dispersidad): Los Ayudantes Locales en cada piso no necesitan saber todas las recetas que conoce el Chef Maestro. Solo necesitan saber unas pocas específicas para preparar el plato de ese piso. FiPS obliga a estos ayudantes a ser "dispersos", lo que significa que solo mantienen las conexiones esenciales e ignoran el resto. Es como darle a un ayudante un menú con solo 3 artículos en lugar de 100.
El Trabajo en Equipo (Compartición entre Bloques): FiPS agrupa estos pisos juntos. Examina al Chef Maestro y a los Ayudantes de todo un grupo de pisos y determina la mejor manera de compartir la carga de trabajo para que todo el hotel funcione eficientemente.

3. Cómo lo Construyeron (El Proceso de Construcción)

Los investigadores no solo adivinaron; utilizaron una herramienta matemática llamada SVD (Descomposición en Valores Singulares) para encontrar al "Chef Maestro" automáticamente.

Imagina tomar todas las recetas de un grupo de pisos, mezclarlas y encontrar los ingredientes más comunes y esenciales.
Luego asignaron estos ingredientes al Chef Maestro.
Finalmente, entrenaron a los Ayudantes Locales para que usaran solo los ingredientes específicos que necesitaban, descartando el resto (poda).

4. Los Resultados: Más Pequeño, Más Rápido y Aún Inteligente

El artículo probó esto en dos tipos de IA:

Transformers de Visión (ViTs): Son IAs que miran imágenes.
- Resultado: Redujeron el modelo hasta un 33% (y hasta un 57% con un poco de ajuste adicional) sin que la IA olvidara cómo reconocer objetos. Es como reducir una maleta en un tercio pero aún así quepa toda tu ropa.
Modelos de Lenguaje Grandes (LLMs): Son IAs que escriben y hablan.
- Resultado: Redujeron estos modelos en un 20% y los hicieron más inteligentes que otros métodos de reducción.
- El "Truco Mágico": Cuando combinaron FiPS con una técnica llamada "Cuantización" (escribir números en un código muy compacto), lograron una compresión de 8x (haciendo el modelo 8 veces más pequeño) mientras mantenían las habilidades lingüísticas de la IA mucho mejores que si solo hubieran usado compresión.

5. Por Qué Esto Importa

El artículo afirma que FiPS es una forma práctica, de "enchufar y usar", para hacer que los grandes modelos de IA sean lo suficientemente pequeños para ejecutarse en dispositivos como teléfonos o portátiles sin perder su inteligencia. Demuestra que, al compartir el "poder cerebral" (parámetros) entre diferentes partes de la IA y ser muy selectivos sobre qué información se conserva (dispersidad), podemos construir IA eficiente que no necesita una supercomputadora para funcionar.

En resumen: FiPS es como darse cuenta de que, en lugar de que cada habitación de una casa necesite su propio juego completo de herramientas, puedes tener una caja de herramientas compartida en el pasillo y solo unas pocas herramientas específicas en cada habitación. La casa funciona igual de bien, pero ocupa mucho menos espacio.

Resumen Técnico: Compartición de Parámetros de Alta Frecuencia mediante Descomposición de Tensores Dispersos (FiPS)

Enunciado del Problema

Las grandes redes neuronales, particularmente los Transformadores, logran un rendimiento de vanguardia pero enfrentan barreras significativas para su despliegue en dispositivos con recursos limitados debido a su enorme tamaño. Aunque existen diversas técnicas de compresión (por ejemplo, cuantización, destilación, descomposición de tensores), la compartición de parámetros entre capas sigue siendo relativamente inexplorada para los modelos Transformadores. Los métodos existentes a menudo comparten bloques enteros (por ejemplo, ALBERT), lo que restringe la capacidad representacional, o dependen de coeficientes densos para la compartición, lo que limita la eficiencia de compresión. Existe la necesidad de un método que reduzca significativamente la cantidad de parámetros manteniendo una alta flexibilidad representacional y una pérdida mínima de precisión.

Metodología: Compartición de Parámetros de Alta Frecuencia (FiPS)

FiPS es un marco unificado diseñado para comprimir las Redes Perceptrón Multicapa (MLP) de los Transformadores combinando la compartición de parámetros entre bloques, la factorización de bajo rango y la dispersión en un único proceso de optimización.

Mecanismo Central

El método opera sobre la observación de que las MLP de los Transformadores consisten en bloques repetidos y homogéneos con capas totalmente conectadas (FC) de forma idéntica. En lugar de aprender pesos independientes para cada capa, FiPS:

Concatena las matrices de pesos ( $W_1, \dots, W_N$ ) de un grupo de $N$ bloques de transformadores a lo largo de su dimensión de salida (el "eje largo").
Factoriza este tensor concatenado en una base compartida $U \in \mathbb{R}^{d \times r}$ y matrices de proyección dispersas específicas de la capa $V_i \in \mathbb{R}^{r \times p}$ .
Reconstruye los pesos originales como $W'_i = U V_i$ .

Componentes Técnicos Clave

Inicialización: La base compartida $U$ y las matrices de proyección $V_i$ se inicializan mediante Descomposición en Valores Singulares Truncada (SVD) de los pesos concatenados. Si el rango objetivo $r$ excede la dimensión del modelo $d$ (debido a presupuestos de parámetros altos), se utiliza una "inicialización híbrida": las nuevas dimensiones en $U$ se establecen en cero, y las dimensiones correspondientes en $V$ se derivan de los vectores singulares principales escalados por un factor de amortiguación $\tau$ para permitir un aprendizaje gradual.
Inducción de Dispersión: Una idea clave del artículo es que imponer dispersión en las matrices de proyección $V$ es esencial. A diferencia de los métodos que utilizan coeficientes densos, FiPS poda los valores de baja magnitud en $V$ . Se encontró que el nivel óptimo de dispersión es aproximadamente 75%, particularmente cuando se aplica a la matriz de factor más grande.
Estrategia de Optimización:
1. Inicialización Compartida: Descomposición SVD de los pesos concatenados.
2. Minimización del Error Local: Utilizando un pequeño conjunto de datos de calibración, $U$ y $V_i$ se optimizan para minimizar el error de reconstrucción $\ell_2$ entre las activaciones originales y comprimidas. La dispersión se impone mediante Poda Gradual por Magnitud (GMP).
3. Minimización del Error Global (Opcional): Una etapa de ajuste fino de extremo a extremo utilizando entrenamiento disperso dinámico (RigL) para recuperar el rendimiento en ratios de compresión más altos.
Estrategia de Agrupamiento: El artículo identifica que las capas adyacentes comparten la mayor redundancia. El rendimiento óptimo se logra agrupando bloques consecutivos (por ejemplo, grupos de 4 para DeiT-B) y utilizando una estrategia de agrupamiento "afilada" para los LLM (grupos más pequeños en los extremos de la red, más grandes en el medio).

Contribuciones Clave

Análisis Sistemático de la Compartición entre Bloques: Los autores exploraron sistemáticamente la granularidad de la compartición, los esquemas de concatenación y los patrones de dispersión, identificando que la concatenación en el eje largo y la dispersión en los factores de proyección producen el menor error de reconstrucción.
El Algoritmo FiPS: Un algoritmo novedoso que se inicializa mediante SVD y optimiza conjuntamente una base compartida y proyecciones dispersas específicas de la capa. Combina de manera única la factorización de bajo rango con dispersión en los factores de proyección en lugar de en la base.
Resultados de Compresión de Vanguardia:
- Transformadores de Visión (ViTs): Comprime DeiT-B y Swin-L hasta un 33% con menos de 1% de pérdida de precisión top-1 en ImageNet-1k. Con ajuste fino, la compresión alcanza el 57%.
- Modelos de Lenguaje Grande (LLM): Comprime Llama-7B y Llama-3.1-8B hasta un 20%, superando a las líneas base existentes basadas en SVD (ASVD, SVD-LLM, SVD-LLM V2) en perplejidad y en pruebas de referencia posteriores.
- Sinergia con Cuantización: Cuando se combina con Entrenamiento Consciente de la Cuantización (QAT), FiPS de 3 bits en Gemma-2-2B logra la misma compresión 8× que el QAT de 2 bits solo, pero con una perplejidad significativamente menor (35.43 vs. 41.86).
Eficiencia de Hardware: El método soporta dispersión estructurada (por ejemplo, patrones 2:4), permitiendo aceleraciones medibles en la inferencia (1.31× en NVIDIA A4000) y reducciones de memoria (0.79× de VRAM pico) sin degradación significativa de la precisión.

Resultados

Rendimiento de ViT: En ImageNet-1k, FiPS supera consistentemente a las líneas base como la Mimicry de Características Atómicas Adaptativas (AAFM) y la Mimicry de Características Globales (GFM) en varios presupuestos de parámetros (del 10% al 75%). Por ejemplo, con un presupuesto de parámetros del 40%, FiPS alcanza una precisión del 81.69% en DeiT-B, superando a GFM (81.28%) a pesar del mayor costo computacional de GFM.
Rendimiento de LLM: En los conjuntos de datos WikiText-2 y C4, FiPS logra la perplejidad más baja entre los métodos basados en factorización con una compresión del 20%. También demuestra capacidades superiores de aprendizaje por transferencia en CIFAR-100, Flowers102 y otras pruebas de referencia de visión en comparación con GFM.
Estudios de Ablación: El artículo confirma que:
- La dispersión en la matriz de proyección $V$ es crítica; las líneas base densas colapsan con presupuestos de parámetros bajos.
- La inicialización SVD supera a la inicialización aleatoria.
- La poda global (asignando parámetros de forma adaptativa entre capas) produce mejores resultados que la poda local.
- Un nivel de dispersión del 75% es óptimo para las matrices de proyección.

Significado y Afirmaciones

El artículo establece la compartición de parámetros de alta frecuencia como un enfoque práctico y efectivo para la compresión de MLP de Transformadores. Los autores afirman que FiPS es ortogonal a otras técnicas de compresión como el Entrenamiento Consciente de la Cuantización (QAT) y LoRA, lo que significa que puede combinarse con ellas para obtener mayores ganancias.

El significado radica en demostrar que compartir parámetros entre capas no requiere sacrificar la capacidad representacional si se hace con una base compartida y proyecciones dispersas y aprendibles. Este enfoque ofrece una alternativa competitiva a las estrategias existentes, logrando una compresión sustancial (hasta un 57% en ViTs y un 20% en LLMs) con una pérdida mínima de rendimiento, facilitando así el despliegue de modelos grandes en dispositivos con recursos limitados. El método es particularmente notable por no depender de la destilación ni de señales de supervisión auxiliares, confiando en cambio en la minimización del error de reconstrucción bloque a bloque.