🤖 machine learning

LegoLM: Structured Weight Sharing for Large Language Models

LegoLM es un marco de trabajo de uso compartido de pesos estructurado que supera los fallos de desajuste de distribución y dominancia de valores atípicos del uso compartido de pesos global mediante adaptaciones libres de datos como la codificación de bloque escalar, el reemplazo selectivo por percentiles y la protección de la capa límite, logrando una compresión casi sin pérdida para modelos de lenguaje de gran tamaño mientras supera significativamente a los métodos PTQ-8bit existentes.

Autores originales: Joseph Bingham

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Joseph Bingham

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando meter una biblioteca de conocimiento masiva e intrincada en una mochila diminuta. Este es el lucha diaria de los "Modelos de Lenguaje de Gran Tamaño" (LLM, por sus siglas en inglés), los cerebros informáticos superinteligentes que escriben historias, resuelven problemas matemáticos y charlan con nosotros. Estos cerebros están construidos a partir de miles de millones de números diminutos llamados "pesos", que actúan como las sinapsis en un cerebro humano, conectando ideas entre sí. Para que estos modelos funcionen en portátiles o teléfonos normales, los científicos necesitan encogerlos sin perder su inteligencia. Una idea popular para encogerlos es el "intercambio de pesos" (weight sharing). Piensa en esto como un grupo de amigos que todos acuerdan usar exactamente la misma camiseta de un catálogo en lugar de comprar cada uno la suya propia. En lugar de almacenar un número único para cada conexión en el cerebro, simplemente guardas una pequeña lista de "camisetas estándar" (centroides) y una nota que dice: "Oye, esta conexión usa la Camiseta #5". Es una forma ingeniosa de ahorrar espacio, pero hasta ahora, aplicarlo a estos gigantescos cerebros de IA ha sido un desastre.

El problema es que los cerebros de IA son desordenados. A diferencia de un filtro de imagen simple donde cada parte es igual, las diferentes capas de un cerebro de IA tienen pesos que son de tamaños muy distintos. Intentar forzarlos a todos a usar las mismas "camisetas estándar" es como intentar meter a un elefante gigante y a un ratón diminuto en el mismo par de zapatos; el elefante queda aplastado y el ratón flota a la deriva. Este artículo presenta un nuevo método llamado LegoLM que arregla esta idea rota. En lugar de forzar un enfoque de talla única, LegoLM actúa como un sastre inteligente. Se da cuenta de que la mayor parte del tiempo, las camisetas estándar funcionan bien, pero de vez en cuando, hay pesos "atípicos" (outliers)—números gigantes y extraños que son tan diferentes que arruinarían todo el atuendo si se les obligara a usar una camiseta estándar. El ingrediente secreto de LegoLM es dejar esos pocos pesos extraños exactamente como están, sin tocarlos, mientras comprime todo lo demás. El resultado es un modelo que se reduce a una fracción de su tamaño original pero mantiene casi toda su inteligencia, funcionando mejor que otros métodos que requieren datos costosos para arreglarse.

Las dos formas en que el intercambio de pesos falla

El autor de este artículo, Joseph Bingham, descubrió que el intercambio de pesos global falla por dos razones específicas y distintas. Las llaman "modos de fallo", y entenderlas es clave para ver por qué funciona LegoLM.

Modo de fallo 1: El desajuste de escala (El problema del "tamaño de zapato incorrecto")
Imagina que tienes una colección de pesos de diferentes capas de la IA. Algunas capas son "ruidosas" (sus números son grandes) y otras son "silenciosas" (sus números son pequeños). Si intentas agruparlas todas y encontrar una única "camiseta" promedio para un bloque entero de ellas, te encuentras con un problema matemático. El artículo demuestra que si intentas comprimir un bloque de pesos que tienen tamaños diferentes, el error crece linealmente con el tamaño del bloque. Es como intentar promediar la zancada de un maratonista con el paso de un niño pequeño; no importa cuántos zapatos diferentes añadas a tu catálogo, no puedes hacer que un zapato sirva perfectamente para ambos si fuerzas a que sean del mismo tamaño. El artículo muestra que este desajuste crea una confusión tan severa que la capacidad del modelo para predecir texto (medida como "perplejidad") explota a los millones, haciendo que la IA hable disparates.

Modo de fallo 2: Dominancia de valores atípicos (El problema del "Gigante")
Este es el fallo más dramático. Incluso si usas números individuales (bloques escalares) en lugar de bloques, hay unos pocos pesos en la IA que son simplemente enormes en comparación con el resto. Estos son los "valores atípicos" (outliers). Si tienes un libro de códigos con, digamos, 8 camisetas estándar, la camiseta más grande del catálogo podría ser talla XL. Pero, ¿qué pasa si hay un peso que es talla 10XL? Si fuerzas a ese peso 10XL a usar la camiseta XL, la distorsión es catastrófica. El artículo muestra que a medida que los modelos se hacen más grandes (de 124 millones de parámetros a 7.2 mil millones), estos valores atípicos se vuelven aún más peligrosos. En un modelo más pequeño, reemplazar estos valores atípicos podría confundir un poco a la IA. Pero en un modelo gigante como Mistral-7B, reemplazar esos pocos pesos gigantes hace que el modelo colapse por completo, con una caída de calidad de más del 1,134,279%. Es como si eliminar una sola clave de bóveda de una catedral masiva hiciera que toda la estructura se desmoronara en polvo.

La solución de LegoLM: Sastrería Inteligente

LegoLM arregla estos problemas con tres trucos sencillos que no requieren datos. No necesita observar ningún dato de entrenamiento ni reentrenar el modelo; simplemente reorganiza los pesos.

Codificación Escalar: En lugar de agrupar los pesos en bloques (lo que causa el desajuste de escala), LegoLM trata cada peso individualmente. Esto elimina el problema del "tamaño de zapato incorrecto" porque cada peso es libre de elegir la camiseta estándar más cercana sin ser arrastrado por sus vecinos.
Reemplazo Selectivo por Percentiles: Este es el truco de magia. El algoritmo observa todos los pesos y encuentra aquellos que están más alejados de cualquier camiseta estándar. Estos son los "valores atípicos". En lugar de forzarlos a usar una camiseta, LegoLM dice: "Eres demasiado especial; quédate exactamente como estás". Preserva el 1% superior de estos pesos extraños en su forma original de alta precisión. El resto del 99% se comprime en el pequeño libro de códigos.
Protección de Capas de Frontera: Las primeras y las últimas capas de la IA son extra sensibles. LegoLM les da un cuidado adicional, aunque el artículo señala que esto es menos crítico para los modelos más grandes que la protección de valores atípicos.

Los Resultados: Tamaño Pequeño, Grandes Cerebros

El autor probó LegoLM en dos modelos: GPT-2 Small (124 millones de parámetros) y Mistral-7B (7.2 mil millones de parámetros). Los resultados fueron sorprendentes e impresionantes.

En Mistral-7B: Usando un libro de códigos de 128 valores estándar y preservando solo el 1% de los pesos atípicos, LegoLM comprimió el modelo 4.41 veces. ¿El resultado? La calidad del modelo cayó solo un 0.03%. Esto es esencialmente una compresión "sin pérdida". De hecho, funcionó mejor que un método popular llamado PTQ-8bit, que solo lo comprimió 4 veces y tuvo un error ligeramente mayor.
El Rescate de los Valores Atípicos: El hallazgo más dramático fue sobre los valores atípicos. Cuando intentaron comprimir Mistral-7B reemplazando todos los pesos (incluso los gigantes) con valores estándar, la calidad del modelo se desplomó un 1,134,279%. Pero al salvar ese pequeño 1% de valores atípicos, rescataron el modelo, reduciendo el error a un manejable 14.24% incluso con una compresión masiva de 9.74x.
La Escala Importa: El artículo encontró que el "problema de los valores atípicos" empeora a medida que los modelos se hacen más grandes. En el pequeño GPT-2, reemplazar los valores atípicos causó una caída del 23%. En el gigante Mistral-7B, causó una caída del 1,134,279%. Esto sugiere que los modelos más grandes dependen aún más de estos pocos números extraños para funcionar.

Por qué esto es importante

LegoLM es especial porque no requiere datos. La mayoría de los otros métodos de compresión necesitan alimentar al modelo con miles de frases de ejemplo para determinar cómo encogerlo. LegoLM simplemente mira los pesos mismos y hace las matemáticas. Puede comprimir un modelo de 7 mil millones de parámetros en menos de 30 minutos en una sola tarjeta gráfica.

El artículo concluye que la clave para hacer que el intercambio de pesos funcione no es solo tener un mejor catálogo de camisetas, sino saber cuándo no usar el catálogo. Al identificar y proteger los pocos pesos "gigantes" que mantienen unido al modelo, LegoLM nos permite encoger estos masivos cerebros de IA en mochilas sin que pierdan la cabeza. Convierte un método que anteriormente estaba roto para los modelos grandes en una herramienta competitiva y eficiente para el futuro de la IA.

Resumen Técnico: LegoLM – Compartición de Pesos Estructurada para Modelos de Lenguaje de Gran Escala

Declaración del Problema

Los modelos de lenguaje de gran escala (LLMs) requieren una compresión agresiva para su despliegue práctico, ya que incluso los modelos de precisión de 16 bits exceden la memoria de las GPU de consumo. Mientras que los métodos de compresión post-entrenamiento como la cuantización, la poda (pruning) y la factorización de bajo rango están establecidos, la compartición de pesos —donde múltiples pesos comparten un único valor de centroide aprendido de un libro de códigos (codebook) global— ha fallado históricamente al aplicarse a los LLMs. Trabajos previos aplicaron con éxito la compartición de pesos a redes convolucionales, pero su aplicación a los transformadores carecía de un estudio sistemático.

Este artículo identifica que la compartición de pesos global falla en los LLMs debido a dos modos de fallo distintos y teóricamente fundamentados:

Desajuste Distribucional: Cuando los pesos se agrupan en bloques vectoriales ( $d \ge 2$ ) y se agrupan globalmente, el libro de códigos debe servir a capas con escalas de peso heterogéneas (que varían hasta por 3 $\times$ ). Un centroide entrenado en una distribución agrupada impone una penalización por desajuste de escala que crece linealmente con la dimensión del bloque $d$ , resultando en una perplejidad de millones independientemente del tamaño del libro de códigos.
Dominancia de Outliers (Valores Atípicos): En bloques escalares ( $d=1$ ), aunque se elimina el desajuste de escala, las distribuciones de peso de los LLM contienen escalares de magnitud extrema (outliers). Para tamaños de libro de códigos pequeños ( $K$ ), una fracción de los pesos ( $\approx 1/K$ ) se encuentra más allá del umbral de decisión de Lloyd-Max más externo. Reemplazar estos outliers con el centroide más cercano causa una pérdida de calidad catastrófica que se acumula a través de las capas. Crucialmente, este efecto escala de forma superlineal con el tamaño del modelo; el reemplazo total degrada un modelo de 124M de parámetros en un ~23%, pero un modelo de 7.2B en más de 1,000,000%.

Metodología: El Marco de Trabajo LegoLM

LegoLM es un marco de compresión estructurado y libre de datos (data-free) diseñado para resolver ambos modos de fallo simultáneamente sin acceso a datos de calibración o gradientes. Emplea tres adaptaciones clave:

Codificación de Bloque Escalar ( $d=1$ ): Para eliminar el componente de desajuste lineal- $d$ , los pesos se tratan como bloques escalares en lugar de bloques vectoriales. Esto permite que cada peso sea asignado independientemente a su centroide más cercano sin comprometerse con una escala multidimensional fija, reduciendo sustancialmente el error de reconstrucción entre capas.
Reemplazo Selectivo por Percentiles: Para abordar la dominancia de los outliers, el método identifica los pesos con el mayor error de cuantización (distancia al centroide más cercano) y los preserva íntegros (almacenándolos como fp16 en lugar de reemplazarlos con un índice de centroide). Esto actúa como un proxy sin datos para la detección de outliers basada en magnitud. El umbral se determina mediante un percentil $p$ (por ejemplo, preservando el 1% de los errores más altos).
Protección de Capas de Frontera: Se identifican las primeras y últimas capas del transformador como desproporcionadamente sensibles. Para modelos más pequeños, estas capas se omiten de la compresión para evitar la acumulación de errores, aunque se observa que este mecanismo es menos crítico para modelos más grandes en comparación con el reemplazo selectivo.

Cálculo de la Tasa de Compresión:
La tasa de compresión (CR) tiene en cuenta el almacenamiento del libro de códigos global, el flujo de índices (comprimido mediante codificación Huffman para reducir la sobrecarga) y los pesos de outliers preservados. La fórmula es:
$CR = \frac{(N_c + N_s) \cdot 32}{n_r \cdot \lceil \log_2 K \rceil + n_k \cdot 32 + K \cdot 32 + N_s \cdot 32}$
Donde $N_c$ y $N_s$ son los pesos en las capas elegibles y omitidas, respectivamente, $n_r$ son los pesos reemplazados y $n_k$ son los pesos de outliers mantenidos exactamente.

Contribuciones Clave

Modos de Fallo Formales: El artículo proporciona caracterizaciones teóricas (Proposición 1 y Teorema 3) y validación empírica para dos modos de fallo de la compartición de pesos en LLMs: el desajuste distribucional entre capas (bloques vectoriales) y la dominancia de outliers (bloques escalares).
El Marco de Trabajo LegoLM: Un nuevo método de compresión libre de datos que combina la codificación escalar, la preservación selectiva de outliers y la protección de fronteras. Incluye fórmulas exactas para las tasas de compresión que consideran el reemplazo selectivo.
Mecanismo de Rescate Invariante de Escala: El descubrimiento de que la dominancia de los outliers crece de forma superlineal con la escala del modelo. Mientras que el reemplazo total falla catastróficamente en modelos de 7B, preservar solo el 1% de los pesos de los outliers rescata al modelo hacia una calidad casi sin pérdidas. Este mecanismo de rescate es consistente a través de un rango de parámetros de 60 $\times$ (124M a 7.2B).
Ablación de Mecanismos: Un estudio de ablación controlado que demuestra que el reemplazo selectivo es el mecanismo dominante para la compresión libre de datos. Añadir el reemplazo selectivo a K-means por capa logra una calidad casi sin pérdidas (+0.05% PPL), igualando el enfoque global de LegoLM dentro de un 0.02 de punto porcentual. La estructura de libro de códigos global ofrece eficiencia práctica (almacenar 128 centroides frente a 4,096) pero diferencias de calidad insignificantes cuando se aplica el reemplazo selectivo.

Resultados Experimentales

El marco fue evaluado en GPT-2 Small (124M), GPT-2 Medium (354M) y Mistral-7B (7.2B) utilizando el conjunto de prueba WikiText-2 y tareas downstream (LAMBADA, HellaSwag).

Rendimiento de Mistral-7B:
- Casi Sin Pérdidas: Con $K=128, p=99\%$ , LegoLM logra una compresión de 4.41 $\times$ con solo un +0.03% de degradación de perplejidad (PPL). Esto supera a PTQ-8bit (4.00 $\times$ , +0.04% PPL) tanto en calidad como en tasa de compresión.
- Alta Compresión: Con $K=8, p=99\%$ , logra una compresión de 9.74 $\times$ con un +14.24% de degradación de PPL, superando a PTQ-4bit (8.00 $\times$ , +17.85% PPL).
- Precisión en Tareas Derivadas (Downstream): Con $K=64, p=99\%$ (5.12 $\times$ compresión), el modelo preserva la precisión en tareas derivadas dentro del ruido de medición, igualando la precisión de PTQ-8bit mientras ofrece 1.28 $\times$ más compresión.
Comparación con Baselines:
- PTQ-8bit/4bit: LegoLM iguala o supera su calidad con tasas de compresión comparables o superiores sin requerir datos de calibración o computación de Hessiano.
- Compresión Profunda (K-means por capa): Sin el reemplazo selectivo, K-means por capa falla catastróficamente en Mistral-7B (ej., +930,306% PPL). Con el reemplazo selectivo ( $p=99\%$ ), se recupera a una calidad casi sin pérdidas (+0.05%), confirmando la centralidad de la preservación de outliers.
- Poda y Factorización: La poda de magnitud no estructurada y la factorización basada en SVD fallan catastróficamente en Mistral-7B en niveles de alta compresión.
Sensibilidad de Escala:
- El reemplazo total ( $p=100\%$ ) con $K=128$ degrada GPT-2 Small en +23%, GPT-2 Medium en +79%, pero a Mistral-7B lo degrada en +1,134,279%.
- El reemplazo selectivo ( $p=99\%$ ) mantiene una calidad casi idéntica en todas las escalas (+0.03% a +0.18% de degradación de PPL).
Transición de Fase: Ocurre una transición brusca en la robustez entre $K=4$ (fallo catastrófico) y $K=8$ (funcional). En $K=8$ , preservar el 1% de los outliers es suficiente para rescatar al modelo, mientras que $K=4$ sigue roto incluso con una preservación del 5%.

Significado y Reivindicaciones

El artículo afirma que LegoLM establece un nuevo paradigma para la compresión de LLMs libre de datos al abordar sistemáticamente las razones teóricas por las cuales la compartición de pesos global falló anteriormente. Su principal significación radica en:

Eficiencia Libre de Datos: Logra resultados competitivos o superiores a los métodos calibrados (como GPTQ) sin requerir ningún dato de calibración, gradientes o computaciones de Hessiano, lo que lo hace aplicable en entornos donde los datos son propietarios o no están disponibles.
Perspectiva Teórica: Identifica la dominancia de los outliers como una ley de escala donde la acumulación de error crece de forma superlineal con el tamaño del modelo, necesitando estrategias de preservación específicas para modelos grandes.
Viabilidad Práctica: Demuestra que una combinación simple de codificación escalar y preservación selectiva de outliers puede comprimir modelos de 7B parámetros a aproximadamente ~4.5 $\times$ , con una pérdida de calidad insignificante, e incluso hasta ~10 $\times$ con utilidad funcional, todo en menos de 30 minutos en una sola GPU.

El autor posiciona la "ley de escala de dominancia de outliers" y el mecanismo de "reemplazo selectivo" como contribuciones independientes que pueden beneficiar a otras técnicas de compresión (cuantización, poda) que actualmente tratan todos los pesos de manera uniforme.