🤖 machine learning

BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression

BiSCo-LLM introduce un marco de codificación esférica binaria sin búsqueda que logra una compresión de modelos de lenguaje de gran tamaño de bits extremadamente bajos al combinar el mapeo hiperesférico binarizado, la codificación residual y la destilación por categorías para eliminar los libros de códigos explícitos mientras mantiene la fidelidad de la reconstrucción.

Autores originales: Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng

Publicado 2026-07-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un cerebro robótico masivo y superinteligente (un Modelo de Lenguaje de Gran Escala o LLM) que lo sabe casi todo. Pero hay un problema: este cerebro es tan grande que no cabe en tu bolsillo, ni siquiera en tu computadora portátil. Es como intentar cargar una biblioteca en tu mochila. Para hacerlo portátil, los científicos suelen intentar encoger las "palabras" (pesos) que componen el conocimiento del cerebro, convirtiendo sus libros detallados y pesados en bocetos diminutos y toscos.

La mayoría de la gente intenta encoger estos bocetos simplemente redondeando los números, como convertir una medida precisa de 3.14159 en un simple "3". Pero cuando intentas encogerlos demasiado —hasta llegar a solo 2 bits (que es apenas un "sí" o un "no")— los bocetos se vuelven tan borrosos que el robot olvida cómo hablar.

La Gran Idea: El Mapa "Libre de Tabla de Consulta"
Los autores de este artículo, Yuantian Shao y su equipo, idearon una nueva forma de encoger estos cerebros llamada BiSCo-LLM. En lugar de usar el viejo método de "redondeo", tratan el conocimiento del cerebro como una colección de flechas que apuntan en diferentes direcciones en una esfera gigante e invisible.

Aquí está el truco de magia:

Sin hojas de trucos: Usualmente, para comprimir datos, necesitas una gran "hoja de trucos" (un libro de códigos o codebook) que diga: "Si ves este patrón, significa esta cosa específica". ¡Pero las hojas de trucos también ocupan espacio! BiSCo-LLM desecha la hoja de trucos por completo. En su lugar, solo almacena la dirección de la flecha (una cadena simple de 1s y -1s) y un decodificador diminuto y listo que sabe cómo redibujar la flecha a partir de esa dirección. Es como darle a alguien una dirección de brújula en lugar de una foto del destino.
El Corregidor de "Ups" (Codificación Residual): Los autores descubrieron que solo almacenar la dirección principal no era suficiente. A veces, la flecha apunta ligeramente desviada. Por eso, añadieron un segundo paso: una etapa "residual" que específicamente captura los pequeños errores que el primer paso pasó por alto. Piensa en esto como dibujar un boceto tosco de un rostro, y luego un segundo artista viene solo para arreglar los ojos y la sonrisa. Este proceso de dos pasos les permite empaquetar más detalle en el mismo espacio diminuto.
La Lista "VIP": Se dieron cuenta de que algunas partes del cerebro del robot son súper sensibles. Si alteras esas partes, todo el robot se vuelve loco. Así que identificaron un diminuto 1% de los canales más importantes y les dieron un "pase VIP" especial para permanecer en alta precisión (8 bits), mientras que el resto se encoge al extremo de los 2 bits. Es como mantener el motor de un coche en perfectas condiciones mientras pintas el resto de la carrocería con una sola capa de pintura en spray.

Lo que Descartaron
El artículo argumenta explícitamente en contra de simplemente hacer la "hoja de trucos" (el codebook) más grande. Probaron esta idea y descubrieron que incluso si tienes una biblioteca masiva de patrones posibles, el cerebro del robot en realidad solo usa una fracción diminuta de ellos. Por lo tanto, construir una biblioteca más grande solo desperdicia espacio sin ayudar al robot a pensar mejor. También demostraron que intentar arreglar el cerebro capa por capa (una habitación a la vez) no funciona bien; tienes que arreglar secciones enteras (categorías) a la vez y luego enseñar a todo el robot cómo trabajar en conjunto nuevamente.

Los Resultados: ¿Qué tan bien funcionó?
El equipo realizó las pruebas en un modelo llamado Qwen3-8B.

La Prueba: Le pidieron al modelo que leyera una historia y adivinara la siguiente palabra (una prueba llamada WikiText-2). El modelo original de tamaño completo obtuvo una puntuación de 9.73 (donde un número menor es mejor). El nuevo modelo comprimido obtuvo 10.18. ¡Eso es muy cercano!
La Inteligencia: También probaron el modelo en siete tareas diferentes, como responder preguntas y resolver acertijos de lógica. El modelo original promedió un 69.92%. El modelo comprimido promedió un 68.05%.
El Veredicto: Los autores sugieren que este método funciona muy bien para la compresión extrema. Encontraron que al usar este método de esfera "sin hoja de trucos", añadir el paso del "corregidor de ups" y proteger los canales VIP, pudieron encoger el modelo a un tamaño extremo de 2 bits sin perder mucha de su capacidad cerebral.

¿Qué sigue siendo desconocido?
El artículo es cuidadoso al decir que estos resultados se basan en pruebas específicas en Qwen3-8B y LLaMA-3-8B. Aunque los números se ven geniales, los autores señalan que todavía están descubriendo la mejor manera de mezclar estas técnicas para cada tipo de modelo. También mencionan que, aunque las matemáticas funcionan, ejecutar realmente el robot en un teléfono podría necesitar algo de ingeniería adicional para que el "dibujo" de las flechas ocurra con la rapidez suficiente.

En resumen, BiSCo-LLM sugiere que si dejas de intentar memorizar un diccionario gigante de formas y en su lugar simplemente recuerdas las direcciones y corriges los pequeños errores, puedes llevar un supercerebro en tu bolsillo sin que este olvide cómo hablar.

Resumen Técnico: BiSCo-LLM

Planteamiento del Problema
Los modelos de lenguaje de gran tamaño (LLMs) enfrentan restricciones de despliegue significativas debido al almacenamiento de checkpoints a escala de terabytes, las limitaciones de ancho de banda de memoria y los costos de latencia asociados con la carga de pesos durante la decodificación autorregresiva. Aunque la cuantización post-entrenamiento (PTQ) ha avanzado hacia regímenes de 4 bits y 3 bits, extender la compresión a 2 bits o menos sigue siendo un desafío. Los métodos existentes de cuantización escalar o por grupos sufren de una capacidad de representación limitada en presupuestos de bits tan bajos, fallando en preservar la estructura dominante de los vectores de peso. Por el contrario, los métodos de cuantización vectorial (VQ) ofrecen representaciones más ricas pero típicamente dependen de codebooks explícitos, búsquedas de índices y sobrecarga de almacenamiento adicional, lo que complica la contabilidad del almacenamiento y la eficiencia del despliegue. Existe la necesidad de un marco de compresión que logre una compresión de bits extremadamente bajos (apuntando a ~2 bits) sin codebooks explícitos, contabilizando explícitamente todos los componentes de almacenamiento auxiliar (decodificadores, metadatos, módulos de compensación) para proporcionar una medida realista del tamaño del modelo comprimido.

Metodología
El artículo propone BiSCo-LLM (Codificación Esférica Binaria Libre de Búsqueda para la Compresión de Modelos de Lenguaje de Gran Tamaño), un pipeline consciente del almacenamiento diseñado para la compresión de pesos de bits extremadamente bajos. El marco consta de tres componentes principales:

Codificación Esférica Binaria (BSQ) Libre de Codebook:
En lugar de mapear fragmentos de peso a centroides explícitos en un codebook, BiSCo-LLM mapea fragmentos de peso locales sobre una hiperesfera unitaria y los binariza en códigos esféricos compactos. El codificador normaliza el vector latente $z$ y aplica una función de signo para producir un código binario $q \in \{-1/\sqrt{b}, +1/\sqrt{b}\}^b$ . Esto elimina la necesidad de almacenar entradas de codebook explícitas. La reconstrucción se realiza mediante un decodificador neuronal compacto $D_\theta$ . El objetivo de entrenamiento combina la pérdida de reconstrucción, el compromiso latente y la regularización de entropía para asegurar el uso eficiente del espacio de código binario.
BSQ de Residuo de Segunda Etapa:
Para abordar la ineficiencia de simplemente ampliar el espacio de código binario de una sola etapa (donde la mayoría de los patrones de signo teóricos permanecen no ocupados por fragmentos de peso finitos), BiSCo-LLM emplea un enfoque de dos etapas. La primera etapa reconstruye el componente dominante del fragmento de peso. La segunda etapa se entrena específicamente sobre el error residual dejado por el codec base. Esto asigna capacidad de bits adicional al error de reconstrucción en lugar de expandir el espacio de código primario, proporcionando una vía práctica de tasa-distorsión sin aumentar el almacenamiento del codebook.
Destilación de Recuperación por Categorías y Protección de Sensibilidad:
- Protección de Sensibilidad: Reconociendo que un pequeño número de canales es altamente sensible a la cuantización, el método identifica estos canales utilizando estadísticas de activación y magnitudes de peso. Un pequeño subconjunto (por ejemplo, 1%) de estos canales sensibles se almacena utilizando un cuantizador de 8 bits. Esta ruta se contabiliza por separado de la carga útil principal de BSQ.
- Destilación por Categoría: Para alinear los pesos comprimidos con el comportamiento final del modelo, el pipeline reemplaza los módulos Transformer categoría por categoría (por ejemplo, todas las capas q_proj). Tras reemplazar una categoría, se realiza un paso de destilación de recuperación donde el modelo parcialmente comprimido (estudiante) es entrenado para coincidir con el modelo original (profesor). Esto asegura que el objetivo de recuperación refleje la interacción entre la categoría comprimida y el resto del modelo completo, en lugar de solo minimizar el error de reconstrucción local por capa.
- Compensación LoRA: Se pueden aplicar adaptadores de adaptación de bajo rango (LoRA) opcionales durante la fase de recuperación para mitigar aún más los errores, reportando explícitamente su costo de almacenamiento.

Contribuciones Clave

Pipeline BiSCo-LLM: Un novedoso pipeline de compresión orientado a 2 bits que integra codificación esférica binaria libre de codebook, asignación de código residual y destilación de recuperación por categoría. Optimiza y evalúa los modelos bajo un presupuesto de almacenamiento de tamaño real.
Diseño de BSQ Residual: La introducción de un codec residual de segunda etapa que asigna bits adicionales al error de reconstrucción de la etapa base. Se demuestra que este enfoque es más efectivo que simplemente aumentar la granularidad de un código de una sola etapa, ya que utiliza mejor el presupuesto de bits disponible para la información recuperable.
Optimización por Categoría: Una estrategia de entrenamiento y recuperación que opera al nivel de la categoría del módulo Transformer. Este enfoque reduce la discrepancia entre la reconstrucción de peso local y el comportamiento global del modelo, superando los objetivos de recuperación puramente por capa.
Contabilidad de Almacenamiento Integral: El marco contabiliza explícitamente todos los componentes de almacenamiento, incluyendo los flujos de BSQ empaquetados por bits, los parámetros del decodificador neuronal, las cargas útiles protegidas de 8 bits opcionales, los adaptadores LoRA y los metadatos, proporcionando una línea base de comparación justa contra métodos de VQ explícito y basados en proyección.

Resultados Experimentales
El método fue evaluado en el modelo Qwen3-8B bajo un presupuesto de almacenamiento real:

Perplejidad: En el conjunto de datos WikiText-2, BiSCo-LLM logró una perplejidad de 10.18, comparado con 9.73 del modelo de precisión completa (FP16/BF16). Esto supera a los baselines escalares (ej. GPTQ, SpinQuant) y baselines vectoriales (ej. AQLM, QuIP#, UniSVQ) reportados en el estudio.
Precisión en Tareas de Destino (Downstream Accuracy): En un conjunto de evaluación de siete tareas (incluyendo BoolQ, RTE, WinoGrande, ARC, OpenBookQA y PIQA), el modelo comprimido logró una precisión promedio de 68.05, frente al 69.92 del baseline de precisión completa. Esto representa una brecha de aproximadamente 1.87 puntos porcentuales.
Estudios de Ablación:
- Codificación Residual: Añadir un codec residual de segunda etapa mejoró consistentemente la perplejidad en todas las categorías de módulos en comparación con las configuraciones de una sola etapa.
- Canales Protegidos: El uso de una ruta de canales protegidos del 1% (almacenada en 8 bits) redujo significamente la perplejidad, particularmente para categorías sensibles como down_proj.
- Arquitectura del Decodificador: Se encontró que los decodificadores no lineales simétricos compactos eran superiores a los decodificadores lineales para esta tarea.
- Granularidad: Los diagnósticos mostraron que simplemente ampliar el espacio de código binario sin etapas residuales no garantiza ganancias de rendimiento monotónicas.

Significancia y Reivindicaciones
El artículo afirma que la codificación esférica libre de codebook es una representación viable para la compresión de LLMs de bits extremadamente bajos (2 bits) cuando se consideran conjuntamente la codificación residual, la protección consciente de la sensibilidad y la destilación de recuperación. La significancia radica en desplazar la carga de almacenamiento de los codebooks de vectores explícitos hacia decodificadores neuronales compartidos, eliminando así la sobrecarga de las búsquedas de índices y el almacenamiento de codebooks grandes. Los autores enfatizan que el método preserva el comportamiento del modelo bajo un presupuesto de bits extremadamente bajo solo cuando todo el pipeline —incluyendo el costo de los decodificadores, las etapas residuales y los módulos de compensación— se contabiliza explícitamente en el presupuesto de almacenamiento. Los resultados sugieren que este enfoque puede mantener el rendimiento del modelo dentro de un margen estrecho de los modelos de precisión completa mientras reduce drásticamente la huella de almacenamiento, haciéndolo adecuado para escenarios de despliegue con restricciones estrictas de memoria y ancho de banda.

Resumen Técnico: BiSCo-LLM

Más como este