Bielik-Q2-Sharp: A Comparative Study of Extreme 2-bit Quantization Methods for a Polish 11B Language Model

Este estudio presenta Bielik-Q2-Sharp, la primera evaluación académica sistemática de la cuantización extrema a 2 bits aplicada al modelo de lenguaje polaco Bielik-11B, donde se comparan seis métodos avanzados y se descubre que, aunque QuIP# mantiene un rendimiento casi idéntico al de la línea base IQ2_XXS en benchmarks generales, destaca por preservar mejor el razonamiento de alto nivel, mientras que otros métodos como QTIP ofrecen una mayor eficiencia por bit y se documenta un fenómeno de disociación en la generación autoregresiva.

Lo esencial

¡Hola! Imagina que tienes un libro de cocina gigante (un modelo de inteligencia artificial) que pesa 22 kilogramos (22 GB). Es un libro increíble, escrito en polaco, que puede responder preguntas, contar historias y entender emociones. Pero hay un problema: ninguna cocina normal (tu ordenador o móvil) tiene una mesa tan grande para ponerlo. Solo cabe en cocinas industriales gigantes (servidores carísimos).

El objetivo de este estudio fue: ¿Podemos comprimir ese libro gigante hasta que pese solo 3 kilogramos (3 GB), para que quepa en cualquier cocina, sin que deje de saber cocinar?

Aquí te explico cómo lo hicieron y qué descubrieron, usando analogías sencillas:

1. El Reto: El "Polaco" es complicado

El idioma polaco es como un juego de legos muy complejo. Una sola palabra puede tener 7 formas diferentes dependiendo de si es el sujeto, el objeto, o si hablas de uno o de muchos (casos gramaticales).

• El problema: Si comprimes el libro demasiado fuerte (como si aplastaras las páginas), podrías mezclar las piezas de lego y el modelo ya no sabría distinguir entre "casa" y "de la casa".
• La solución: El investigador (un solo tipo, trabajando desde su casa con computadoras alquiladas en la nube) probó 6 métodos diferentes para "doblado" del libro.

2. Los 6 Métodos de "Doblado" (Cuantización)

Imagina que tienes que guardar ese libro gigante en una maleta pequeña. Probamos 6 formas de doblarlo:

• Método A (QuIP#): Como doblar la ropa con una técnica de origami muy precisa.
  • Resultado: ¡Funciona genial! El libro cabe en la maleta y sigue cocinando casi tan bien como el original. Es el equilibrio perfecto.
• Método B y C (SpinQuant y Butterfly): Como intentar doblar el libro usando un imán o un tornillo.
  • Resultado: Desastre. El libro cabe, pero cuando intentas abrirlo para leer una receta, las páginas salen en bucle infinito o en un idioma que no tiene sentido.
  • Lección importante: A veces, un método parece funcionar bien en una prueba de "memoria" (preguntas de opción múltiple), pero cuando el modelo tiene que "hablar" o "escribir" (generar texto), se rompe. ¡No confíes solo en las pruebas de memoria!
• Método D (QTIP): Como usar una máquina de comprimir ropa de vacío.
  • Resultado: ¡El más eficiente! Ocupa el mismo espacio que el Método A, pero guarda un poco más de información. Es el ganador en relación "tamaño/calidad".
• Método E (VPTQ): Como meter el libro en una caja muy grande pero con mucho aire.
  • Resultado: Funciona muy bien, pero la caja es más grande de lo prometido (gasta más "espacio" del que debería).
• Método F (AQLM): Como usar una caja inteligente que ajusta su tamaño según el tipo de libro.
  • Resultado: Muy sólido y estable. No se rompió durante el proceso.

3. Los Descubrimientos Sorprendentes

• El "Efecto Desconexión": Descubrieron algo curioso. Algunos métodos (como el B y el C) parecían entender las preguntas de opción múltiple (como un examen de test), pero cuando les pedías que escribieran una historia, hablaban como robots rotos.
  • Analogía: Es como un actor que sabe de memoria el guion de una obra (pasa el examen), pero cuando sale al escenario y tiene que improvisar, olvida quién es y empieza a hablar en chino.
• El Límite de la Compresión: Probablemente, no importa qué técnica uses, hay un techo de cristal. Una vez que comprimes el libro al máximo (2 bits), todos los métodos buenos llegan a un nivel de calidad muy similar (alrededor del 79% de aciertos). No se puede hacer milagros mágicos; hay un límite físico de cuánta información cabe.
• Calidad vs. Tamaño: El método ganador (QTIP) logró que el modelo polaco, que antes pesaba 22 GB, ahora pesara 3.26 GB.
  • ¿Qué significa esto? Que ahora puedes tener un cerebro polaco muy inteligente en tu propia computadora portátil o incluso en un móvil potente, sin necesitar un servidor de la NASA.

4. El Presupuesto de "Héroe"

Lo más impresionante es que todo esto lo hizo una sola persona con un presupuesto de 285 dólares (unos 260 euros).

• Alquiló computadoras potentes en la nube por horas (como alquilar un coche por un día) en lugar de comprarlas.
• Demostró que no necesitas ser una gran empresa tecnológica para hacer ciencia de vanguardia.

En Resumen

Este estudio nos dice que sí, podemos hacer que los modelos de inteligencia artificial gigantes sean pequeños y ligeros, incluso para idiomas difíciles como el polaco.

• Lo bueno: Ahora tenemos modelos que caben en tu ordenador y entienden el polaco casi tan bien como el original.
• La advertencia: No todos los métodos de compresión son iguales. Algunos engañan en las pruebas de memoria pero fallan al hablar. Hay que probarlos "hablando" para ver si realmente funcionan.
• El futuro: Ya no necesitamos servidores gigantes para tener inteligencia artificial avanzada; podemos llevarla en la maleta.

¡Es como si hubiéramos logrado meter un elefante en un coche compacto sin que el elefante deje de ser un elefante! 🐘🚗

Resumen técnico

Resumen Técnico: Bielik-Q2-Sharp

1. El Problema

La implementación de Grandes Modelos de Lenguaje (LLM) en dispositivos con recursos limitados se ve frenada por los altos requisitos de memoria y computación. Un modelo de 11 mil millones de parámetros en precisión FP16 requiere aproximadamente 22 GB de memoria, superando la capacidad de la mayoría de las GPUs de consumo. Aunque la cuantización post-entrenamiento (PTQ) ha avanzado hacia regímenes de bajo bit (≤2 bits), la mayoría de las investigaciones se centran en modelos en inglés.

Este trabajo aborda la brecha en la compresión extrema para modelos en polaco, un idioma con una morfología rica (7 casos gramaticales, 3 géneros, conjugaciones complejas) que exige preservar distinciones finas entre formas de palabras similares (ej. dom/domu/domowi). La pregunta central es: ¿Pueden los métodos de cuantización de 2 bits más avanzados (SOTA) mantener la coherencia gramatical y el razonamiento en un modelo polaco sin reentrenamiento?

2. Metodología

El estudio se centra en el modelo Bielik-11B-v2.3-Instruct (arquitectura basada en Mistral, 50 capas, 4096 dimensiones ocultas). Se evaluaron seis variantes de cuantización de 2 bits utilizando un conjunto de datos de calibración específico en polaco (CulturaX-PL, 512 secuencias de 4096 tokens) y matrices Hessianas compartidas para aislar el efecto del método de cuantización.

Las seis variantes comparadas representan paradigmas distintos:

1. QuIP# (Variante A): Usa transformadas de Hadamard aleatorias y un código de libro de la red E8P12 (empaquetamiento de esferas en 8 dimensiones).
2. SpinQuant + GPTQ (Variante B): Emplea rotaciones aprendidas (optimizadas en la variedad de Stiefel) seguidas de cuantización GPTQ.
3. ButterflyQuant (Variante C): Utiliza transformadas de mariposa adaptativas por capa combinadas con el código E8P12.
4. QTIP (Variante D): Extiende QuIP# utilizando cuantización codificada por trellis (TCQ) en 256 dimensiones, sin sobrecarga de almacenamiento.
5. VPTQ (Variante E): Cuantización vectorial con optimización de segundo orden y cuantización residual.
6. AQLM (Variante F): Cuantización aditiva con múltiples libros de códigos y búsqueda en haz, permitiendo asignación adaptativa de bits por módulo.

Infraestructura: Todo el proyecto se ejecutó en GPUs en la nube (vast.ai) con un presupuesto de 285 USD, demostrando la viabilidad de la investigación académica de bajo costo.

3. Contribuciones Clave

1. Primera evaluación académica de 2 bits para un modelo polaco: Se aplica por primera vez un estudio sistemático de métodos SOTA a un modelo de lenguaje eslavico.
2. Calibración específica del idioma: Se demuestra que generar matrices Hessianas en un corpus polaco es práctico y necesario para preservar la morfología compleja.
3. Descubrimiento de la "Disociación MC-Generación": Se documenta un fallo crítico donde métodos basados en rotación (SpinQuant, ButterflyQuant) mantienen puntuaciones altas en tareas de opción múltiple (MC) pero fallan catastróficamente en la generación de texto autoregresivo debido a transformaciones de tiempo de ejecución no implementadas.
4. Comparación exhaustiva: Se evalúan seis paradigmas (libros de códigos, trellis, residual, aditivo, rotaciones) proporcionando orientación práctica.
5. Reproducibilidad de bajo presupuesto: El proyecto completo, incluyendo la generación de Hessianos y la evaluación, se realizó por un investigador independiente con recursos limitados.

4. Resultados Principales

• Rendimiento General (QuIP# vs. Baseline):

  • La variante QuIP# E8P12 logró un promedio de 71.92% en 22 tareas polacas, estadísticamente indistinguible del baseline comunitario IQ2_XXS (72.07%).
  • En el benchmark de inteligencia emocional (eq_bench), QuIP# superó al baseline (47.14% vs 43.53%), sugiriendo una mejor preservación del razonamiento de alto nivel.
  • El tamaño del modelo fue de 3.26 GB (compresión 6.7x), permitiendo su ejecución en GPUs de consumo de 4 GB.

• Eficiencia por Bit (QTIP):

  • QTIP demostró la mejor eficiencia por bit, logrando un 79.4% de precisión en tareas MC con solo 3.27 GB (equivalente a ~2.4 bits por peso), superando a VPTQ que requiere un 50% más de bits para un rendimiento similar.

• Fallo de Métodos Basados en Rotación:

  • Las variantes B (SpinQuant) y C (ButterflyQuant) fallaron en la generación de texto coherente (produciendo bucles o texto ininteligible) a pesar de tener puntuaciones MC razonables. Esto se debió a la falta de transformaciones inversas en tiempo de ejecución (R3/R4) en los motores de inferencia estándar.

• Comparación de Métodos Exitosos (MC):

  • Cuatro métodos (QuIP#, QTIP, VPTQ, AQLM) convergieron en un rango estrecho de precisión (78.1% - 79.4%), sugiriendo un techo de calidad independiente del método para la compresión extrema en este modelo.
  • AQLM mostró una asignación de bits adaptativa (más bits en capas de atención, menos en FFN) y fue el método más estable.
  • VPTQ obtuvo la puntuación MC más alta (79.64%) pero a un costo de tamaño mayor (~5.0 GB, ~3.58 bpw).

• Análisis de Tareas Específicas:

  • QuIP# sobresalió en razonamiento y comprensión pragmática.
  • IQ2_XXS (baseline) fue superior en tareas de clasificación y detección de patrones superficiales.
  • La tarea de Reconocimiento de Entidades Nombradas (klej_ner) fue la más sensible a la cuantización, mostrando la mayor variación entre métodos.

5. Significado e Implicaciones

• Viabilidad de Despliegue: Se demuestra que un modelo polaco de 11B puede comprimirse a ~3.3 GB sin pérdida significativa de calidad, haciéndolo accesible para aplicaciones de IA en el borde (edge AI) y GPUs de consumo.
• Importancia de la Calibración Local: La morfología polaca requiere calibración específica; usar matrices Hessianas de inglés podría degradar el rendimiento en formas gramaticales críticas.
• Advertencia sobre Evaluación: El estudio advierte que las métricas de opción múltiple (MC) son insuficientes para evaluar modelos cuantizados con transformaciones de rotación; la evaluación de generación autoregresiva es obligatoria.
• Límites de Compresión: Existe un límite teórico de calidad (~79% en MC) para este modelo a 2 bits, independientemente del algoritmo utilizado, lo que sugiere que mejoras futuras requerirán ajustes específicos de tareas o aumentos en el bitrate efectivo.

En conclusión, Bielik-Q2-Sharp establece un nuevo estándar para la compresión de modelos de lenguaje en idiomas eslavos, validando que la cuantización de 2 bits es viable para despliegues prácticos si se selecciona el método adecuado (como QuIP# o QTIP) y se evitan las trampas de evaluación de generación.