Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Este informe presenta Bielik-Minitron-7B, un modelo de lenguaje comprimido para el polaco que, mediante poda estructurada y destilación de conocimiento, reduce un 33,4% los parámetros del modelo original Bielik-11B-v3.0 recuperando el 90% de su rendimiento y logrando una aceleración de inferencia de hasta un 50%.

Lo esencial

¡Claro que sí! Imagina que has creado un genio literario (el modelo original de 11 mil millones de parámetros) que habla polaco perfectamente, conoce toda la historia, la medicina y la poesía, pero que es tan grande que necesita una biblioteca entera llena de servidores para funcionar. Es increíble, pero muy caro y lento de usar.

El paper que acabas de leer cuenta la historia de cómo un equipo de ingenieros (de Bielik.AI y NVIDIA) tomó a ese "genio gigante" y le hizo una cirugía de precisión para convertirlo en un genio ágil (de 7.35 mil millones de parámetros) que cabe en una sola computadora potente, sin perder casi nada de su sabiduría.

Aquí tienes la explicación paso a paso, con analogías sencillas:

1. El Problema: El Elefante en la Tienda de Porcelana

Los modelos de Inteligencia Artificial grandes son como elefantes: son fuertes y saben mucho, pero ocupan mucho espacio y necesitan mucha comida (energía y memoria). Para que un modelo de 11 mil millones de "células" (parámetros) funcione, necesitas tarjetas gráficas muy caras y potentes. El equipo quería crear una versión más pequeña para que cualquiera con una buena tarjeta gráfica en casa pudiera usarla, pero sin que el modelo se volviera "tonto".

2. La Solución: La Cirugía y el Entrenamiento (El Método Minitron)

En lugar de intentar construir un genio pequeño desde cero (lo cual sería como intentar enseñar a un niño a ser un sabio en un día), decidieron recortar al sabio existente. Usaron una técnica llamada Minitron, que funciona en dos fases principales:

Fase A: La Poda Estructurada (Cortar con tijeras, no con martillo)

Imagina que tienes un árbol gigante con muchas ramas. Algunas ramas son vitales para que el árbol dé frutos, pero otras son solo hojas secas que no hacen nada.

• Lo que hicieron: En lugar de cortar ramas al azar, usaron un "escáner" para ver qué partes del cerebro del modelo se activaban menos.
• La analogía: Es como si un arquitecto revisara un edificio de 50 pisos y dijera: "Estos 10 pisos del medio no sostienen nada importante, los quitamos". También redujeron el ancho de los pasillos (las conexiones internas).
• El resultado: Pasaron de 11 mil millones de parámetros a 7.35 mil millones (un 33% más pequeño). El modelo ahora es más ligero y rápido.

Fase B: La Distilación de Conocimiento (El maestro y el alumno)

Aquí está la magia. Cuando cortas las ramas, el árbol podría perder su sabor. Para evitarlo, usaron una técnica llamada Distilación de Conocimiento.

• La analogía: Imagina al modelo original (11B) como un Maestro Sabio y al modelo recortado (7B) como su Alumno.
• El proceso: El Maestro no le dice al Alumno solo "la respuesta correcta". Le enseña cómo piensa. Le dice: "Para esta pregunta, la respuesta A es muy probable, la B es posible, pero la C es muy improbable". El Alumno aprende a imitar la "mente" del Maestro, no solo sus respuestas finales.
• El truco: Usaron un "temperatura" (como ajustar el volumen de la voz) para que el Alumno captara los matices sutiles y las dudas del Maestro, no solo lo obvio.

3. El Ajuste Fino (Afinar el instrumento)

Después de la cirugía y el entrenamiento, el modelo estaba un poco "atontado" por el cambio. Necesitaba reentrenarse para ser un buen asistente.

• SFT (Ajuste Supervisado): Le enseñaron a hablar como un humano y seguir instrucciones.
• DPO y GRPO (Aprendizaje por Preferencia): Le enseñaron a ser "educado", a no decir cosas malas y a razonar mejor en matemáticas y lógica. Es como darle al alumno un manual de etiqueta y ejercicios de lógica avanzada.

4. Los Resultados: El Halcón que vuela como un Águila

¿Funcionó? ¡Sí, y muy bien!

• Velocidad: El nuevo modelo es casi un 50% más rápido generando texto. Si el modelo original tardaba en escribir una frase, el nuevo lo hace en la mitad de tiempo.
• Inteligencia: Recuperó el 90% de la inteligencia del modelo gigante.
• Polaco: Lo más importante: como el modelo original estaba especializado en polaco, el modelo pequeño sigue entendiendo la gramática compleja, los modismos y la cultura polaca mucho mejor que otros modelos pequeños del mercado.
• Accesibilidad: Ahora, este "genio polaco" cabe en la memoria de una tarjeta gráfica de consumo (como una RTX 4090), lo que significa que investigadores y desarrolladores en Polonia (y Europa) pueden usarlo sin necesitar un superordenador de millones de dólares.

En Resumen

El equipo tomó un elefante sabio (11B), le hizo una cirugía de precisión para convertirlo en un león ágil (7B), y luego le dio clases de etiqueta y lógica para asegurar que no perdiera su sabiduría.

El resultado es un modelo que es más rápido, más barato de usar y casi tan inteligente como el original, democratizando el acceso a una Inteligencia Artificial de alta calidad para el idioma polaco. ¡Es como tener un Ferrari en tu garaje en lugar de un camión de carga!

Resumen técnico

Resumen Técnico: Bielik-Minitron-7B

Compresión de Modelos de Lenguaje Grandes (LLM) mediante Poda Estructurada y Destilación de Conocimiento para el Idioma Polaco

1. El Problema

El avance de los Modelos de Lenguaje Grandes (LLM) ha transformado el procesamiento del lenguaje natural, pero el aumento en el tamaño de los modelos conlleva un incremento significativo en los recursos computacionales necesarios para su despliegue, especialmente en términos de memoria de video (VRAM) accesible por GPU.

• Desafío Principal: Existe una necesidad crítica en el mercado de idiomas europeos (específicamente el polaco) de modelos que equilibren un alto rendimiento en razonamiento con una eficiencia de despliegue.
• Limitaciones Actuales: Entrenar modelos desde cero para idiomas menos representados es costoso en términos financieros y de huella de carbono. Además, los modelos grandes (como el Bielik-11B-v3.0) son difíciles de ejecutar en hardware de consumo (ej. GPUs de gama alta como RTX 4090/5090) debido a los requisitos de memoria.
• Objetivo: Reducir el tamaño del modelo y los costos de inferencia sin sacrificar la calidad lingüística ni las capacidades de razonamiento.

2. Metodología

El equipo desarrolló Bielik-Minitron-7B (7.35 mil millones de parámetros) a partir del modelo insignia Bielik-11B-v3.0 (11.04 mil millones de parámetros) utilizando una estrategia de compresión de dos etapas inspirada en el enfoque NVIDIA Minitron, seguida de un proceso de alineación riguroso.

Etapa I: Poda Estructurada (Pruning)

En lugar de entrenar un modelo más pequeño desde cero, se aplicó una poda estructurada híbrida para eliminar componentes redundantes del modelo padre:

• Enfoque Híbrido: Se combinó la poda de profundidad (eliminación de capas completas del transformador) y ancho (reducción de dimensiones ocultas y dimensiones intermedias de las capas FFN).
• Selección de Componentes: Se utilizó el NVIDIA Model Optimizer para realizar un análisis de sensibilidad basado en activaciones. Se calcularon puntuaciones de importancia para neuronas, cabezas de atención y canales de incrustación mediante pasadas hacia adelante (forward passes) en un conjunto de datos de calibración, sin necesidad de calcular gradientes.
• Configuración Óptima (EXP_010): Tras una búsqueda sistemática de 10 configuraciones, se seleccionó la que ofrecía el mejor equilibrio ("Golden Ratio"):
  • Reducción de capas: de 50 a 40.
  • Reducción de la dimensión intermedia FFN: de 14,336 a 11,264.
  • Mantenimiento de la dimensión oculta original ($d_{model}$ = 4096) y la topología de atención.
  • Resultado: Reducción del 33.4% en el conteo total de parámetros (de 11.04B a 7.35B).

Etapa II: Recuperación mediante Destilación de Conocimiento (Knowledge Distillation)

Para mitigar la pérdida de rendimiento causada por la poda, se empleó la destilación de conocimiento:

• Configuración: El modelo Bielik-11B-v3.0 actuó como "maestro" (frozen) y el modelo podado como "estudiante".
• Función de Pérdida: Se utilizó una divergencia KL (Kullback-Leibler) basada únicamente en los logits (salidas de probabilidad), ignorando las etiquetas de verdad fundamental (ground-truth).
  • Fórmula: $L = KL (\sigma(z_t/T) \parallel \sigma(z_s/T))$
  • Se aplicó escalado de temperatura ($T$) para suavizar las distribuciones de probabilidad, permitiendo que el estudiante aprenda las relaciones sutiles entre tokens y la calibración de confianza del maestro.
• Eficiencia: Este proceso requirió menos del 3% de los datos de pre-entrenamiento originales.

Etapa III: Pipeline de Alineación

Para convertir el modelo base destilado en un asistente listo para producción, se aplicó un pipeline de tres fases:

1. Ajuste Fino Supervisado (SFT): Entrenamiento en ~20 millones de pares de instrucciones (polaco e inglés) para alinear el formato y el estilo conversacional.
2. Optimización Directa de Preferencias (DPO-P): Uso de una variante "Positiva" para estabilizar el gradiente de la política y reducir contenido dañino o irrelevante.
3. Aprendizaje por Refuerzo (GRPO): Implementación de Group Relative Policy Optimization para mejorar el razonamiento en tareas STEM y lógicas mediante cadenas de pensamiento auto-corregibles, sin necesidad de una red crítica separada.

3. Contribuciones Clave

• Bielik-Minitron-7B: El primer modelo comprimido de alta fidelidad optimizado específicamente para el idioma polaco, logrando un tamaño de 7.35B parámetros.
• Validación del Enfoque Minitron: Demostración de que la poda estructurada híbrida combinada con destilación de logits es superior a entrenar modelos pequeños desde cero para idiomas europeos.
• Accesibilidad de Hardware: El modelo final cabe en 14GB de VRAM (precisión FP16), permitiendo su ejecución en GPUs de consumo (RTX 3090/4090/5090), democratizando el acceso a LLMs de alto rendimiento en Polonia.
• Infraestructura Colaborativa: Uso de la infraestructura DGX Cloud Lepton (H200) de NVIDIA para permitir que el maestro y el estudiante residan simultáneamente en VRAM, eliminando cuellos de botella de comunicación.

4. Resultados y Evaluación

El modelo recuperó aproximadamente el 90.1% del rendimiento del modelo base original (11B) en múltiples benchmarks, superando a modelos competidores de tamaño similar e incluso mayores.

• Open PL LLM Leaderboard: El modelo alcanzó una puntuación promedio de 62.46, superando significativamente a rivales como Qwen2.5-7B (54.93) y Mistral-7B (47.74), y rivalizando con modelos de 14B-32B.
• Comprensión del Polaco (CPTUB): Mantuvo un alto dominio de la morfología y sintaxis compleja del polaco, superando a modelos más grandes como phi-4 en tareas de comprensión lingüística.
• Razonamiento Médico (Polish Medical Leaderboard): Logró un 44.36% de precisión, superando a modelos de 12B y 22B, demostrando que el conocimiento especializado se preservó tras la poda.
• Comprensión de Lectura (Belebele): Retuvo el 94% del rendimiento del maestro en comprensión de lectura multilingüe (78.03 vs 82.98 del maestro).
• Traducción (FLORES): Logró un BLEU promedio de 15.53, superando a modelos más grandes como phi-4 en la traducción hacia el polaco.
• Rendimiento de Inferencia:
  • Aumento de Throughput: +49.6% en tokens por segundo (de 54.42 a 81.41 tok/s).
  • Latencia: Reducción del tiempo por token de salida (TPOT) en un 32.6% (de 18.28ms a 12.32ms).
• Cuantización: El modelo es altamente robusto a la cuantización. La versión de 4 bits (Q4_K_M) retiene el 99% de la capacidad original, haciéndolo ideal para despliegue local con herramientas como llama.cpp.

5. Significado e Impacto

El trabajo de Bielik-Minitron-7B establece un plan de referencia reproducible para crear modelos de lenguaje eficientes y de alta calidad para idiomas menos representados.

• Sostenibilidad: Reduce drásticamente la huella de carbono y los costos computacionales al evitar el entrenamiento desde cero.
• Democratización: Permite que desarrolladores e investigadores en Europa Central y del Este utilicen modelos de vanguardia en hardware local sin depender de infraestructura empresarial masiva.
• Eficacia Técnica: Confirma que la poda estructurada, cuando se combina con una recuperación mediante destilación y alineación avanzada (SFT/DPO/GRPO), no solo reduce el tamaño, sino que puede mejorar la eficiencia sin comprometer la fidelidad lingüística o el razonamiento lógico.

En conclusión, este proyecto demuestra que es posible comprimir modelos grandes en un 33% manteniendo el 90% de su inteligencia, abriendo la puerta a una nueva generación de LLMs accesibles y eficientes para el ecosistema de idiomas europeos.