Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

Este informe presenta la serie de modelos Bielik v3 (7B y 11B), que optimiza el modelado del idioma polaco mediante la sustitución del tokenizador universal por uno especializado, junto con una inicialización de embeddings basada en FOCUS, un currículo de preentrenamiento multifase y técnicas de alineación post-entrenamiento avanzadas.

Lo esencial

¡Hola! Imagina que has construido un genio digital (un modelo de inteligencia artificial) muy inteligente, capaz de hablar muchos idiomas. Sin embargo, hay un pequeño problema: cuando este genio intenta hablar polaco, se le hace un poco "pesado" caminar.

Aquí te explico qué hicieron los autores de este artículo para arreglarlo, usando una analogía sencilla:

1. El Problema: El "Diccionario Universal" vs. El "Diccionario Especializado"

Imagina que el modelo original (llamado Bielik) usaba un diccionario universal diseñado para hablar con todo el mundo (inglés, chino, español, etc.).

• El problema: Cuando el modelo intentaba escribir una palabra polaca compleja, el diccionario universal la rompía en muchas piezas pequeñas (como si intentaras describir una "manzana" diciendo "fruta", "roja", "redonda", "dulce" en lugar de usar la palabra "manzana").
• La consecuencia: Para decir una sola frase en polaco, el modelo necesitaba usar el doble de "piezas" (tokens). Esto es como intentar llenar un camión de mudanzas con cajas muy pequeñas en lugar de cajas grandes: el camión (la memoria del modelo) se llena rápido, el viaje es más lento y cuesta más dinero (más recursos de computación).

2. La Solución: El "Cambio de Calzado" (Optimización del Tokenizador)

Los investigadores decidieron darle al modelo un par de zapatos a medida para el polaco. Crearon un nuevo diccionario (llamado APT4) diseñado específicamente para la estructura del idioma polaco.

• La magia: Ahora, una palabra polaca compleja se guarda en una sola "caja" grande en lugar de diez pequeñas.
• El resultado: El modelo puede "pensar" el doble de rápido en polaco y recordar mucho más contexto (historia) sin llenarse de basura.

3. El Gran Miedo: ¿Olvidará todo lo que sabía? (El "Olvido Catastrófico")

Aquí viene la parte más difícil. Si cambias el diccionario de un genio que ya sabe mucho, existe el riesgo de que se le olvide todo lo que aprendió antes (como si le cambiaras el idioma a un profesor de historia y de repente olvidara las fechas). A esto los científicos le llaman "olvido catastrófico".

Para evitar esto, usaron una técnica llamada FOCUS.

• La analogía: Imagina que tienes un mapa antiguo (el viejo diccionario) y quieres dibujar uno nuevo (el nuevo diccionario). En lugar de borrar el mapa viejo y empezar de cero, usas el mapa antiguo como una "guía de sombras" para dibujar el nuevo. El nuevo mapa se parece al viejo en los lugares importantes, pero está optimizado para el polaco.
• El proceso:
  1. Etapa 1 (Ajuste suave): Primero, solo dejaron mover las "bisagras" de la puerta (capas externas del modelo) para que se acostumbrara al nuevo diccionario sin tocar el cerebro central.
  2. Etapa 2 (Entrenamiento total): Luego, dejaron que todo el cerebro se ajustara lentamente para aprender a usar el nuevo diccionario con fluidez.

4. El Resultado: Un Genio Bilingüe Perfecto

Después de todo este trabajo, probaron al nuevo modelo (Bielik v3 PL) en muchas pruebas:

• En polaco: ¡Es increíble! Entiende mejor las emociones, los chistes, la medicina y la cultura polaca que antes. Es como si le hubieran dado un "acelerador" para su idioma nativo.
• En inglés y otros idiomas: ¡No perdió nada! Sigue siendo tan inteligente en inglés como antes. No se le olvidó nada.

En resumen

Los autores tomaron un modelo de inteligencia artificial potente pero un poco "torpe" con el polaco, le cambiaron el "diccionario" por uno hecho a medida, usaron una técnica especial para que no se le olvidara nada, y entrenaron al modelo para que aprendiera a usarlo.

El resultado final: Tienen dos modelos (uno grande de 11 mil millones de "células" y uno más pequeño de 7 mil millones) que son más rápidos, más baratos de usar y mucho más inteligentes en polaco, sin sacrificar su capacidad para hablar otros idiomas. Y lo mejor de todo: ¡lo han liberado para que cualquiera pueda usarlo gratis!

Resumen técnico

A continuación presento un resumen técnico detallado del documento "Advancing Polish Language Modeling Through Tokenizer Optimization in the Bielik V3 7B and 11B Series", traducido y adaptado al español.

Resumen Técnico: Optimización del Tokenizador para Modelos de Lenguaje Polacos (Bielik V3 PL)

1. Planteamiento del Problema

El desarrollo de modelos de lenguaje grandes (LLM) de propósito general a menudo enfrenta una ineficiencia arquitectónica fundamental: el uso de tokenizadores universales diseñados para cubrir un espectro amplio de idiomas. Para lenguas morfológicamente ricas como el polaco, estos tokenizadores genéricos (como los basados en Mistral) fallan en capturar los matices morfológicos, lo que resulta en:

• Altas tasas de fertilidad (fertility ratios): Se requieren muchos más subtokens para representar una sola palabra polaca.
• Ineficiencia computacional: Mayor costo de inferencia y reducción del contexto efectivo dentro de la ventana de atención.
• Pérdida de densidad de información: El contexto se llena rápidamente con tokens redundantes.

El objetivo de este trabajo es superar estas limitaciones en la familia de modelos Bielik v3 (variantes de 7B y 11B parámetros) mediante la implementación de un tokenizador optimizado específicamente para el idioma polaco, sin sacrificar el rendimiento general del modelo.

2. Metodología

La propuesta técnica se centra en la sustitución del tokenizador original por uno dedicado (APT4) y en una estrategia de adaptación del modelo para evitar el "olvido catastrófico" (catastrophic forgetting) de los conocimientos previos.

A. Optimización del Tokenizador (APT4)

• Se desarrolló el tokenizador APT4, una extensión refinada del APT3, con un tamaño de vocabulario de 32,000 tokens (comparable al original de 32,128).
• Objetivo: Reducir la tasa de fertilidad para el polaco manteniendo una cobertura razonable para el inglés y otros idiomas europeos.
• Resultados de eficiencia: En pruebas con el preámbulo de la Constitución de Polonia, la tasa de tokens por palabra (TpW) se redujo de 3.22 (tokenizador original) a 1.62 (APT4), duplicando efectivamente la capacidad de contexto para texto polaco.

B. Adaptación del Vocabulario y Transferencia de Conocimiento
Para reemplazar el tokenizador sin degradar el modelo, se utilizó el marco FOCUS (Fast Overlapping Token Combinations Using Sparsemax).

• Mecanismo: FOCUS representa cada token del nuevo vocabulario como una combinación lineal dispersa de tokens del vocabulario original, seleccionados por similitud semántica en un espacio de incrustación auxiliar.
• Ventaja: Preserva las relaciones semánticas y sintácticas adquiridas durante el preentrenamiento original, permitiendo una inicialización de alta calidad de la nueva matriz de incrustaciones.

C. Pipeline de Entrenamiento en Etapas
Se implementó un proceso de preentrenamiento continuo en dos etapas para adaptar el modelo al nuevo espacio de tokens:

1. Etapa 1 (Adaptación de Frontera): Entrenamiento en 4 mil millones de tokens con la mayoría de los parámetros congelados. Solo se actualizan las capas de incrustación de entrada, la cabeza de modelado de lenguaje (lm_head) y cuatro capas de transformadores de frontera (dos inferiores y dos superiores). Esto estabiliza la interacción entre el nuevo tokenizador y el modelo.
2. Etapa 2 (Adaptación Completa): Descongelamiento de todos los parámetros y entrenamiento continuo en 16 mil millones de tokens adicionales para ajustar globalmente los pesos y refinar las representaciones lingüísticas polacas.

D. Alineación Post-Entrenamiento
Las variantes PL siguieron el mismo pipeline de alineación que los modelos Bielik originales:

• SFT (Fine-Tuning Supervisado): 3 épocas en ~20 millones de pares de instrucciones (polaco e inglés).
• DPO (Optimización de Preferencia Directa): Enfocado en la mejora de políticas estables y reducción de alucinaciones.
• GRPO (Optimización de Política Relativa de Grupo): Refinamiento de capacidades de razonamiento (matemáticas, lógica, STEM) mediante recompensas verificables.

3. Contribuciones Clave

1. Método de Sustitución de Tokenizador: Propuesta de un enfoque robusto basado en FOCUS para cambiar el tokenizador de un LLM preentrenado, mitigando el riesgo de olvido catastrófico.
2. Pipeline de Entrenamiento Integral: Descripción de una metodología de preentrenamiento continuo en dos etapas que mantiene un rendimiento comparable al modelo original con tokenizador genérico.
3. Modelos de Código Abierto: Liberación de los pesos de los modelos Bielik-PL-11B-v3.0 y Bielik-PL-Minitron-7B-v3.0 bajo licencia Apache 2.0.
4. Eficiencia de Contexto: Demostración de que un vocabulario de tamaño similar (~32k) puede ofrecer una densidad de información significativamente superior para el polaco mediante una estrategia de segmentación optimizada.

4. Resultados de Evaluación

Los modelos fueron evaluados en nueve benchmarks diversos, cubriendo tareas polacas específicas y multilingües:

• Eficiencia de Tokenización: Reducción de tokens por palabra en polaco de 3.22 a 1.62, mejorando la densidad de información.
• Open PL LLM Leaderboard:
  • Bielik-11B-v3.0-Instruct (original): 65.93.
  • Bielik-PL-11B-v3.0-Instruct (tokenizador polaco): 64.11.
  • Bielik-PL-Minitron-7B-v3.0-Instruct: 61.66.
  • Conclusión: El rendimiento se mantiene muy cercano al modelo original, superando a modelos mucho más grandes en algunos casos.
• Polish EQ-Bench (Inteligencia Emocional):
  • El modelo PL de 11B obtuvo 71.15, superando ligeramente al modelo original (71.20 vs 71.15 es una diferencia mínima, pero el modelo PL mantiene un rendimiento competitivo frente a modelos de 70B+).
• CPTUB (Comprensión de Texto Polaco Complejo):
  • Sorprendentemente, la variante PL de 11B (3.80) superó al modelo original de 11B (3.73), indicando una mejora en la comprensión de implicaturas y preguntas engañosas.
• Benchmarks Multilingües (Inglés y Europeo):
  • En el Open LLM Leaderboard (tareas en inglés), la variante PL de 11B obtuvo 71.49 (vs 72.45 del original), mostrando que las capacidades en inglés se preservaron en gran medida.
  • En INCLUDE-base-44 (conocimiento regional europeo), la variante PL obtuvo 53.92 de promedio europeo y 64.23 en polaco, manteniendo un equilibrio sólido.
• Traducción (FLORES):
  • La variante PL mostró un rendimiento de traducción bidireccional equilibrado, aunque con una ligera reducción en el promedio general de BLEU en comparación con el modelo original, lo cual es un compromiso aceptable dado el beneficio en la eficiencia del contexto polaco.

5. Significado e Impacto

Este trabajo representa un hito en la optimización de LLMs para idiomas específicos dentro de Europa.

• Eficiencia de Recursos: Al reducir la tasa de fertilidad, los modelos PL pueden procesar textos polacos más largos con la misma ventana de contexto, reduciendo costos de inferencia y memoria.
• Reproducibilidad: La metodología descrita (FOCUS + preentrenamiento continuo escalonado + alineación estándar) sirve como una "hoja de ruta" reproducible para adaptar modelos multilingües a lenguas con morfología compleja.
• Accesibilidad: La liberación de modelos de 7B y 11B de alto rendimiento bajo licencia Apache 2.0 fomenta el desarrollo de aplicaciones de IA en polaco, reduciendo la dependencia de modelos extranjeros que no están optimizados para la lengua local.

En resumen, los modelos Bielik v3 PL demuestran que es posible mejorar drásticamente la eficiencia de la tokenización para un idioma específico sin sacrificar la capacidad general del modelo, logrando incluso superar al modelo base en tareas de comprensión lingüística compleja.