Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian

Resumen Técnico: Vikhr – Una familia de LLM de código abierto ajustados para instrucciones en ruso

Planteamiento del problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) han experimentado un auge en su desarrollo, la generación de texto para lenguas no inglesas, específicamente el ruso, enfrenta obstáculos significativos. Los modelos orientados al inglés suelen exhibir una calidad de generación deficiente y un rendimiento computacional reducido al procesar otros idiomas. Esta ineficiencia surge de los algoritmos de tokenización de pares de bytes (byte-pair tokenization) que fragmentan desproporcionadamente las palabras infrecuentes de otros idiomas en múltiples tokens. Esta fragmentación aumenta los pasos de procesamiento, reduce la ventana de contexto efectiva y degrada el rendimiento general. Además, los modelos de ruso de código abierto existentes suelen depender de adaptadores de Adaptación de Bajo Rango (LoRA) aplicados a modelos base en inglés. Aunque este enfoque es rentable, no aborda la ineficiencia subyacente de la tokenización y no adapta completamente el vocabulario o los pesos del modelo, lo que conduce a una utilización subóptima del contexto y de la calidad de la generación. Por el contrario, los modelos plenamente multilingües suelen tener dificultades para desempeñarse bien en un solo idioma debido al vocabulario compartido y a las restricciones de parámetros, particularmente en tamaños de modelos más pequeños (por ejemplo, 7B, 13B).

Metodología: El Pipeline de Vikhr
Los autores proponen un pipeline integral para adaptar modelos preentrenados orientados al inglés (específicamente Mistral 7B) en LLM bilingües (ruso-inglés) eficientes que sigan instrucciones. El proceso consta de tres etapas primarias:

1. Adaptación del Vocabulario:
   Para resolver la ineficiencia de la tokenización, los autores reconstruyen el tokenizador utilizando un corpus específico del idioma (conjunto de datos RuLM). Entrenaron un tokenizador SentencePiece con un vocabulario de 40k. Los nuevos tokens se inicializan promediando los embeddings de sus piezas constituyentes de la matriz de embeddings original, mientras que los tokens existentes mantienen sus embeddings originales. Esto resulta en un tokenizador significativamente más eficiente para el ruso que su contraparte original orientada al inglés.

2. Preentrenamiento Continuado:
   El modelo se somete a un preentrenamiento continuado en un corpus de ruso de alta calidad y deduplicado que comprende artículos científicos, noticias, Wikipedia y publicaciones técnicas de blogs (Habr), totalizando 11 mil millones de tokens tras la filtración.

• Mitigación del Olvido Catastrófico: Para evitar la pérdida de las capacidades de razonamiento del modelo base (observada en experimentos preliminares), los autores implementan una estrategia de regularización de pérdida mediante una penalización KL entre la distribución de probabilidad del modelo adaptado y el LLM de referencia orientado al inglés ($L_{Vikhr} = L_{CE} + KL(P_{Vikhr} || P_{Ref})$).
• Actualización Completa de Pesos: A diferencia de los enfoques LoRA, esta etapa implica la actualización de todos los pesos del modelo, lo que requiere recursos computacionales sustanciales (8x NVIDIA A100 GPUs).

3. Ajuste de Instrucciones (Instruction Tuning):
   El modelo es ajustado mediante el aprendizaje de un conjunto expandido de pares de instrucción-salida en ruso. El conjunto de datos incluye:

• Traducciones de los conjuntos de instrucciones FLAN y OpenHermes (Veles).
• El conjunto de datos Nectar (mantenido en inglés para preservar la capacidad bilingüe).
• El conjunto de datos Saiga existente.
• Control de Calidad: Las salidas de baja calidad generadas por máquinas fueron filtradas utilizando un modelo de recompensa (multilingual-e5-large) entrenado con datos de preferencia humana.
• Actualización de Parámetros Completos: De manera similar al preentrenamiento, el ajuste de instrucciones actualiza todos los parámetros del modelo en lugar de utilizar adaptadores.

Contribuciones Clave

• Pipeline de Adaptación: Un nuevo pipeline para adaptar LLM en inglés a otros idiomas que involucra la reconstrucción del vocabulario, el preentrenamiento continuado regularizado de todos los pesos y el ajuste de instrucciones.
• Modelos Vikhr: La construcción de Vikhr, una serie de LLM bilingües de seguimiento de instrucciones de código abierto optimizados específicamente para el ruso. Estos modelos cuentan con un tokenizador adaptado para una generación de texto rápida y una mejor utilización del contexto.
• Expansión de Datos: Expansión significativa de los conjuntos de datos disponibles en ruso tanto para el preentrenamiento continuado como para el ajuste de instrucciones, incluyendo la creación de nuevos conjuntos de instrucciones (Veles) y la filtración de los existentes.
• Benchmarks de Evaluación: La creación de versiones en ruso de los benchmarks MMLU y MMLU-pro (Ru-MMLU y Ru-MMLU-pro) mediante traducción automática para evaluar los LLM en ruso.
• Estudios de Ablación: Validación empírica de los componentes del pipeline, demostrando la necesidad de la adaptación del vocabulario, la filtración de datos y la regularización de la pérdida.

Resultados y Hallazgos de Ablación

• Eficiencia de Tokenización: El tokenizador de Vikhr reduce el conteo de tokens para oraciones en ruso aproximadamente a la mitad en comparación con el tokenizador original de Mistral (por ejemplo, 7 tokens frente a 13 tokens para una oración de muestra), mejorando significativamente la eficiencia del contexto.
• Calidad de Generación: El análisis cualitativo muestra que, mientras que el modelo base Mistral suele inyectar palabras en inglés, sufre de incoherencia gramatical y malinterpreta la semántica rusa, Vikhr produce texto en ruso gramaticalmente correcto y semánticamente coherente.
• Tamaño del Vocabulario: Los experimentos indicaron que un tamaño de vocabulario de 40k ofreció el mejor equilibrio, proporcionando un rendimiento máximo en la tarea ruXNLI con solo un ligero aumento en la perplejidad en comparación con vocabularios más pequeños.
• Filtración de Datos: La filtración del corpus de preentrenamiento (reduciéndolo de 17B a 11B de tokens) resultó en una menor perplejidad y puntuaciones sustancialmente más altas en Ru-MMLU-pro y ruXNLI, resaltando la importancia de la calidad de los datos sobre la cantidad.
• Regularización: La aplicación de la regularización de pérdida KL durante el preentrenamiento continuado mejoró sustancialmente el rendimiento en la tarea ruXNLI (0.45 vs. 0.34 sin regularización) y redujo ligeramente la perplejidad, confirmando su papel en la prevención del olvido catastrófico de las habilidades de razonamiento.
• Ajuste de Instrucciones: El ajuste fino sobre el conjunto de instrucciones expandido por los autores produjo un aumento significativo en el rendimiento en tareas de NLU en comparación con los modelos ajustados con el conjunto de datos Saiga o solo con Nectar traducido.

Significancia
El artículo posiciona a Vikhr como una solución a la falta de LLM de código abierto, eficientes y de alta calidad, ajustados para instrucciones en ruso. Al ir más allá de las limitaciones de los adaptadores LoRA y abordar las ineficiencias de la tokenización mediante la adaptación completa del modelo, Vikhr logra una alta calidad de generación manteniendo la eficiencia computacional. Los autores argumentan que este enfoque permite que los LLM bilingües permanezcan pequeños y eficientes mientras capturan de manera integral los matices lingüísticos y los contextos culturales del idioma regional. La publicación de los pesos del modelo, los conjuntos de instrucciones, el código y los benchmarks de evaluación tiene como objetivo fomentar la investigación adicional en la adaptación translingüística y mejorar la diversidad de lenguas en las agendas de investigación de LLM. Los autores señen que el trabajo futuro incluye el lanzamiento de versiones mejoradas (por ejemplo, basadas en Mistral NeMo) y la extensión del pipeline a lenguas de bajos recursos como el bielorruso, el serbio y el kazajo.