💬 NLP

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training

Este artículo demuestra que combinar el preentrenamiento continuo con un replay multilingüe enriquecido con estonio y un alineamiento de postentrenamiento ligero mejora sustancialmente las capacidades del idioma estonio en los modelos de lenguaje extensos multilingües, preservando eficazmente su rendimiento en inglés y sus habilidades de razonamiento general.

Autores originales: Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje de gran tamaño son los motores detrás de muchas de las herramientas de inteligencia artificial más avanzadas de la actualidad, capaces de escribir historias, resolver problemas y responder preguntas. Estos sistemas son entrenados con vastas cantidades de texto de internet, aprendiendo patrones del lenguaje humano al leer miles de millones de ejemplos. Sin embargo, los datos utilizados para enseñarlos están fuertemente sesgados hacia el inglés. Debido a que el inglés domina el mundo digital, estos modelos se convierten en expertos en inglés mientras que a menudo tienen dificultades con idiomas más pequeños como el estonio, que tienen una representación digital mucho menor. Este desequilibrio significa que, si bien una IA podría escribir un ensayo perfecto en inglés, podría producir un texto confuso o incorrecto cuando se le pide lo mismo en estonio. Los investigadores están trabajando ahora para solucionar esta brecha, preguntándose si es posible enseñar a estos poderosos modelos, con un fuerte predominio del inglés, un nuevo idioma sin romper las habilidades que ya poseen.

Un equipo de investigadores de Estonia se propuso responder a esta pregunta creando una versión especializada de un modelo de lenguaje de gran tamaño adaptada para el idioma estonio. Comenzaron con dos modelos existentes: uno que fue entrenado intensamente con datos en inglés y otro que ya estaba algo familiarizado con muchos idiomas. Los investigadores no construyeron un nuevo modelo desde cero. En su lugar, tomaron estos sistemas existentes y les dieron una "reeducación" enfocada utilizando una mezcla específica de datos. Primero, expusieron los modelos a un gran volumen de texto en estonio, incluyendo literatura, escritura académica y contenido web, para construir una base de conocimiento lingüístico. Para asegurar que los modelos no olvidaran cómo razonar o comprender otros temas, mezclaron texto en inglés, código y problemas matemáticos durante esta fase de entrenamiento. Este proceso, conocido como preentrenamiento continuo, permitió que los modelos aprendieran estonio mientras mantenían su inteligencia general intacta.

Después de este entrenamiento inicial, los investigadores refinaron los modelos para hacerlos mejores siguiendo instrucciones, una habilidad crucial para los chatbots y asistentes. Enseñaron a los modelos cómo responder a los comandos de los usuarios tanto en estonio como en inglés, utilizando una mezcla de conversaciones humanas reales y ejemplos sintéticos. Un paso clave en su proceso involucró una técnica llamada fusión de vectores de chat. Imagine un modelo como un estudiante que ha aprendido un nuevo idioma pero ha olvidado cómo hablar cortésmente o seguir reglas complejas. Los investigadores tomaron el "conocimiento" de cómo seguir instrucciones de la versión original en inglés del modelo y lo mezclaron con su nueva versión entrenada en estonio. Esto permitió que el producto final hablara un estonio fluido mientras conservaba la capacidad de seguir instrucciones claramente en ambos idiomas.

Los resultados de este experimento fueron sorprendentes y significativos. Antes de que comenzara el entrenamiento, el modelo que ya era multilingüe se desempeñaba mejor en tareas de estonio que aquel que era principalmente enfocado en el inglés. Sin embargo, tras el proceso de adaptación, la situación cambió. El modelo que comenzó con una sólida base en inglés mostró mejoras mucho mayores en estonio, superando eventualmente al modelo multilingüe. Esto sugiere que el punto de partida de un modelo en un idioma específico no predice necesariamente qué tan bien aprenderá ese idioma más tarde. Los investigadores encontraron que los modelos adaptados podían entender la gramática, traducir textos y resolver acertijos lógicos en estonio mucho mejor que antes. También probaron estos modelos en un ámbito público donde usuarios humanos podían chatear con ellos y votar por la mejor respuesta. Los nuevos modelos estonios ocuparon puestos altos, compitiendo con éxito contra sistemas mucho más grandes y complejos.

El estudio también reveló límites importantes en cómo aprenden estos modelos. Los investigadores probaron si repetir los datos de entrenamiento en estonio varias veces ayudaría a los modelos a aprender mejor, un método que han utilizado otros estudios. Descubrieron que, para este tamaño de modelo, pasar por los datos una segunda vez no ofrecía ningún beneficio real y era simplemente un desperdicio de potencia de cómputo. Un ciclo de entrenamiento era suficiente. Además, los investigadores descubrieron que, si bien los modelos se volvieron excelentes en estonio, hubo una ligera compensación: su capacidad para seguir instrucciones en inglés disminuyó ligeramente. Sin embargo, la técnica de fusión de vectores de chat restauró con éxito la mayor parte de esta capacidad perdida en inglés, demostrando que es posible especializar un modelo para un idioma más pequeño sin sacrificar sus capacidades generales.

Este trabajo proporciona un camino claro para mejorar la inteligencia artificial en idiomas que a menudo son pasados por alto. Al mezclar cuidadosamente nuevos datos lingüísticos con el conocimiento existente y utilizar técnicas inteligentes para combinar diferentes comportamientos de los modelos, los investigadores pueden crear herramientas poderosas para comunidades específicas sin necesidad de empezar desde cero. Los hallazgos sugieren que la forma más efectiva de adaptar un modelo de lenguaje de gran tamaño no es comenzar con un modelo que ya conozca el idioma, sino tomar un modelo que sea fuerte en razonamiento general y enseñarle el nuevo idioma con una dieta equilibrada de datos. Los modelos resultantes están ahora disponibles para que otros los utilicen, ofreciendo una experiencia de alta calidad y de nivel nativo para los hablantes de estonio, manteniendo al mismo tiempo la robustez de una inteligencia global.

Resumen Técnico: EstLLM

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) están predominantidos por ser entrenados en datos centrados en el inglés, lo que deriva en un desempeño desigual entre idiomas, particularmente para lenguas menores como el estonio. Aunque existen modelos multilingües, sus distribuciones de datos de entrenamiento siguen siendo altamente desequilibradas, lo que a menudo resulta en capacidades subóptimas para lenguas de bajos recursos. Los esfuerzos de adaptación existentes suelen tener dificultades para equilibrar la mejora de la competencia en el idioma objetivo con la preservación de las capacidades generales de razonamiento y seguimiento de instrucciones adquiridas durante el preentrenamiento a gran escala. El artículo investiga si el Preentrenamiento Continuo (CPT) puede mejorar sustancialmente las capacidades del estonio en LLMs multilingües sin comprometer el rendimiento general en inglés o el razonamiento general.

Metodología

Los autores proponen EstLLM, un pipeline de adaptación diseñado para mejorar las habilidades del idioma estonio en LLMs multilingües preentrenados. El pipeline utiliza Llama 3.1 8B y Apertus 8B como modelos base y consta de tres etapas primarias:

Preentrenamiento Continuo (CPT):
- Objetivo: Incrementar la exposición al estonio mitigando el olvido catastrófico de las capacidades generales.
- Mezcla de Datos: Los autores construyeron una mezcla equilibrada que totaliza 35.7 mil millones de tokens. Incluye el Corpus Nacional de Estonio 2023 (ENC) (8.6B de tokens) como la fuente principal de estonio. Para preservar las capacidades generales, este se combina con replay en inglés (Cosmopedia v2), código (Python-Edu), matemáticas (FineMath-4+) y corpora aumentados con instrucciones.
- Estrategia: Una fase de "warm-up" precede al CPT principal para suavizar los cambios de distribución, enfatizando datos curados de alta calidad. El CPT principal se ejecuta durante un único epoch sobre la mezcla enriquecida con estonio sin repetición de datos, basándose en hallazgos preliminares de que múltiples epochs producían solo ganancias marginales.
- Técnica: Las secuencias se empaquetan a 4096 tokens utilizando best-fit bin packing para preservar la integridad de los documentos.
Post-entrenamiento (Ajuste de Instrucciones y Optimización de Preferencias):
- Ajuste Fino Supervisado (SFT): Los modelos CPT se someten a SFT principalmente con conjuntos de datos en inglés para restaurar las capacidades de seguimiento de instrucciones, incorporando al mismo tiempo datos en estonio (preguntas y respuestas de expertos, traducción paralela y datos sintéticos generados por Gemma 3 27B) para permitir el seguimiento de instrucciones en estonio.
- Optimización de Preferencias (DPO): Se aplica la Optimización de Preferencia Directa utilizando el conjunto de datos HelpSteer3 para alinear las salidas del modelo con las preferencias humanas, apoyándose en la transferencia translingüe en lugar de datos de preferencia específicos del idioma.
Fusión de Vectores de Chat (Chat Vector Merging):
- Para restaurar aún más el comportamiento de seguimiento de instrucciones, los autores aplican la fusión de vectores de chat. Esto implica calcular la diferencia de parámetros ( $\theta_{Instruct} - \theta_{Base}$ ) entre el modelo base ajustado a instrucciones original (por ejemplo, Llama 3.1 8B Instruct) y su base, y luego añadir este vector al modelo post-entrenado ( $\theta_{CPT}$ ). Esto transfiere los patrones de seguimiento de instrucciones sin necesidad de reentrenamiento.

Contribuciones Clave

Pipeline de Adaptación: Un pipeline integral para adaptar LLMs preentrenados al estonio mediante CPT, post-entrenamiento y fusión de vectores de chat.
Perspectivas Empíricas:
- Evidencia de que los modelos centrados en el inglés (Llama 3.1) pueden superar a los modelos masivamente multilingües (Apertus) tras la adaptación, sugiriendo que el rendimiento inicial en el idioma objetivo no es un predictor fiable del potencial de adaptación.
- Demostración de que la fusión de vectores de chat restaura eficazmente las capacidades en inglés mientras potencia las ganancias en estonio.
Modelos Lanzados: El lanzamiento de los modelos EstLLM (escala 8B) que alcanzan un rendimiento de primer nivel en evaluaciones específicas de estonio.
Benchmarking: La construcción de un nuevo conjunto de datos de prompts multi-turno para la evaluación humana sistemática y el despliegue de un leaderboard estilo Chatbot Arena específico para el estonio.

Resultados

Los modelos adaptados fueron evaluados en benchmarks de estonio, benchmarks de inglés y mediante evaluación humana.

Rendimiento en Estonio: Ambos modelos adaptados mostraron mejoras consistentes respecto a sus contrapartes base. Notablemente, el modelo Llama-3.1-EstLLM-8B logró el rendimiento general más fuerte entre los modelos de escala 8B, superando a alternativas multilingües como EuroLLM-9B y Apertus-8B en benchmarks discriminativos de estonio. El modelo basado en Llama mostró una ganancia relativa de +30.4% en tareas discriminativas de estonio, comparado con un +7.8% para Apertus.
Rendimiento en Inglés: Aunque el CPT causó inicialmente ligeras regresiones en el seguimiento de instrucciones y el razonamiento en inglés para el modelo basado en Llama, la fusión de vectores de chat restauró sustancialmente estas capacidades. El modelo fusionado (Llama-EstLLM-8B-Instruct-CV) igualó o superó al Llama 3.1 8B Instruct original en la mayoría de las tareas de inglés, manteniendo al mismo tiempo un rendimiento superior en estonio.
Evaluación Humana: La evaluación humana pareada dirigida en un benchmark multi-turno de estonio confirmó que:
- Añadir un vector de chat mejoró significativamente los resultados en todas las categorías (fluidez, gramática, seguimiento de instrucciones).
- Partir del modelo Llama centrado en el inglés yielded mejores resultados que partir del modelo multilingüe Apertus.
- Repetir los datos de estonio para un segundo epoch no proporcionó ninguna mejora medible sobre un solo epoch.
Rendimiento en la Arena: En una evaluación de estilo Chatbot Arena para estonio, el modelo EstLLM basado en Llama y fusionado clasificó competitivamente, compartiendo el primer puesto con modelos significativamente más grandes (por ejemplo, modelos de 685B y 1T de parámetros) y superando a otros modelos abiertos de 8B.

Significancia y Reivindicaciones

El artículo afirma que el Preentrenamiento Continuo con una mezcla de datos multilingüe equilibrada, combinado con un post-entrenamiento de alineación ligero (específicamente la fusión de vectores de chat), puede mejorar sustancialmente las capacidades de un solo idioma en LLMs multilingües preentrenados.

Los puntos clave enfatizados por los autores incluyen:

Potencial de Adaptación: La efectividad de la adaptación no depende solo de la competencia en el idioma objetivo del modelo base, sino también de la distribución del preentrenamiento original. Los modelos centrados en el inglés pueden ofrecer un mayor "margen de mejora" en idiomas específicos de bajos recursos que los modelos ya fuertemente ajustados para el multilingüismo.
Eficiencia: Un solo epoch de CPT es suficiente para obtener ganancias significativas a la escala de 8B, desafiando la práctica común de repetir los datos del idioma objetivo durante múltiples epochs.
Restauración de Capacidades Generales: La fusión de vectores de chat ofrece un método computacionalmente económico para recuperar capacidades de propósito general (como el seguimiento de instrucciones en inglés) que pueden degradarse durante la adaptación específica de un idioma, desacoplando efectivamente el compromiso entre especialización y generalización.

Los autores mantienen una postura modesta, señalando limitaciones como la falta de optimización sistemática de las mezclas de datos debido a restricciones computacionales, la restricción de los experimentos a la escala de 8B de parámetros y la ausencia de un alineamiento de seguridad dedicado para los modelos de estonio. Sugieren que, aunque los hallazgos son prometedores, se necesita más investigación para comprender las contribuciones específicas de diferentes fuentes de datos y verificar si esta dinámica se mantiene en modelos sustancialmente mayores.