TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation

El artículo presenta TildeOpen LLM, un modelo de lenguaje abierto de 30 mil millones de parámetros entrenado con estrategias de aprendizaje curricular y muestreo de datos para lograr una representación equitativa y un rendimiento superior en 34 idiomas europeos, especialmente en lenguas de recursos limitados como las bálticas, fino-úgricas y eslavas.

Lo esencial

¡Hola! Imagina que los grandes modelos de inteligencia artificial (como los que usan para chatear o escribir) son como gigantes que aprenden a hablar.

El problema que describe este documento es que, hasta ahora, estos gigantes han estado estudiando casi exclusivamente en inglés y en unos pocos idiomas muy populares. Es como si un estudiante de la universidad pasara el 90% de su tiempo leyendo libros en inglés y solo un 10% en todos los demás idiomas del mundo combinados.

Como resultado, cuando le pides a estos gigantes que hablen en idiomas como el letón, el estonio o el polaco, a menudo cometen muchos errores, suenan robóticos o simplemente no entienden bien.

Aquí te explico cómo el equipo de Tilde (de Letonia) ha creado una solución llamada TildeOpen LLM, usando analogías sencillas:

1. El Problema: La "Fiesta" Desigual

Imagina que organizas una fiesta para 34 idiomas europeos.

• Los modelos anteriores: Llegaron y pusieron 50% de música en inglés, 27% en alemán o francés, y solo dejaron un pequeño rincón para el resto. Los idiomas pequeños (como el letón o el lituano) se quedaron sin espacio para bailar.
• El resultado: Los gigantes de la IA hablan inglés perfectamente, pero en los idiomas pequeños cometen errores graves (como decir "gato" cuando quieren decir "perro", o usar la gramática de forma extraña).

2. La Solución: El "Entrenador de Atletas" (Aprendizaje por Currículo)

Los autores de TildeOpen no solo añadieron más datos; cambiaron la forma en que el gigante aprende. Usaron una técnica llamada Aprendizaje por Currículo, que es como entrenar a un atleta de la siguiente manera:

• Fase 1 (El Calentamiento): Al principio, el modelo estudia todos los idiomas por igual. Es como si el entrenador dijera: "¡Hoy todos corremos la misma distancia!". Esto asegura que los idiomas pequeños no se queden atrás desde el inicio.
• Fase 2 (El Entrenamiento Intenso): Luego, el modelo se sumerge en la "naturaleza" de los datos. Aquí, los idiomas grandes (como el inglés) tienen más material porque hay más disponible en internet, pero los pequeños siguen recibiendo atención especial.
• Fase 3 (El Enfriamiento): Al final, vuelve a estudiar todos los idiomas por igual para pulir los detalles y asegurar que nadie se olvide de nada.

La analogía del "Upsampling" (Aumentar el volumen):
Para los idiomas con pocos libros (datos), el equipo hizo una magia: fotocopiaron y reutilizaron esos textos de forma inteligente (hasta 2.5 veces más). Es como si un estudiante tuviera solo 10 libros de historia letona, pero el profesor le dijera: "Lee estos 10 libros, pero léelos tres veces y anota cada detalle, para que aprendas tanto como quien tiene 100 libros".

3. El Resultado: Un Gigante Equitativo

El modelo resultante, TildeOpen, tiene 30 mil millones de "cerebros" (parámetros). Lo increíble es que:

• Aprendió con menos recursos: Usó mucha menos energía y tiempo que otros modelos gigantes.
• Habla mejor: En pruebas, este modelo comete hasta 10 veces menos errores en idiomas como el letón o el estonio que sus competidores más famosos.
• Es justo: Si le pides escribir un texto en inglés, lo hace bien. Si le pides escribir en un idioma "pequeño" de Europa, lo hace casi tan bien como en inglés.

4. El "Filtro de Propaganda" (La Limpieza de la Cocina)

El equipo tuvo que ser muy cuidadoso con los datos en ruso. Explican que mucha información en internet en ruso proviene de fuentes controladas por el estado que difunden propaganda (mentiras sobre la guerra, odio, etc.).

• La analogía: Imagina que vas a cocinar un guiso para toda Europa. Si usas verduras que alguien envenenó intencionalmente, el plato entero se arruina.
• La acción: Tilde filtró activamente estos textos "envenenados" (propaganda rusa) para que el modelo no aprenda a hablar con odio o mentiras. No es un juicio político, es una medida de higiene digital para que el modelo sea seguro y útil para todos.

5. ¿Por qué es importante esto?

Hasta ahora, la mayoría de las IAs potentes eran como clubes privados donde solo los idiomas grandes tenían acceso. TildeOpen es como abrir una biblioteca pública gratuita para todos los idiomas de Europa.

• Es de código abierto: Cualquiera puede descargarlo y usarlo (no es un secreto de una gran empresa).
• Protege la soberanía: Europa puede tener sus propias herramientas de IA que entiendan su cultura y sus idiomas, sin depender de empresas de otros continentes.

En resumen

TildeOpen es como un traductor y escritor políglota que ha sido entrenado con un método justo. En lugar de ignorar a los idiomas pequeños, los ha tratado como estrellas, asegurándose de que, al final del entrenamiento, el gigante de la IA hable con la misma fluidez y respeto en 34 idiomas diferentes, desde el inglés hasta el letón.

¡Y lo mejor de todo es que lo han hecho de forma más eficiente y ética que nadie antes!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation", traducido y adaptado al español:

1. El Problema: Desigualdad Lingüística en los LLM

Los Grandes Modelos de Lenguaje (LLM) actuales sufren de un desequilibrio significativo debido a la dominancia del inglés y de unas pocas lenguas de alto recurso en los datos de entrenamiento. Esto provoca:

• Rendimiento deficiente: Las lenguas europeas, especialmente las de Europa Central y Oriental (familias balto-eslava, fino-úgrica), tienen un rendimiento muy inferior al inglés.
• Ineficiencia en la tokenización: Los tokenizadores multilingües suelen codificar las lenguas de bajo recurso de manera ineficiente, requiriendo muchos más tokens para expresar el mismo contenido, lo que aumenta los costos de inferencia y reduce la longitud efectiva del contexto.
• Falta de equidad: Incluso modelos multilingües existentes (como EuroLLM) siguen asignando una gran proporción de sus datos al inglés y a las lenguas occidentales europeas, dejando a las lenguas minoritarias con una representación insuficiente.
• Errores lingüísticos: Los modelos actuales cometen errores lingüísticos frecuentes (aproximadamente 1 de cada 6 palabras en texto libre) al generar contenido en lenguas menos representadas.

2. Metodología

El equipo de Tilde (Letonia) ha desarrollado TildeOpen LLM, un modelo fundacional de 30 mil millones de parámetros diseñado para 34 lenguas europeas. La metodología se centra en tres pilares:

A. Tokenización Equitativa

• Objetivo: Diseñar un tokenizador donde el mismo contenido traduzca a un número similar de tokens en todas las lenguas objetivo, evitando la inflación de costos para lenguas de bajo recurso.
• Implementación: Se entrenó un tokenizador (vocabulario de 131k tokens) sobre 4.38 mil millones de bytes. Se ajustaron iterativamente las proporciones de datos para las "lenguas de enfoque" (17 lenguas prioritarias) utilizando traducciones paralelas de FLORES 200 hasta lograr una eficiencia de tokenización equitativa.

B. Estrategia de Datos y Filtrado

• Fuentes: Se utilizaron grandes conjuntos de datos web (MADLAD-400, HPLT, Cultura-X, FineWeb) y recursos especializados (The Stack para código, Tezaurs).
• Filtrado Riguroso:
  • Eliminación de fuentes de baja calidad, spam y contenido no deseado mediante filtros de URL y heurísticas.
  • Filtrado de Propaganda Rusa: Se implementó un filtrado específico para datos en ruso, eliminando dominios sancionados por la UE y utilizando clustering (LDA) para remover contenido relacionado con geopolítica, guerra y propaganda anti-occidental, dado el riesgo de sesgo estatal en los datos rusos disponibles.
• Aumento de Datos (Upsampling): Se aplicó un upsampling de hasta 2.5 veces para las lenguas de bajo recurso para mitigar el desequilibrio inicial.

C. Aprendizaje Curricular (Curriculum Learning)

Para abordar el desequilibrio residual tras el upsampling, se propuso un horario de entrenamiento de tres fases:

1. Fase Inicial (7.5%): Distribución uniforme de lenguas para asegurar exposición equitativa desde el inicio.
2. Fase Intermedia (67.5%): Distribución natural de datos (más datos para lenguas de alto recurso) para maximizar la diversidad y cantidad de recursos disponibles.
3. Fase Final (25%): Vuelta a una distribución uniforme para consolidar el equilibrio y la calidad en todas las lenguas.

D. Arquitectura y Entrenamiento

• Arquitectura: Basada en Llama 3 (30B parámetros, 60 capas, dimensión 6144), con Group Query Attention (GQA) y RoPE.
• Recursos: Entrenado en el superordenador LUMI (768 GPUs AMD MI250x) durante aproximadamente 1.5 millones de horas de GPU.
• Eficiencia: Entrenado con solo 2 billones de tokens, significativamente menos que modelos de tamaño similar (que suelen usar 4-6 billones).

3. Contribuciones Clave

1. TildeOpen LLM: El primer modelo de peso abierto de 30B parámetros diseñado específicamente para la equidad lingüística en 34 lenguas europeas.
2. Tokenizador Equitativo: Una solución técnica que iguala la eficiencia de tokenización entre lenguas de alto y bajo recurso.
3. Estrategia de Entrenamiento Curricular: Una demostración de que alternar entre distribuciones uniformes y naturales mejora el rendimiento en lenguas minoritarias sin aumentar el tamaño del modelo.
4. Recursos Abiertos: El modelo, el tokenizador y el conjunto de datos de instruction-tuning (para traducción) están disponibles públicamente en Hugging Face.

4. Resultados y Evaluación

Las evaluaciones muestran que TildeOpen supera a modelos de peso abierto de tamaño similar (EuroLLM-22B, ALIA-40B, Gemma 2-27B):

• Perplejidad: Mejoras consistentes en la perplejidad por carácter en todas las familias lingüísticas, con mejoras notables en lenguas Bálticas (+13.8%), Romances (+11.2%) y Fino-Ugricas (+11.2%).
• Comprensión y Generación: Supera a los competidores en benchmarks como MultiBLiMP (gramática) y Belebele (comprensión lectora), especialmente en lenguas de bajo recurso.
• Calidad Lingüística (Evaluación Humana): En un análisis de errores en letón y estonio, el modelo de Tilde cometió hasta 10 veces menos errores por cada 100 palabras en comparación con Gemma 2 y EuroLLM.
• Eficiencia de Datos: Logra un rendimiento comparable o superior en tareas de conocimiento paramétrico (ARC, MMLU) utilizando solo la mitad o un tercio de los datos de entrenamiento de sus competidores.
• Traducción: En la evaluación de traducción automática (WMT24pp), el modelo instruido de Tilde superó al de EuroLLM en todas las direcciones de traducción evaluadas.

5. Significancia e Impacto

• Soberanía de la IA en Europa: El modelo aborda la brecha de representación de casi 170 millones de europeos cuyas lenguas maternas están mal representadas en los modelos fundacionales actuales.
• Validación de Estrategias de Datos: Demuestra que la curación cuidadosa de datos y las estrategias de entrenamiento equilibradas (curriculum learning) pueden mejorar drásticamente la calidad de los modelos multilingües sin necesidad de escalar el tamaño del modelo o el volumen de entrenamiento.
• Accesibilidad: Al ser un modelo de peso abierto, permite a la comunidad europea desarrollar aplicaciones específicas sin depender de modelos comerciales de grandes corporaciones extranjeras.
• Consideraciones Éticas: El artículo aborda proactivamente la eliminación de propaganda rusa y los desafíos de la propiedad intelectual, estableciendo un precedente para el filtrado de datos sensibles en el contexto europeo.

En conclusión, TildeOpen LLM demuestra que es posible construir modelos de lenguaje robustos y equitativos para lenguas europeas de bajo recurso mediante una ingeniería de datos inteligente y un diseño de entrenamiento estratégico, superando a modelos mucho más grandes entrenados con datos desbalanceados.