Raising Bars, Not Parameters: LilMoo Compact Language Model for Hindi

Este artículo presenta LilMoo, un modelo de lenguaje de 0.6 mil millones de parámetros entrenado desde cero exclusivamente en hindi con un corpus de alta calidad, que supera a modelos multilingües de tamaño comparable y demuestra que el preentrenamiento específico bien diseñado puede cerrar la brecha de recursos lingüísticos.

Lo esencial

¡Hola! Imagina que el mundo de la Inteligencia Artificial (IA) es como una gran biblioteca mundial. Durante mucho tiempo, los libros más grandes, detallados y costosos (los modelos de IA) solo estaban escritos en inglés o en unos pocos idiomas ricos en recursos. Si querías leer sobre hindú, tenías que usar una traducción tosca o un resumen muy breve hecho por un modelo que no entendía realmente la cultura.

Este paper presenta a LilMoo, un nuevo "libro" (modelo de lenguaje) diseñado específicamente para el idioma hindi, creado con un enfoque muy diferente: calidad sobre cantidad y transparencia total.

Aquí te explico los puntos clave usando analogías sencillas:

1. El Problema: La "Biblioteca de Gigantes" vs. El "Libro de Bolsillo"

Imagina que los gigantes de la IA (como Qwen o Llama) son como elefantes. Son enormes, comen toneladas de datos (trillones de palabras) y pueden hablar un poco de muchos idiomas. Pero, al ser tan grandes y comer de todo, a veces no saben saborear bien los platos locales. Para el hindi, estos elefantes a menudo son "políglotas superficiales": saben un poco de todo, pero no son expertos en la cultura, las bromas o los matices del hindi.

LilMoo es diferente. Es como un chef experto en la cocina local. En lugar de ser un elefante gigante, es un chef pequeño (0.6 mil millones de parámetros, que es "pequeño" en el mundo de la IA) que se ha dedicado exclusivamente a dominar el hindi.

• La gran noticia: Este chef pequeño, entrenado con mucho cuidado, cocina platos (responde preguntas) mejor que los elefantes gigantes cuando se trata de comida india, ¡y usando mucha menos energía!

2. La Receta: No solo "comer" datos, sino "cocinar" bien

Muchos modelos anteriores intentaban aprender hindi simplemente "reutilizando" los datos de un modelo gigante que ya existía (como si le dieras al chef un libro de cocina en inglés y le dijeras "traduce esto"). Eso no funciona bien.

LilMoo se construyó desde cero (desde cero, como si hicieras la masa tú mismo).

• La materia prima (GigaLekh): Los autores no solo tomaron todo lo que encontraron en internet (que suele estar lleno de basura, spam y errores). Crearon un proceso de "filtrado" muy estricto.
  • Analogía: Imagina que tienes un río de agua (datos de internet). Primero usas una malla grande para quitar las ramas (filtros automáticos). Luego, usas un juez experto (una IA muy inteligente llamada Qwen) para probar el agua y decir: "Esto es un libro de texto excelente (puntuación 5)" o "Esto es basura tóxica (puntuación 1)".
  • Solo guardaron el agua cristalina y nutritiva. Crearon un corpus (un conjunto de datos) llamado GigaLekh con 90 mil millones de palabras de alta calidad.

3. El Experimento: ¿Solo hindi o hindi + inglés?

Los autores probaron dos recetas para ver cuál funcionaba mejor:

• Receta 1 (LilMoo-v0.1): Solo comió comida hindú.
• Receta 2 (LilMoo-v0.2): Comió comida hindú, pero también añadió ingredientes de alta calidad en inglés (como libros de matemáticas, ciencia y razonamiento).

El resultado: La receta mixta (v0.2) fue la ganadora en la mayoría de las pruebas.

• Analogía: Es como si el chef hindú aprendiera también a leer libros de ciencia en inglés. Esto le dio herramientas para resolver problemas más complejos y razonar mejor, sin perder su esencia cultural.
• La excepción: En pruebas muy específicas sobre cultura local (como tradiciones o costumbres de la vida diaria), el modelo que solo comió hindi (v0.1) fue ligeramente mejor. Esto nos enseña que hay que tener cuidado: añadir ingredientes extranjeros es bueno para la inteligencia general, pero puede diluir un poco el conocimiento cultural profundo si no se hace con equilibrio.

4. La Eficiencia: Hacer más con menos

Aquí está la parte más impresionante.

• Los modelos gigantes (como Qwen3) necesitan 100 veces más energía y tiempo de computadora para entrenarse.
• LilMoo logró superar a esos gigantes en pruebas de razonamiento y comprensión del hindi, usando una fracción de la energía.
• Analogía: Es como si un pequeño coche eléctrico (LilMoo) pudiera ganar una carrera de velocidad contra un camión de carga gigante (Qwen) en una carretera de montaña (el hindi), gastando solo una décima parte de la gasolina.

5. Transparencia: "Aquí está mi receta"

La mayoría de las empresas de IA son como restaurantes secretos: te dan el plato, pero no te dicen los ingredientes ni la receta.

• LilMoo es código abierto. Los autores publicaron todo: los datos limpios, el código para entrenar, las recetas exactas y las herramientas de evaluación.
• Esto es como si el chef te diera su libro de recetas completo, los ingredientes exactos y te enseñara cómo cocinarlo tú mismo. Esto permite que otros investigadores mejoren el trabajo y creen modelos para otros idiomas que hoy están olvidados.

En resumen

Este paper nos dice que no necesitamos construir elefantes gigantes para entender idiomas pequeños. Si nos tomamos el tiempo de limpiar bien los datos, diseñar una buena receta y entrenar con cuidado, podemos crear modelos pequeños, rápidos y baratos que entiendan y respeten la cultura local mucho mejor que los gigantes genéricos.

Es un paso gigante hacia una Inteligencia Artificial más justa, donde el hindi (y otros idiomas) no sean solo una traducción secundaria, sino el protagonista principal.

Resumen técnico

Resumen Técnico: LilMoo, un Modelo de Lenguaje Compacto para Hindi

1. Problema y Motivación

El dominio actual de los modelos fundacionales multilingües masivos ha exacerbado las desigualdades lingüísticas en el Procesamiento del Lenguaje Natural (PLN). Aunque existen modelos grandes (como Qwen o LLaMA) que soportan Hindi, estos suelen ser:

• Opacos: Sus datos de preentrenamiento, recetas y hiperparámetros no son públicos.
• Ineficientes para lenguas de bajos recursos: A menudo se basan en preentrenamiento continuo (Continual Pretraining - CPT) sobre bases multilingües, lo que diluye la capacidad específica del idioma y no ofrece una comprensión profunda de la dinámica de aprendizaje.
• Desbalanceados: Los idiomas de bajos recursos como el Hindi (aunque es el tercer idioma más hablado) sufren de escasez de datos digitales de alta calidad y contaminación por inglés (Hinglish).

El objetivo de este trabajo es demostrar que es posible construir un modelo nativo de alto rendimiento para una lengua de bajos recursos desde cero, con un presupuesto computacional limitado, superando a modelos multilingües mucho más grandes y opacos.

2. Metodología

A. Construcción del Corpus (GigaLekh)
El equipo creó GigaLekh, un corpus de alta calidad de aproximadamente 90 mil millones de tokens (83 millones de documentos). El pipeline de filtrado incluyó:

• Filtrado Heurístico: Eliminación de duplicados, texto malformado y contenido repetitivo.
• Filtrado Aprendido (LLM-as-a-Judge): Se utilizó Qwen2.5-32B para puntuar documentos en dos dimensiones: calidad educativa y toxicidad (escala 1-5).
• Distilación: Las anotaciones del LLM grande se usaron para entrenar clasificadores ligeros (Hindi-RoBERTa) para filtrar el corpus completo de manera eficiente.
• Composición: El corpus final se dividió en un subconjunto "default" (limpio) y uno "excluido" (tóxico, reservado para investigación futura).

B. Diseño del Tokenizador
Se entrenó un tokenizador desde cero usando SentencePiece con un vocabulario de 49,152 tokens.

• Datos de entrenamiento: Mezcla de texto en Hindi (Edu-score ≥3), inglés (FineWeb-Edu) y código (Starcoder).
• Eficiencia: Logró una fertilidad de 1.46 (tokens por palabra), superando a tokenizadores de modelos grandes como Qwen2.5 y Llama-3.2 en la representación del Hindi.

C. Arquitectura del Modelo
Se entrenaron dos versiones de LilMoo basadas en la arquitectura Llama (0.6B de parámetros):

• LilMoo-v0.1 (Monolingüe): Entrenado exclusivamente con texto en Hindi.
• LilMoo-v0.2 (Bilingüe): Entrenado con una mezcla de Hindi y texto en inglés de alta calidad (educativo, razonamiento, matemáticas).

D. Recetas de Entrenamiento

• Receta Simple (v0.1): Un solo estadio con decaimiento de tasa de aprendizaje cosinosa. Se repitió el dataset 5 veces para alcanzar ~375B de tokens.
• Receta Multi-etapa (v0.2): Un currículo de tres etapas (Warmup-Stable-Decay) que introduce progresivamente datos de mayor calidad y una mezcla equilibrada (~50:50 Hindi-Inglés). Se utilizó una estrategia de muestreo selectivo para priorizar datos educativos en inglés y de razonamiento.

E. Infraestructura
Entrenamiento realizado en el cluster Marvin (Universidad de Bonn) utilizando 8 GPUs NVIDIA A100. Se emplearon optimizaciones como FlashAttention-2, Grouped-Query Attention (GQA), activación de checkpoint y entrenamiento en precisión mixta (BF16), logrando un 70% de utilización de FLOPs del modelo (MFU).

3. Contribuciones Clave

1. GigaLekh: Un corpus de 90B tokens en Hindi filtrado con métodos heurísticos y de aprendizaje, junto con los clasificadores de calidad y toxicidad entrenados.
2. Modelos Base Abiertos: LilMoo-v0.1 (solo Hindi) y LilMoo-v0.2 (Hindi+Inglés), ambos de 0.6B parámetros.
3. Receta de Entrenamiento Reproducible: Un pipeline completo y transparente para lenguas de bajos recursos, optimizado para presupuestos computacionales limitados.
4. Suite de Evaluación en Hindi: Un conjunto de benchmarks estandarizados y reproducible para medir el progreso en tareas específicas de Hindi.
5. Liberación Total: Todos los datos, modelos, código y recetas están disponibles bajo licencias permisivas (Apache 2.0).

4. Resultados

Rendimiento en Benchmarks:
LilMoo fue evaluado frente a baselines de modelos multilingües de tamaño similar (Qwen2.5-0.5B y Qwen3-0.6B) y modelos más grandes (OpenHathi-7B, Gemma, Llama-3.2).

• Superioridad Consistente: LilMoo-v0.2 superó consistentemente a Qwen3-0.6B y Qwen2.5-0.5B en 5 de los 6 benchmarks principales (ARC, HellaSwag, CSQA, MILU, Global PIQA).
• Métricas Agregadas (NPM):
  • LilMoo-v0.2: 9.94
  • LilMoo-v0.1: 8.70
  • Qwen3-0.6B: 4.08
  • Qwen2.5-0.5B: 1.92
• Impacto del Inglés: La versión bilingüe (v0.2) mejoró el rendimiento general en tareas de razonamiento y conocimiento, aunque la versión monolingüe (v0.1) superó ligeramente en Global PIQA (tarea culturalmente específica), sugiriendo que la inclusión de inglés puede diluir ligeramente la comprensión de contextos culturales locales.

Eficiencia Computacional:

• LilMoo se entrenó con aproximadamente 1.3 x 10^21 FLOPs.
• En contraste, Qwen3-0.6B requiere aproximadamente 1.3 x 10^23 FLOPs (casi 100 veces más).
• Conclusión de eficiencia: LilMoo logra un rendimiento superior utilizando solo ~1% de la potencia computacional requerida por sus contrapartes masivas.

5. Significado e Impacto

Este trabajo desafía la narrativa de que "más parámetros y más datos" son siempre necesarios para un buen rendimiento en lenguas de bajos recursos.

• Validación de Enfoques Específicos: Demuestra que el preentrenamiento nativo bien diseñado, combinado con una curación de datos rigurosa, puede superar a modelos multilingües masivos entrenados de manera opaca.
• Sostenibilidad y Accesibilidad: Proporciona una ruta viable para que instituciones con recursos limitados desarrollen modelos de IA de alta calidad para sus idiomas locales, reduciendo la brecha lingüística en la IA.
• Transparencia: Al liberar todo el stack (datos, código, recetas), fomenta la investigación reproducible y permite a la comunidad científica entender qué impulsa realmente el rendimiento en lenguas como el Hindi.

En resumen, LilMoo establece un nuevo estándar para los modelos de lenguaje compactos en lenguas de bajos recursos, demostrando que la calidad de los datos y la ingeniería de la receta de entrenamiento son tan críticas como la escala computacional.