Goldfish: Monolingual Language Models for 350 Languages

El artículo presenta Goldfish, un conjunto de más de 1.000 modelos de lenguaje monolingües pequeños entrenados para 350 idiomas que superan a los grandes modelos multilingües en tareas de gramática y perplejidad, especialmente para lenguas de recursos limitados.

Lo esencial

¡Hola! Imagina que el mundo de la Inteligencia Artificial es como una gigantesca biblioteca de cocina.

Durante años, los chefs más famosos (los grandes modelos de IA como BLOOM o XGLM) han estado preparando un guiso gigante (un modelo multilingüe) que intenta cocinar para todo el mundo al mismo tiempo. Tienen ingredientes para 100 idiomas, pero el problema es que la olla es tan grande que, para las lenguas raras o con pocos hablantes (los idiomas de "recursos bajos"), solo les ha caído una pizca de sal o un diente de ajo suelto.

El resultado es que, aunque el guiso sabe muy bien para el inglés o el español, cuando intentan cocinar para el quechua, el swahili o el guaraní, el plato sale sin sabor, desordenado y, a veces, incluso imposible de comer.

¿Qué hicieron estos investigadores? (La historia de los "Goldfish")

Un grupo de científicos de la Universidad de California se dijo: "¡Espera! ¿Por qué seguimos intentando hacer un guiso gigante para todos? ¿Por qué no hacemos 1,000 sopas pequeñas, una para cada idioma, con los ingredientes exactos que necesita esa cultura?"

Así nació Goldfish (los "Peces Dorados").

1. El nombre y la idea

Se llaman "Goldfish" (Peces Dorados) por una broma interna:

• Son pequeños (como un pez dorado).
• Son muchos (hay más de 1,000 de ellos).
• Y, como los peces dorados de los cuentos, tienen una "memoria" limitada (no son genios que razonan como humanos, pero saben hablar muy bien su propio idioma).

2. El experimento: Pequeño pero potente

Los investigadores tomaron 350 idiomas diferentes. Para cada uno, entrenaron un modelo de IA monolingüe (que solo habla ese idioma) usando datos limitados (desde 5 megabytes hasta 1 gigabyte).

La analogía de la "pizca de sal":
Imagina que tienes un libro de recetas gigante (el modelo multilingüe) donde el capítulo de "Cocina Africana" tiene solo 3 páginas escritas con letra muy pequeña. El modelo intenta adivinar qué sigue, pero se equivoca.
En cambio, Goldfish toma esas 3 páginas, las estudia a fondo, y crea un pequeño librito dedicado solo a esa cocina. Aunque el librito sea pequeño, el chef (la IA) lo conoce tan bien que puede escribir recetas perfectas, mucho mejores que las del libro gigante.

3. Los resultados: ¡Ganaron los pequeños!

Lo sorprendente del estudio es que estos "Peces Dorados" pequeños:

• Hablan más fluido: Cometen menos errores gramaticales que los gigantes.
• Son más eficientes: Usan mucha menos energía y memoria que los modelos gigantes.
• Sorprenden a los expertos: En muchos idiomas, estos modelos pequeños funcionan mejor que un modelo gigante que tiene miles de millones de parámetros. De hecho, en algunos casos, incluso un modelo tan simple como un "bigrama" (que solo mira la palabra anterior) funcionaba mejor que los gigantes, ¡pero los Peces Dorados fueron los mejores de todos!

4. La única limitación: No son filósofos

Aquí viene la parte honesta. Si le pides a un "Pez Dorado" que resuelva un problema de lógica complejo o que escriba un ensayo filosófico, se quedará mirándote con ojos vacíos.

• Lo que hacen bien: Escribir oraciones gramaticalmente correctas, contar historias simples y entender la estructura del idioma.
• Lo que no hacen bien: Razonamiento complejo. Son como un niño que habla perfectamente su lengua materna pero aún no ha ido a la universidad para estudiar lógica avanzada.

¿Por qué es esto importante para el mundo?

Hasta ahora, la tecnología de IA había ignorado a miles de idiomas porque "no valía la pena" entrenar un modelo gigante para ellos.

Goldfish cambia las reglas del juego:

1. Democratización: Ahora, cualquier laboratorio pequeño puede tener un modelo de IA para su idioma local sin necesitar superordenadores.
2. Justicia: Se le da voz a idiomas que antes eran invisibles para la tecnología.
3. Calidad: Por primera vez, tenemos modelos dedicados para 215 idiomas que antes no tenían ninguno.

En resumen

Imagina que la IA es un orador.

• Los modelos gigantes son como un orador que sabe un poco de todo, pero que tartamudea y se equivoca cuando habla idiomas que no son su fuerte.
• Los Goldfish son como 1,000 locutores locales. Cada uno solo habla un idioma, pero lo hace con una fluidez, pasión y precisión que el orador gigante nunca podrá igualar.

Los autores han liberado estos "Peces Dorados" a todo el mundo (disponibles en Hugging Face) para que investigadores y comunidades puedan usarlos, mejorar sus idiomas y asegurar que, en el futuro, la tecnología no deje a nadie atrás.

Resumen técnico

Resumen Técnico: Goldfish - Modelos de Lenguaje Monolingües para 350 Idiomas

1. El Problema

La investigación actual en Modelos de Lenguaje (LM) para idiomas de recursos bajos (low-resource languages) depende casi exclusivamente de grandes modelos multilingües entrenados simultáneamente en muchos idiomas (como XGLM, BLOOM o MaLA-500). Sin embargo, el artículo identifica dos problemas críticos:

• Rendimiento deficiente en generación básica: A pesar de su capacidad de razonamiento, estos grandes modelos multilingües luchan con la predicción básica del siguiente token y la generación de texto gramatical en idiomas de recursos bajos. En muchos casos, su rendimiento (medido por la perplejidad) es peor que el de modelos simples de bigramas.
• Falta de modelos dedicados: Para 215 de los 350 idiomas analizados, no existía ningún modelo de generación de texto monolingüe antes de este trabajo, y para 47 idiomas no existía ningún modelo de generación en absoluto.
• Desequilibrio de datos: Los conjuntos de datos de entrenamiento para modelos masivos están sesgados hacia idiomas de alto recurso (ej. BLOOM tiene 0.07 MB de datos para el idioma Akan, frente a terabytes para el inglés), lo que limita severamente la capacidad de los modelos para aprender patrones lingüísticos específicos de idiomas minoritarios.

2. Metodología

Los autores presentan Goldfish, una suite de más de 1,000 modelos de lenguaje monolingües pequeños, diseñados para ser comparables entre sí y optimizados para recursos limitados.

• Arquitectura: Se entrenaron modelos autoregresivos basados en la arquitectura Transformer (tipo GPT-2) desde cero.
  • Para conjuntos de datos de 100MB, 1GB y completos: Arquitectura de 125M parámetros (equivalente a GPT-1 o BERT-base).
  • Para conjuntos de datos de 5MB y 10MB: Arquitectura más pequeña de 39M parámetros (basada en Turc et al., 2019), ya que modelos más grandes no ofrecen beneficios significativos con tan pocos datos.
• Datos de Entrenamiento:
  • Se fusionaron corpus masivos (Chang et al., 2024a, Glot500, MADLAD-400).
  • Se aplicó una escala de prima de bytes (byte premium) para normalizar el tamaño de los datos. Dado que diferentes idiomas requieren diferentes cantidades de bytes para codificar el mismo contenido semántico, los tamaños de los conjuntos de datos se ajustaron para representar cantidades "equivalentes" de texto en inglés.
  • Se entrenaron modelos en cuatro tamaños de datos disponibles: 5MB, 10MB, 100MB y 1GB (o el conjunto completo si era menor a 1GB).
  • Se eliminaron datos contaminados (como FLORES-200 y AmericasNLI) para garantizar evaluaciones justas.
• Tokenización: Cada modelo tiene su propio tokenizador Unigram (SentencePiece) entrenado en el mismo conjunto de datos que el modelo correspondiente, con un vocabulario de 50k tokens.
• Entrenamiento: Se entrenaron durante 10 épocas. El costo computacional total fue de $1.65 \times 10^{20}$ FLOPs, menos de 1/1900 del costo de entrenar GPT-3.

3. Contribuciones Clave

1. Liberación de Goldfish: Se pone a disposición pública una suite de 1,154 modelos monolingües para 350 idiomas. Para 215 de estos idiomas, son los primeros modelos monolingües de generación de texto disponibles públicamente.
2. Evidencia de la ineficacia de los modelos multilingües grandes: Demuestran empíricamente que los grandes modelos multilingües a menudo tienen un rendimiento peor que los bigramas simples en tareas de predicción de tokens para idiomas de recursos bajos.
3. Baselines comparables: Proporcionan la primera serie de modelos entrenados de manera comparable (mismo tamaño, misma arquitectura, misma cantidad de datos normalizada) para una diversidad tan amplia de idiomas, permitiendo estudios lingüísticos y de NLP más justos.
4. Accesibilidad: Los modelos están diseñados para ser ejecutables en hardware con recursos limitados, democratizando la investigación en NLP para comunidades lingüísticas subrepresentadas.

4. Resultados

Los modelos Goldfish fueron evaluados contra modelos multilingües de última generación (XGLM, BLOOM, MaLA-500) y modelos de bigramas basales.

• Perplejidad (FLORES-200):
  • Goldfish logró una perplejidad logarítmica más baja que los cuatro modelos de comparación en 98 de los 204 idiomas de FLORES.
  • En promedio, Goldfish superó a XGLM 4.5B en un 13% y a MaLA-500 10B en un 11% en perplejidad.
  • Sorprendentemente, los bigramas (modelos muy simples) superaron a los grandes modelos multilingües en un 24% de los idiomas de XGLM y un 43% de los idiomas de BLOOM.
• Gramaticalidad (MultiBLiMP):
  • En la prueba de gramaticalidad MultiBLiMP, los modelos Goldfish obtuvieron una precisión promedio superior a la de cualquier modelo multilingüe probado (incluyendo BLOOM 560M, XGLM y Gemma 3).
  • Fueron los modelos más precisos en 25 de los 74 idiomas evaluados.
• Razonamiento:
  • En benchmarks de razonamiento (Belebele, XCOPA, XStoryCloze), los modelos Goldfish (al igual que otros modelos pequeños) obtuvieron resultados cercanos al azar. Esto sugiere que, aunque capturan bien la estructura gramatical, no desarrollan capacidades de razonamiento abstracto complejo a esta escala de parámetros y datos.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo desafía la noción de que "más grande y multilingüe es siempre mejor" para idiomas de recursos bajos. Sugiere que para la generación de texto gramaticalmente correcta, modelos pequeños y monolingües entrenados con datos suficientes y limpios son superiores a modelos masivos que diluyen su capacidad en miles de idiomas.
• Equidad en NLP: Al proporcionar modelos dedicados para 350 idiomas (muchos de los cuales nunca tuvieron uno), el proyecto reduce la brecha de inequidad en la investigación de Procesamiento de Lenguaje Natural (NLP) y permite a laboratorios con presupuestos computacionales limitados trabajar en estos idiomas.
• Futuro de la Investigación: Establece una base sólida para futuras investigaciones sobre la capacidad de los modelos de lenguaje en idiomas de recursos bajos, permitiendo distinguir entre la falta de datos y la ineficiencia arquitectónica de los modelos actuales.

En conclusión, Goldfish demuestra que la especialización monolingüe, incluso con recursos computacionales modestos, es una vía superior para lograr una generación de texto gramaticalmente competente en idiomas de recursos bajos, superando a los gigantes multilingües actuales en tareas fundamentales de lenguaje.