Resumen Técnico: PARAMANU

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) actuales están predominantemente entrenados en inglés y lenguas europeas de altos recursos, lo que genera disparidades significativas de rendimiento para lenguas de bajos recursos y morfológicamente ricas como las habladas en la India. Los modelos multilingües suelen sufrir de un "sesgo centrado en el inglés", donde "piensan en inglés", lo que resulta en un rendimiento degradado en escrituras no latinas. Además, estos modelos utilizan frecuentemente un tokenizador de "lenguaje para todos" que causa una sobresegmentación en lenguas morfológicamente ricas, lo que conduce a una alta fertilidad de tokens, mayores costos de inferencia y una reducción de la fluidez. Adaptar los modelos existentes centrados en el inglés a las lenguas indias mediante el preentrenamiento continuo o el ajuste fino presenta desafíos como la ineficiencia en la extensión del vocabulario, el desalineamiento de los embeddings y el olvido catastrófico, lo que requiere recursos computacionales que están fuera del alcance de los investigadores con pocos recursos.

Metodología

Los autores presentan PARAMANU, una familia de modelos de lenguaje autoregresivos de decodificador solo (decoder-only) monolingües entrenados desde cero específicamente para cinco lenguas principales de la India: bengalí, hindi, maratí, tamil y telugu. Los modelos varían en tamaño desde 108M hasta 367M de parámetros y están diseñados para ser entrenados en una sola GPU con un presupuesto inferior a $1,000.

Componentes Técnicos Clave:

1. Curación y Limpieza de Datos:

   • El corpus de preentrenamiento consiste en ~54.6 GB de texto UTF-8 (25–66 mil millones de tokens) derivado de noticias web, blogs y Wikipedia (IndianCorp v2, Vacaspati).
   • La limpieza rigurosa incluye filtrado por regex de HTML/XML, eliminación de caracteres no literales, identificación de idioma (usando cld3 e IndianLID-FTN), filtrado de toxicidad y deduplicación mediante MurmurHash5.
   • La división de oraciones utiliza puntuación específica del idioma (por ejemplo, el "danda" | para las escrituras bengalí y devanagari).

2. Tokenización Alineada con la Morfología:

   • Para abordar la sobresegmentación, los autores desarrollaron un tokenizador híbrido que combina el BPE (Byte Pair Encoding) con tokens del Modelo de Lenguaje Unigrama.
   • Los tokens Unigram, que capturan estructuras morfológicas globales mediante la poda probabilística, se fusionan en el vocabulario BPE.
   • Este enfoque preserva raíces y sufijos frecuentes como subpalabras atómicas, reduciendo significativamente la fertilidad de tokens (el número de tokens por palabra) en comparación con el BPE estándar o modelos multilingües como Sarvam 2B y Llama-3.

3. Escalado de Contexto mediante Interpolación Posicional:

   • Para entrenar en secuencias más largas (hasta 4096 tokens) en hardware con ventanas de contexto limitadas (por ejemplo, 256 tokens en una sola GPU A100), los autores emplean un factor de reducción para los Embeddings Posicionales Rotatorios (RoPE).
   • Los índices de posición de los tokens $p$ se escalan a $p' = p \cdot (L/y)$, donde $L$ es la longitud de contexto permitida por el hardware y $y$ es la longitud objetivo. Esto permite que el modelo aprenda dependencias de largo alcance al mapear posiciones absolutas en un rango más estrecho soportado por el hardware mientras preserva las distancias relativas.

4. Ajuste de Instrucciones (Instruction Tuning):

   • Se creó un conjunto de datos de 23,000 instrucciones para el bengalí, que comprende muestras de autoría humana, instrucciones de Dolly traducidas y muestras de auto-instrucción (self-instruct).
   • Estas fueron traducidas automáticamente (con edición manual posterior) al hindi, maratí, tamil y telugu para alinear los modelos con las instrucciones humanas.

5. Arquitectura del Modelo:

   • Basada en la arquitectura de Transformer decoder, utilizando RMSNorm, activación SwiGLU y unión de pesos (weight tying).
   • Las configuraciones siguen las leyes de escala de Chinchilla, con modelos que varían entre 108M y 367M de parámetros.

Contribuciones Clave

1. Familia PARAMANU: Los primeros modelos de lenguaje de decodificador abiertos, exclusivos para la India y de menos de 400M de parámetros, entrenados desde cero en datos transparentes y específicos del idioma para bengalí, hindi, maratí, tamil y telugu.
2. Tokenizadores de Baja Fertilidad: Nuevos tokenizadores alineados con la morfología que combinan los métodos BPE y Unigram para reducir el conteo de tokens y mejorar la coherencia morfológica para las escrituras indias.
3. Técnicas de Entrenamiento Eficientes: Un método basado en la interpolación para los índices de posición de RoPE que permite el entrenamiento de contexto largo en configuraciones de una sola GPU, y el uso de $\mu$P transfer para la optimización de hiperparámetros.
4. Conjuntos de Datos de Instrucción: Nuevos conjuntos de datos de ajuste de instrucciones en bengalí, traducidos a otras lenguas objetivo, facilitando la alineación de los modelos con las instrucciones humanas.

Resultados

Los modelos PARAMANU fueron evaluados contra 21 modelos LLM multilingües e indios adaptados (que oscilan entre 200M y 8B de parámetros) utilizando benchmarks como MMLU, ARC, Belebele, XNLI y conjuntos de datos específicos de la lengua (HellaSwag, XCOPA, XStoryCloze).

• Rendimiento vs. Tamaño: A pesar de su pequeño tamaño (<400M de parámetros) y datos de entrenamiento limitados (<70B de tokens), los modelos PARAMANU superan a la mayoría de los modelos multilingües más grandes (hasta 3B de parámetros) en las cinco lenguas.
• Comparación con Modelos Más Grandes: Los modelos superan a 6 de cada 10 modelos más grandes (>3B de parámetros), incluyendo aquellos entrenados con datos de bajos recursos sobremuestreados (ej. xGLM). Aunque modelos como LLaMA-3-8B y Bloomz-7B lideran en general debido al masivo ajuste de instrucciones, PARAMANU se mantiene competitivo.
• Estudios de Ablación:
  • El tokenizador híbrido mejoró el rendimiento en tareas downstream entre un 0.56% y un 2.02% respecto al BPE estándar.
  • La limpieza de datos aumentó las puntuaciones entre un 1% y un 3.5%.
  • La interpolación de posición permitió el entrenamiento efectivo en secuencias más largas, con un rendimiento que generalmente aumenta con el tamaño del contexto.
• Transferencia Translingüe: Los modelos demostraron fuertes capacidades de transferencia zero-shot dentro de la familia de la escritura Devanagari (por ejemplo, un modelo de maratí funcionando bien en benchmarks de hindi), lo que sugiere utilidad para tareas translingües.

Significado y Reivindicaciones

El artículo argumenta que, para lenguas de bajos recursos y morfológicamente ricas, la estrategia óptima no es necesariamente maximizar la escala del modelo o depender de corpus multilingües masivos. En su lugar, construir modelos específicos de la lengua con tokenizadores de baja fertilidad y alineados con la morfología, entrenados en datos limpios y específicos, produce un compromiso superior entre rendimiento y eficiencia.

PARAMANU demuestra que los modelos monolingües pequeños pueden ser competitivos con alternativas multilingües mucho más grandes cuando se entrenan bajo estrictas restricciones computacionales y presupuestarias. Este enfoque hace que el modelado de lenguaje avanzado sea accesible para investigadores y comunidades con pocos recursos, proporcionando una base práctica para la investigación de NLP y aplicaciones downstream en lenguas indias. Los autores enfatizan que su lanzamiento de código abierto de modelos, tokenizadores y conjuntos de datos tiene como objetivo cerrar la brecha para las lenguas históricamente subrepresentadas en la investigación de IA, fomentando la transparencia y el avance impulsado por la comunidad.