Resumen Técnico: RightNow-Arabic-0.5B-Turbo

Enunciado del Problema

El panorama de los Modelos de Lenguaje Grandes (LLM) de código abierto en árabe está actualmente polarizado. En un extremo, los modelos multilingües de menos de 1B (por ejemplo, Qwen2.5-0.5B, Falcon-H1-0.5B) tratan el árabe como un idioma secundario, careciendo de vocabulario especializado o datos de entrenamiento, lo que resulta en una alta fertilidad de tokens (codificación ineficiente) y un rendimiento inferior. En el otro extremo, los modelos especializados en árabe (por ejemplo, Jais, AceGPT, ALLaM, SILMA) oscilan entre 7B y 70B parámetros. Si bien estos logran puntuaciones sólidas en los puntos de referencia, requieren de 16 a 140 GB de memoria, volviéndolos inaccesibles para la implementación en el borde en teléfonos, portátiles o dispositivos integrados.

Un intento anterior de cerrar esta brecha, Kuwain-1.5B, propuso la inyección de vocabulario pero nunca publicó sus pesos, dejando un vacío para un decodificador especializado en árabe, de menos de 1B y desplegable. Este artículo aborda la necesidad de un modelo que equilibre la especialización en árabe con las estrictas limitaciones de memoria y computación de los dispositivos de borde.

Metodología

Los autores presentan RightNow-Arabic-0.5B-Turbo, un LLM decodificador de 518 millones de parámetros construido sobre la base Qwen2.5-0.5B. La tubería de entrenamiento consta de cinco etapas distintas, orquestadas para maximizar el rendimiento dentro del límite de escala del modelo:

1. Inyección de Vocabulario (Cirugía del Tokenizador):

   • El tokenizador base de Qwen2.5-0.5B (151,665 tokens) se expandió añadiendo 27,032 nuevos tokens árabes.
   • Inicialización: Las nuevas incrustaciones de tokens se inicializaron utilizando inicialización por subtoken medio (promediando las incrustaciones de la descomposición en subpiezas del nuevo token desde el vocabulario original), una técnica formalizada por WECHSEL y adoptada por Kuwain y ALLaM.
   • Resultado: Esto redujo la fertilidad de tokens árabes de 2.18 a 1.80 tokens por palabra (una reducción del 17.3%), disminuyendo directamente los costos de inferencia.

2. Preentrenamiento Continuo:

   • El modelo se preentrenó con 504 millones de tokens de Wikipedia en árabe.
   • Infraestructura: El entrenamiento utilizó 8×GPUs H100 con FSDP (Sharding Híbrido Zero2), FlashAttention varlen (para empaquetar secuencias sin relleno) y núcleos fusionados Liger (para RMSNorm, RoPE, SwiGLU y entropía cruzada eficientes en memoria).
   • Optimización: AdamW fusionado con una tasa de aprendizaje máxima de $2 \times 10^{-4}$, decaimiento coseno y un total de 10.5 mil millones de tokens de entrenamiento.

3. Ajuste Fino Supervisado (SFT):

   • El modelo se ajustó finamente en 129,116 pares de instrucciones derivados de cinco conjuntos de datos árabes fusionados.
   • Enmascaramiento de Pérdida: Crucialmente, la pérdida se calculó solo en los tokens de respuesta del asistente, enmascarando el prompt para concentrar la señal de aprendizaje en la distribución de generación.

4. Optimización Directa de Preferencias (DPO):

   • El punto de control SFT pasó por DPO en 6,750 pares de preferencias en árabe.
   • Observación: Los autores notan que la señal de preferencia fue débil a esta escala, con la pérdida de entrenamiento permaneciendo cerca de $\ln 2$ y los márgenes de recompensa cerca de cero, lo que sugiere que el tamaño o la calidad del conjunto de datos (traducido por máquina) fue insuficiente para impulsar una mejora significativa por sí solo.

5. Fusión de Mezcla de Pesos (Weight Soup Merging):

   • Para mitigar la señal DPO débil y recuperar capacidades, los autores fusionaron tres puntos de control: el punto de control DPO, el punto de control SFT y el punto de control de preentrenamiento continuo.
   • Configuración: Una "mezcla" (soup) lineal con pesos de 50% DPO, 25% SFT y 25% Preentrenamiento produjo los mejores resultados, mejorando la precisión media en 0.44 puntos absolutos sobre el punto de control DPO por sí solo.

6. Implementación en el Borde:

   • El modelo final se exportó al formato llama.cpp GGUF.
   • Cuantización: Se produjeron cuatro niveles (f16, q8_0, q5_k_m, q4_k_m). Debido a la desalineación de la expansión del vocabulario con los tamaños de baldosas de cuantización k, los bits efectivos por peso para q4_k_m y q5_k_m son 6.45 y 6.79 respectivamente, en lugar de los nominales 4 y 5.

Contribuciones Clave

1. El LLM Especializado en Árabe de Código Abierto Más Pequeño: El lanzamiento de un modelo de 518 millones de parámetros con pesos disponibles públicamente, el primero de su tipo en HuggingFace.
2. Tubería Reproducible: Una tubería completa de código abierto (5,555 líneas de Python en 25 scripts) que detalla la inyección de vocabulario, la carga de datos (evitando bloqueos en HuggingFace Hub mediante memmap) y el entrenamiento.
3. Eficiencia del Tokenizador: Una reducción demostrada del 17.3% en la fertilidad de tokens árabes, traducida en una inferencia más rápida para el mismo contenido semántico.
4. Evaluación Comparativa: Evaluación cara a cara contra seis modelos competidores en tres tareas árabes (COPA-ar, Arabic HellaSwag, ArabicMMLU), estableciendo una nueva línea base para modelos de menos de 1B.
5. Ablación sobre la Fusión: Una evaluación sistemática de siete variantes de mezcla de pesos, identificando que promediar los puntos de control mejora la generalización en comparación con depender únicamente del punto final DPO.
6. Rendimiento en el Borde: Demostración del modelo ejecutándose a 635 tokens/s en una sola H100 (tamaño de lote 1) en cuantización de 4 bits, ocupando solo 398 MB en disco.

Resultados Experimentales

Evaluado utilizando lm-evaluation-harness (v0.4.11):

• Rendimiento de la Misma Clase: RightNow-Arabic-0.5B-Turbo superó a todos los demás modelos de código abierto de menos de 1B (Qwen2.5-0.5B y Falcon-H1-0.5B) en COPA-ar (+4.5% y +13.5% respectivamente) y HellaSwag-ar. Logró una precisión media del 35.9%, superando las líneas base multilingües.
• Comparación de Escala:
  • El modelo recupera el 67.1% de la precisión media de SILMA-9B (un modelo de 9 mil millones de parámetros) mientras utiliza solo el 5.8% de los parámetros.
  • Empata con Falcon-H1-1.5B (1.5 mil millones de parámetros) en la prueba de referencia COPA-ar (58.4%) a pesar de tener un tercio de los parámetros.
  • Como era de esperar, persiste una brecha significativa en tareas intensivas en conocimiento (ArabicMMLU), donde el modelo de 0.5B se queda atrás de los modelos de 7B+ por 12–30 puntos, confirmando un "techo de conocimiento" dictado por la cantidad de parámetros.
• Velocidad de Inferencia: Utilizando llama.cpp en una H100, el modelo cuantizado a 4 bits alcanza 635 tokens/s con tamaño de lote 1, una aceleración de 8x sobre las implementaciones estándar generate() de HuggingFace debido a gráficos CUDA optimizados y bucles de muestreo en C++.

Significado y Afirmaciones

El artículo afirma que RightNow-Arabic-0.5B-Turbo es el decodificador LLM especializado en árabe de código abierto más pequeño lanzado hasta la fecha. Su importancia radica en demostrar que la orquestación cuidadosa de técnicas existentes—específicamente la inyección de vocabulario, el enmascaramiento de pérdida solo en respuestas y la fusión de mezcla de pesos—puede producir un modelo viable para la implementación en el borde sin requerir nuevos paradigmas de entrenamiento.

Los autores son modestos sobre las limitaciones del modelo, declarando explícitamente:

• Techo de Conocimiento: El modelo no puede cerrar la brecha en puntos de referencia ricos en conocimiento (como MMLU) frente a modelos de 7B+; la cantidad de parámetros es el factor limitante para el conocimiento del mundo.
• Limitaciones de Dialectos: El modelo se entrena en Árabe Estándar Moderno (MSA) y tiene un rendimiento deficiente en dialectos (egipcio, del Golfo, levantino).
• Debilidad de DPO: La etapa DPO proporcionó una señal mínima a esta escala, sugiriendo que el ajuste de preferencias puede requerir conjuntos de datos más grandes o modelos de referencia más fuertes para ser efectivo en modelos de menos de 1B.

El trabajo apunta al nicho específico de usuarios que necesitan especialización en árabe en dispositivos con memoria limitada (teléfonos, CPUs de borde) donde los modelos de más de 14 GB son inviables, ofreciendo una alternativa práctica y abierta al panorama actual de "todo o nada".