Resumen Técnico: Jais 2 – Una familia de modelos de lenguaje extensos abiertos centrados en el árabe

Planteamiento del problema

A pesar de los rápidos avances en los modelos de lenguaje extensos (LLM) multilingües, el campo sigue estando fuertemente sesgado hacia el inglés y un conjunto limitado de lenguas de altos recursos. El árabe, caracterizado por su compleja morfología, la diglosia (la coexistencia del árabe estándar moderno y diversos dialectos regionales) y su rico contexto cultural, está significativamente subrepresentado en los corpus de entrenamiento globales. Los modelos de propósito general existentes (por ejemplo, Llama 3, Gemma, Qwen) suelen exhibir una competencia parcial en árabe, teniendo dificultades especialmente con las variaciones dialectales, el razonamiento con matices culturales y dominios específicos como la jurisprudencia islámica, la poesía y la cocina regional. Además, muchas iniciativas centradas en el árabe dependen de la adaptación de bases multilingües o se limitan a dominios lingüísticos estrechos, careciendo de la escala y el fundamento cultural necesarios para un despliegue robusto y real en todo el mundo árabe.

Metodología

Arquitectura del modelo e infraestructura de entrenamiento

Jais 2 es una familia de modelos tipo decoder-only Transformer lanzada en dos variantes: 8B y 70B de parámetros. Ambos modelos han sido entrenados desde cero.

• Arquitectura: Los modelos utilizan una relación de filtro feedforward expandida (8× el tamaño oculto), activaciones ReLU2 para inducir la dispersión y Embeddings de Posición Rotatorios (RoPE) para una extensión de contexto superior. A diferencia de las versiones anteriores de Jais que utilizaban ALiBi, Jais 2 adopta RoPE. La arquitectura emplea la Parametrización de Actualización Máxima (µP) para permitir la transferencia zero-shot de hiperparámetros óptimos desde modelos proxy pequeños a variantes de gran escala.
• Tokenización: Se desarrolló un tokenizador personalizado de Codificación de Par de Bytes (BPE) con un tamaño de vocabulario de 150,272, optimizado específicamente para el árabe, el inglés y el código, preservando al mismo tiempo los tokens con prefijo de espacio cruciales para la semántica y el formato.
• Infraestructura: El entrenamiento se llevó a cabo en Condor Galaxy 1 y 2, clusters de escala de oblea (Wafer-Scale Clusters) de Cerebras que comprenden hasta 64 sistemas CS-2. Esta arquitectura permitió un escalado lineal casi perfecto, lo que permitió el entrenamiento del modelo 70B con un presupuesto de tokens sustancialmente menor que modelos comparables.

Estrategia de datos y preentrenamiento

Jais 2 emplea un currículo de entrenamiento de dos etapas:

1. Etapa 1 (Preentrenamiento): El modelo se entrena con una mezcla de más de 600 mil millones de tokens de árabe y 1.6 billones de tokens totales. La mezcla de datos incluye:
   • Datos en árabe: Curados de diversas fuentes que incluyen datos web, textos religiosos, poesía, literatura y contenido científico. Crucialmente, esto incluye 17 variantes dialectales (por ejemplo, darija marroquí, egipcio, del Golfo, levantino) y Arabizi (árabe escrito con alfabeto latino).
   • Datos en inglés/Web: Seleccionados de un estudio comparativo de tres grandes corpora web, donde se eligió el Corpus 3 por su capacidad superior de transferencia translingüística al árabe.
   • Matemáticas y Código: Integrados para asegurar capacidades de razonamiento y programación.
   • Ratio de mezcla: La mezcla final de preentrenamiento consiste en un 28% de árabe, 40% de web, 20% de matemáticas, 10% de código y 2% de datos sintéticos.
2. Etapa 2 (Recocido/Annealing): Una fase de sobremuestreo de dominio (10% de los FLOPs totales) aumenta la proporción de datos de alta calidad en árabe, matemáticas y web para abordar debilidades específicas identificadas tras el entrenamiento inicial.

Post-entrenamiento

El flujo de post-entrenamiento consta de tres etapas distintas:

1. Preentrenamiento Continuo (CPT): Dos épocas de entrenamiento con nuevos datos curados en árabe y repetición de los datos originales para refinar la pericia en el dominio.
2. Ajuste Fino de Instrucciones (IFT): Tres épocas utilizando más de 20 millones de pares de instrucción-completitud. El conjunto de datos incluye:
   • IFT General: Instrucciones estándar en árabe e inglés, incluyendo datos sintéticos para diálogos de múltiples turnos y seguridad.
   • IFT Dialectal: Conjuntos de datos específicos para el darija marroquí y el árabe egipcio, que cubren traducción, transliteración y resumen.
   • Tareas Culturales: Conjuntos de datos especializados para la Poesía Árabe (generación y análisis), Preguntas-Respuestas Islámicas (con descargos de responsabilidad ética), Interpretación de Sueños, Cocina Árabe y Resumen.
3. Alineación de Preferencias: Los modelos se alinean utilizando Optimización de Preferencia Directa (DPO) en más de 200 mil pares de preferencia (respuesta elegida vs. rechazada) para garantizar la seguridad, la utilidad y la adherencia a los valores humanos.

Mecanismos de Seguridad

La seguridad se integra mediante:

• Preparación de Datos: Se construyó una taxonomía unificada de lenguaje ofensivo (general, obsceno, discurso de odio) a partir de 30 conjuntos de datos, resultando en 205 mil muestras. Estas fueron enriquecidas con datos de IFT explicativos para enseñar al modelo por qué un contenido es ofensivo.
• Seguridad SFT: Se generó un conjunto de datos sintético de 116 mil pares de QA que cubren 30 tipos de riesgo (5 generales, 25 regionales) para guiar al modelo en el manejo de temas políticos, religiosos y sociales sensibles específicos del mundo árabe.

Contribuciones Clave

1. Modelos de Pesos Abiertos Centrados en el Árabe: Lanzamiento de Jais 2-8B y Jais 2-70B, entrenados desde cero. La variante 70B es uno de los modelos de escala más grandes centrados en el árabe entrenados íntegramente desde cero.
2. Fundamentación Cultural y Dialectal: A diferencia de modelos anteriores enfocados principalmente en el Árabe Estándar Moderno (MSA), Jais 2 está entrenado explícitamente en 17 dialectos y dominios culturalmente específicos (poesía, cocina, interpretación de sueños), permitiendo una profunda alineación cultural.
3. Entrenamiento Eficiente: El uso de un vocabulario personalizado centrado en el árabe, µP y el hardware de Cerebras permite que los modelos alcancen un alto rendimiento con un presupuesto de tokens significativamente menor en comparación con modelos similares.
4. Benchmarks Exhaustivos: Introducción y evaluación en benchmarks culturalmente fundamentados incluyendo OALL2 (Open Arabic Leaderboard 2), AraGen y benchmarks personalizados para cocina, poesía e interpretación de sueños.
5. Despliegue: Lanzamiento de los modelos en HuggingFace bajo una licencia comercialmente permisiva, junto con una aplicación de chat de alto rendimiento (hasta 2,000 tokens por segundo) ejecutándose en hardware de Cerebras.

Resultados de la Evaluación

Jais 2 demuestra un rendimiento líder entre los modelos abiertos evaluados en múltiples dimensiones:

• Opción Múltiple (OALL2): Jais 2-70B logra un promedio macro de 79.36%, superando a Llama-3.3-70B (74.23%) y Qwen2.5-72B (71.20%). Jais 2-8B lidera la categoría ≤13B con 72.40%.
• Tareas Generativas (AraGen): Los modelos Jais 2 logran los puntajes 3C3H más altos (Corrección, Completitud, Concisión, Utilidad, Honestidad, Inofensividad) en sus respectivas categorías de tamaño, con Jais 2-70B puntuando 70.71%.
• Traducción: Jais 2-70B establece nuevos récords de estado del arte para modelos abiertos en la traducción entre MSA, inglés y varios dialectos (egipcio, tunecino, levantino, del Golfo, etc.), superando a Llama-3.3-70B y Qwen2.5-72B en ambas direcciones.
• Identificación de Dialectos: Jais 2-70B logra la mayor precisión en los benchmarks MADAR y QADI, superando significativamente a otros modelos de escala 70B.
• Benchmarks Culturales:
  • Cocina: Jais 2-70B alcanza un 79.02% de precisión en un benchmark de 1,597 preguntas, liderando en Análisis de Ingredientes, Ejecución de Procedimientos y Proveniencia Geográfica.
  • Poesía: Jais 2-70B lidera en tareas de generación y análisis de poesía.
• Capacidades en Inglés: A pesar de su enfoque en el árabe, Jais 2-70B sigue siendo competitivo en benchmarks de inglés (por ejemplo, 86.09% en IFEval, 85.97% en GSM8K), demostando que la especialización fuerte en árabe no ocurre a expensas del rendimiento en inglés.

Significado

El artículo posiciona a Jais 2 como un paso fundamental hacia la democratización del acceso a la IA avanzada para el mundo de habla árabe. Al unificar escala, diversidad lingüística (MSA y 17 dialectos), fidelidad cultural y apertura, Jais 2 proporciona una base transparente y reproducible para la investigación futura. Los autores enfatizan que el modelo está diseñado no solo para cerrar la brecha lingüística en la IA global, sino también para apoyar la próxima generación de aplicaciones, investigación e innovación específicas del árabe, asegurando que el desarrollo de la IA regional se construya sobre fundamentos inclusivos y culturalmente fundamentados. El lanzamiento de los modelos y la infraestructura de chat de alto rendimiento asociada tiene como objetivo fomentar la investigación comunitaria y el despliegue práctico en todo el mundo árabe.