💻 computer science

RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment

Ce papier présente RightNow-Arabic-0.5B-Turbo, un modèle de langage spécialisé dans l'arabe, open-source et comptant 518 millions de paramètres, construit sur Qwen2.5-0.5B par injection de vocabulaire et affinage extensif, qui atteint des performances de pointe parmi les modèles de moins d'un milliard de paramètres tout en permettant un déploiement efficace sur périphériques grâce à une quantification en dessous de 400 Mo.

Auteurs originaux : Jaber Jaber, Osama Jaber

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaber Jaber, Osama Jaber

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique très intelligent et multilingue nommé Qwen. Il est minuscule et rapide, tenant facilement sur un ordinateur portable ou même sur un téléphone, mais il traite l'arabe comme l'une des 100 langues qu'il connaît un peu. Il n'est pas fluent ; il bégaye et doit décomposer les mots arabes en de nombreux tout petits morceaux maladroits pour les comprendre.

À l'autre extrémité du spectre, il y a les robots arabes géants (comme Jais ou SILMA). Ils sont incroyablement fluides et savants, mais ils sont si énormes et lourds qu'ils ne peuvent fonctionner que dans d'immenses et coûteux centres de données. Vous ne pouvez pas les mettre dans votre poche.

RightNow-Arabic-0.5B-Turbo est la solution « Boucle d'Or » : un petit robot qui parle parfaitement l'arabe, conçu spécifiquement pour tenir dans votre poche.

Voici comment les auteurs l'ont construit, en utilisant des analogies simples :

1. La Chirurgie du Vocabulaire (Donner un Nouveau Dictionnaire au Robot)

Le dictionnaire du robot original était trop petit pour l'arabe. Il devait couper les mots arabes en de tout petits fragments, ce qui le rendait lent et inefficace.

La Solution : L'équipe a pratiqué une « chirurgie du vocabulaire ». Ils ont pris le dictionnaire existant du robot et y ont injecté 27 000 nouveaux mots arabes directement.
Le Résultat : Au lieu d'avoir besoin de 2,18 tout petits morceaux pour décrire un mot arabe, le robot n'en a plus besoin que de 1,80. C'est comme passer d'un robot qui épelle chaque lettre d'un mot à un robot qui reconnaît les mots entiers instantanément. Cela rend le robot 17 % plus rapide lorsqu'il parle arabe.

2. Les Camps d'Entraînement (Enseigner au Robot)

L'équipe n'a pas seulement donné un nouveau dictionnaire au robot ; elle l'a envoyé dans trois camps d'entraînement intenses :

Camp 1 : La Bibliothèque (Pré-entraînement Continu) : Ils ont nourri le robot avec 504 millions de phrases arabes provenant de Wikipédia. C'était comme donner au robot un cours intensif de lecture de journaux et de livres arabes afin qu'il puisse apprendre le rythme et le flux de la langue.
Camp 2 : La Classe (Affinement Supervisé) : Ils ont appris au robot comment être un assistant utile. Ils lui ont montré 129 000 exemples de questions et de réponses. Crucialement, ils ont dit au robot : « Ne vous inquiétez pas de la partie question ; concentrez-vous simplement sur l'apprentissage de la façon d'écrire la réponse. » Cela l'a rendu bien meilleur pour suivre les instructions.
Camp 3 : Le Club de Débat (Optimisation Directe des Préférences) : Ils ont montré au robot des paires de réponses (une bonne, une mauvaise) et lui ont demandé de choisir la gagnante. Cependant, parce que le robot est si petit, cette étape n'a pas beaucoup aidé par elle-même. Les données de « préférence » étaient un peu bruyantes, comme essayer d'enseigner à un tout-petit à juger des œuvres d'art raffinées.

3. La « Soupe de Poids » (La Sauce Secrète)

Voici la partie ingénieuse. Comme l'entraînement du « Club de Débat » n'a pas fonctionné parfaitement, l'équipe n'a pas simplement choisi le robot final. Au lieu de cela, ils ont pris trois versions différentes du robot (celle après la Bibliothèque, celle après la Classe et celle après le Club de Débat) et les ont mélangées.

L'Analogie : Imaginez préparer une soupe. Vous prenez une tasse du robot « Bibliothèque », une tasse du robot « Classe » et une demi-tasse du robot « Club de Débat », et vous les mélangez.
Le Résultat : Cette « soupe » a créé un robot final plus intelligent et plus équilibré que n'importe quelle version seule.

4. Le Produit Final : Minuscule mais Puissant

Le résultat est un modèle avec 518 millions de paramètres (minuscule comparé aux géants 7B ou 9B).

Taille : Une fois compressé (quantifié) pour tenir sur un téléphone, il occupe seulement 398 Mo d'espace. C'est plus petit qu'un film haute définition.
Vitesse : Sur une puce d'ordinateur puissante, il peut générer du texte à 635 mots par seconde. C'est comme un humain qui tape à une vitesse fulgurante.
Performance :
- Il bat d'autres petits robots (comme le Qwen original) dans la compréhension de l'arabe.
- Il fait jeu égal avec un robot trois fois plus grand (Falcon-H1-1.5B) sur des tâches de raisonnement de bon sens.
- Il récupère 67 % de l'intelligence du robot massif 9B (SILMA), malgré être 18 fois plus petit.

Ce qu'il ne peut pas faire (Les Limites)

L'article est honnête sur ce que ce petit robot ne peut pas faire :

Plafond de Connaissances : Il ne connaît pas autant de faits que les robots géants. Si vous lui posez des questions de culture générale complexes (comme un quiz difficile), il perdra contre les modèles 7B ou 9B. C'est un spécialiste du langage, pas une encyclopédie de faits.
Dialectes : Il parle l'« arabe standard moderne » (la langue formelle utilisée dans les journaux et les livres). Si vous lui parlez en dialecte égyptien, du Golfe ou levantin, il vous comprendra mais répondra en arabe formel. Il n'a pas encore appris l'argot de la rue.

La Conclusion

Les auteurs ont construit le plus petit robot open-source spécialisé en arabe qui fonctionne réellement bien. Ils ont prouvé que vous n'avez pas besoin d'un superordinateur pour exécuter un assistant arabe fluide ; il vous suffit du bon vocabulaire, du bon mélange d'entraînement et d'un peu de magie de « soupe ». Tout le code, les poids et les recettes sont maintenant ouverts pour que tout le monde puisse les utiliser.

Résumé Technique : RightNow-Arabic-0.5B-Turbo

Énoncé du Problème

Le paysage des modèles de langage (LLM) arabes open source est actuellement polarisé. D'un côté, les modèles multilingues de moins de 1 milliard de paramètres (par exemple, Qwen2.5-0.5B, Falcon-H1-0.5B) traitent l'arabe comme une langue secondaire, dépourvus de vocabulaire spécialisé ou de données d'entraînement adaptées, ce qui entraîne une fertilité élevée des tokens (encodage inefficace) et des performances réduites. De l'autre côté, les modèles spécialisés en arabe (par exemple, Jais, AceGPT, ALLaM, SILMA) varient de 7 à 70 milliards de paramètres. Bien qu'ils atteignent de bons scores sur les benchmarks, ils nécessitent 16 à 140 Go de mémoire, les rendant inaccessibles pour un déploiement en périphérie sur téléphones, ordinateurs portables ou appareils embarqués.

Une tentative précédente de combler ce fossé, Kuwain-1.5B, a proposé une injection de vocabulaire mais n'a jamais publié ses poids, laissant un vide pour un décodeur spécialisé en arabe, déployable et de moins de 1 milliard de paramètres. Cet article répond au besoin d'un modèle qui équilibre la spécialisation arabe avec les contraintes strictes de mémoire et de calcul des appareils en périphérie.

Méthodologie

Les auteurs présentent RightNow-Arabic-0.5B-Turbo, un LLM décodeur de 518 millions de paramètres construit sur la base Qwen2.5-0.5B. Le pipeline d'entraînement se compose de cinq étapes distinctes, orchestrées pour maximiser les performances dans les limites de l'échelle du modèle :

Injection de Vocabulaire (Chirurgie du Tokenizer) :
- Le tokenizer de base Qwen2.5-0.5B (151 665 tokens) a été étendu en ajoutant 27 032 nouveaux tokens arabes.
- Initialisation : Les nouveaux embeddings de tokens ont été initialisés en utilisant l'initialisation par sous-token moyen (moyenne des embeddings de la décomposition en sous-pièces du nouveau token provenant du vocabulaire original), une technique formalisée par WECHSEL et adoptée par Kuwain et ALLaM.
- Résultat : Cela a réduit la fertilité des tokens arabes de 2,18 à 1,80 tokens par mot (une réduction de 17,3 %), abaissant directement les coûts d'inférence.
Pré-entraînement Continu :
- Le modèle a été pré-entraîné sur 504 millions de tokens de Wikipédia en arabe.
- Infrastructure : L'entraînement a utilisé 8×GPU H100 avec FSDP (Hybrid Sharding Zero2), FlashAttention varlen (pour l'empaquetage des séquences sans remplissage), et des noyaux fusionnés Liger (pour RMSNorm, RoPE, SwiGLU et l'entropie croisée économes en mémoire).
- Optimisation : AdamW fusionné avec un taux d'apprentissage maximal de $2 \times 10^{-4}$ , une décroissance cosinus, et un total de 10,5 milliards de tokens d'entraînement.
Affinement Supervisé (SFT) :
- Le modèle a été affiné sur 129 116 paires d'instructions dérivées de cinq jeux de données arabes fusionnés.
- Masquage de la Perte : Crucialement, la perte a été calculée uniquement sur les tokens de réponse de l'assistant, masquant l'invite pour concentrer le signal d'apprentissage sur la distribution de génération.
Optimisation Directe des Préférences (DPO) :
- Le point de contrôle SFT a subi une DPO sur 6 750 paires de préférences arabes.
- Observation : Les auteurs notent que le signal de préférence était faible à cette échelle, la perte d'entraînement restant proche de $\ln 2$ et les marges de récompense proches de zéro, suggérant que la taille du jeu de données ou sa qualité (traduite par machine) était insuffisante pour entraîner une amélioration significative par elle-même.
Fusion de Soupe de Poids :
- Pour atténuer le signal DPO faible et récupérer des capacités, les auteurs ont fusionné trois points de contrôle : le point de contrôle DPO, le point de contrôle SFT et le point de contrôle de pré-entraînement continu.
- Configuration : Une "soupe" linéaire avec des poids de 50 % DPO, 25 % SFT et 25 % Pré-entraînement a donné les meilleurs résultats, améliorant la précision moyenne de 0,44 point absolu par rapport au seul point de contrôle DPO.
Déploiement en Périphérie :
- Le modèle final a été exporté au format GGUF llama.cpp.
- Quantification : Quatre niveaux ont été produits (f16, q8_0, q5_k_m, q4_k_m). En raison d'un désalignement de l'expansion du vocabulaire avec les tailles de tuiles de quantification k, les bits effectifs par poids pour q4_k_m et q5_k_m sont respectivement de 6,45 et 6,79, plutôt que les 4 et 5 nominaux.

Contributions Clés

Plus Petit LLM Décodeur Spécialisé en Arabe Open Source : La publication d'un modèle de 518 millions de paramètres avec des poids publiquement disponibles, le premier de son genre sur HuggingFace.
Pipeline Reproductible : Un pipeline open source complet (5 555 lignes de Python répartis sur 25 scripts) détaillant l'injection de vocabulaire, le chargement des données (évitant les blocages du Hub HuggingFace via memmap) et l'entraînement.
Efficacité du Tokenizer : Une réduction démontrée de 17,3 % de la fertilité des tokens arabes, se traduisant par une inférence plus rapide pour le même contenu sémantique.
Étalonnage : Évaluation tête-à-tête contre six modèles concurrents sur trois tâches arabes (COPA-ar, Arabic HellaSwag, ArabicMMLU), établissant une nouvelle référence pour les modèles de moins de 1 milliard de paramètres.
Ablation sur la Fusion : Une évaluation systématique de sept variantes de soupe de poids, identifiant que la moyenne des points de contrôle améliore la généralisation par rapport à la dépendance exclusive au point final DPO.
Performance en Périphérie : Démonstration du modèle s'exécutant à 635 tokens/s sur un seul H100 (taille de lot 1) en quantification 4 bits, occupant seulement 398 Mo sur le disque.

Résultats Expérimentaux

Évalué à l'aide de lm-evaluation-harness (v0.4.11) :

Performance de Même Classe : RightNow-Arabic-0.5B-Turbo a surpassé tous les autres modèles ouverts de moins de 1 milliard de paramètres (Qwen2.5-0.5B et Falcon-H1-0.5B) sur COPA-ar (+4,5 % et +13,5 % respectivement) et HellaSwag-ar. Il a atteint une précision moyenne de 35,9 %, battant les références multilingues.
Comparaison de Mise à l'Échelle :
- Le modèle récupère 67,1 % de la précision moyenne de SILMA-9B (un modèle de 9 milliards de paramètres) tout en n'utilisant que 5,8 % des paramètres.
- Il égalise Falcon-H1-1.5B (1,5 milliard de paramètres) sur le benchmark COPA-ar (58,4 %) malgré un tiers des paramètres.
- Comme prévu, un écart significatif subsiste sur les tâches riches en connaissances (ArabicMMLU), où le modèle de 0,5 milliard de paramètres accuse un retard de 12 à 30 points par rapport aux modèles de 7 milliards+, confirmant un "plafond de connaissances" dicté par le nombre de paramètres.
Vitesse d'Inférence : En utilisant llama.cpp sur un H100, le modèle quantifié en 4 bits atteint 635 tokens/s avec une taille de lot de 1, soit une accélération de 8x par rapport aux implémentations standard generate() de HuggingFace grâce aux graphes CUDA optimisés et aux boucles d'échantillonnage en C++.

Importance et Revendications

L'article revendique que RightNow-Arabic-0.5B-Turbo est le plus petit LLM décodeur spécialisé en arabe open source publié à ce jour. Son importance réside dans la preuve qu'une orchestration soignée des techniques existantes — spécifiquement l'injection de vocabulaire, le masquage de la perte uniquement sur les réponses et la fusion de soupe de poids — peut produire un modèle viable pour un déploiement en périphérie sans nécessiter de nouveaux paradigmes d'entraînement.

Les auteurs sont modestes concernant les limitations du modèle, déclarant explicitement :

Plafond de Connaissances : Le modèle ne peut pas combler l'écart sur les benchmarks riches en connaissances (comme MMLU) face aux modèles de 7 milliards+ ; le nombre de paramètres est le facteur limitant pour la connaissance du monde.
Limitations des Dialectes : Le modèle est entraîné sur l'arabe standard moderne (MSA) et performe mal sur les dialectes (égyptien, du Golfe, levantin).
Faiblesse du DPO : L'étape DPO a fourni un signal minimal à cette échelle, suggérant que l'ajustement des préférences pourrait nécessiter des jeux de données plus volumineux ou des modèles de référence plus puissants pour être efficace sur les modèles de moins de 1 milliard de paramètres.

Ce travail vise la niche spécifique des utilisateurs ayant besoin d'une spécialisation arabe sur des appareils à mémoire limitée (téléphones, CPU en périphérie) où les modèles de 14 Go+ sont irréalisables, offrant une alternative pratique et ouverte au paysage actuel "tout ou rien".