Technische Samenvatting: RightNow-Arabic-0.5B-Turbo

Probleemstelling

Het landschap van open Arabische Large Language Models (LLM's) is momenteel gepolariseerd. Aan de ene kant behandelen meertalige modellen onder de 1 miljard parameters (bijv. Qwen2.5-0.5B, Falcon-H1-0.5B) het Arabisch als een secundaire taal, zonder gespecialiseerd vocabulaire of trainingsdata, wat resulteert in hoge tokenvruchtbaarheid (inefficiënte codering) en lagere prestaties. Aan de andere kant variëren Arabisch-gespecialiseerde modellen (bijv. Jais, AceGPT, ALLaM, SILMA) van 7 miljard tot 70 miljard parameters. Hoewel deze sterke benchmarkresultaten behalen, vereisen ze 16–140 GB aan geheugen, waardoor ze ontoegankelijk zijn voor edge-implementatie op telefoons, laptops of ingebouwde apparaten.

Een eerdere poging om deze kloof te overbruggen, Kuwain-1.5B, stelde vocabulaire-injectie voor maar publiceerde nooit de gewichten, waardoor er een gat ontstond voor een implementeerbaar Arabisch-gespecialiseerd decoder-model onder de 1 miljard parameters. Dit artikel adresseert de behoefte aan een model dat Arabische specialisatie in evenwicht brengt met de strikte geheugen- en rekenbeperkingen van edge-apparaten.

Methodologie

De auteurs presenteren RightNow-Arabic-0.5B-Turbo, een decoder-LLM met 518 miljoen parameters gebaseerd op de Qwen2.5-0.5B-basis. De trainingspijplijn bestaat uit vijf distincte fasen, georkestreerd om prestaties te maximaliseren binnen het plafond van de modelgrootte:

1. Vocabulaire-injectie (Tokenizer-chirurgie):

   • De basis Qwen2.5-0.5B-tokenizer (151.665 tokens) werd uitgebreid door 27.032 nieuwe Arabische tokens toe te voegen.
   • Initialisatie: De embedding van nieuwe tokens werd geïnitieerd met mean-subtoken-initialisatie (het gemiddelde nemen van de embedding van de sub-token-decompositie van de nieuwe token uit het originele vocabulaire), een techniek geformaliseerd door WECHSEL en overgenomen door Kuwain en ALLaM.
   • Resultaat: Dit verlaagde de Arabische tokenvruchtbaarheid van 2,18 naar 1,80 tokens per woord (een reductie van 17,3%), wat direct de inferentiekosten verlaagt.

2. Gevolgd voorvertraning:

   • Het model werd voorgetraind op 504 miljoen tokens van de Arabische Wikipedia.
   • Infrastructuur: Training gebruikte 8×H100 GPU's met FSDP (Hybrid Sharding Zero2), FlashAttention varlen (voor het inpakken van sequenties zonder padding) en Liger fused kernels (voor geheugenefficiënte RMSNorm, RoPE, SwiGLU en cross-entropy).
   • Optimalisatie: Fused AdamW met een piekleer snelheid van $2 \times 10^{-4}$, cosine decay en in totaal 10,5 miljard trainings tokens.

3. Supervised Fine-Tuning (SFT):

   • Het model werd fijngetuned op 129.116 instructieparen afgeleid van vijf samengevoegde Arabische datasets.
   • Loss-maskering: Cruciaal werd de loss alleen berekend op de assistant-response tokens, waarbij de prompt werd gemaskeerd om het leersignaal te concentreren op de generatiedistributie.

4. Direct Preference Optimization (DPO):

   • Het SFT-checkpoint onderging DPO op 6.750 Arabische preferentieparen.
   • Observatie: De auteurs merken op dat het preferentiesignaal zwak was op deze schaal, met trainingsloss die dicht bij $\ln 2$ bleef en beloningsmarges dicht bij nul, wat suggereert dat de datasetgrootte of -kwaliteit (machinevertaald) onvoldoende was om op zichzelf significante verbetering te bewerkstelligen.

5. Weight Soup Merging:

   • Om het zwakke DPO-signaal te mitigeren en capaciteiten te herstellen, voegden de auteurs drie checkpoints samen: het DPO-checkpoint, het SFT-checkpoint en het gevolgd voorvertrainingscheckpoint.
   • Configuratie: Een lineaire "soep" met gewichten van 50% DPO, 25% SFT en 25% Pretraining leverde de beste resultaten op, met een verbetering van de gemiddelde nauwkeurigheid met 0,44 absolute punten ten opzichte van alleen het DPO-checkpoint.

6. Edge-implementatie:

   • Het finale model werd geëxporteerd naar het llama.cpp GGUF-formaat.
   • Kwantisering: Vier niveaus werden geproduceerd (f16, q8_0, q5_k_m, q4_k_m). Door misalignement van de vocabulaire-uitbreiding met k-quant-tile-groottes, zijn de effectieve bits-per-weight voor q4_k_m en q5_k_m respectievelijk 6,45 en 6,79, in plaats van de nominale 4 en 5.

Belangrijkste Bijdragen

1. Kleinste Open Arabisch-gespecialiseerde LLM: De release van een model met 518 miljoen parameters met publiek beschikbare gewichten, het eerste van zijn soort op HuggingFace.
2. Reproduceerbare Pijplijn: Een complete, open-source pijplijn (5.555 regels Python verspreid over 25 scripts) die vocabulaire-injectie, datalading (het vermijden van HuggingFace Hub-stalls via memmap) en training in detail beschrijft.
3. Tokenizer-efficiëntie: Een aangetoonde reductie van 17,3% in Arabische tokenvruchtbaarheid, wat vertaalt naar snellere inferentie voor dezelfde semantische inhoud.
4. Benchmarking: Rechtstreekse evaluatie tegen zes concurrerende modellen op drie Arabische taken (COPA-ar, Arabic HellaSwag, ArabicMMLU), waarmee een nieuwe basislijn wordt vastgesteld voor modellen onder de 1 miljard parameters.
5. Ablatie op Merging: Een systematische evaluatie van zeven weight-soup-varianten, waarbij wordt geconstateerd dat het middelen van checkpoints de generalisatie verbetert ten opzichte van het uitsluitend vertrouwen op het DPO-eindpunt.
6. Edge-prestaties: Demonstratie van het model dat draait op 635 tokens/s op een enkele H100 (batchgrootte 1) in 4-bits kwantisatie, en slechts 398 MB op de schijf inneemt.

Experimentele Resultaten

Geëvalueerd met lm-evaluation-harness (v0.4.11):

• Zelfde-klasse Prestaties: RightNow-Arabic-0.5B-Turbo presteerde beter dan alle andere open modellen onder de 1 miljard parameters (Qwen2.5-0.5B en Falcon-H1-0.5B) op COPA-ar (respectievelijk +4,5% en +13,5%) en HellaSwag-ar. Het behaalde een gemiddelde nauwkeurigheid van 35,9%, waarmee het de meertalige baselines versloeg.
• Schalingsvergelijking:
  • Het model herstelt 67,1% van de gemiddelde nauwkeurigheid van SILMA-9B (een model met 9 miljard parameters) terwijl het slechts 5,8% van de parameters gebruikt.
  • Het komt overeen met Falcon-H1-1.5B (1,5 miljard parameters) op de COPA-ar-benchmark (58,4%), ondanks dat het een derde van het aantal parameters heeft.
  • Zoals verwacht, blijft er een aanzienlijke kloof bestaan op kennisintensieve taken (ArabicMMLU), waarbij het 0,5B-model 12–30 punten achterloopt op modellen van 7B+, wat een "kennisplafond" bevestigt dat wordt bepaald door het aantal parameters.
• Inferentiesnelheid: Met llama.cpp op een H100 bereikt het in 4-bits gekwantiseerde model 635 tokens/s bij batchgrootte 1, een snelheidswinst van 8x ten opzichte van standaard HuggingFace generate()-implementaties door geoptimaliseerde CUDA-grafieken en C++-samplinglussen.

Betekenis en Claims

Het artikel claimt dat RightNow-Arabic-0.5B-Turbo de kleinste open Arabisch-gespecialiseerde decoder-LLM is die tot nu toe is uitgebracht. De betekenis ligt in het bewijzen dat zorgvuldige orkestratie van bestaande technieken – specifiek vocabulaire-injectie, loss-maskering alleen op antwoorden en weight soup merging – een model kan produceren dat levensvatbaar is voor edge-implementatie zonder nieuwe trainingsparadigma's te vereisen.

De auteurs zijn bescheiden over de beperkingen van het model, en stellen expliciet:

• Kennisplafond: Het model kan de kloof op kenniszware benchmarks (zoals MMLU) ten opzichte van modellen van 7B+ niet dichten; het aantal parameters is de beperkende factor voor wereldkennis.
• Dialectbeperkingen: Het model is getraind op Modern Standaard Arabisch (MSA) en presteert slecht op dialecten (Egyptisch, Golf, Levantijns).
• DPO-zwakte: De DPO-fase leverde op deze schaal minimaal signaal op, wat suggereert dat preferentietuning mogelijk grotere datasets of sterkere referentiemodellen vereist om effectief te zijn voor modellen onder de 1 miljard parameters.

Het werk richt zich op de specifieke niche van gebruikers die Arabische specialisatie nodig hebben op apparaten met beperkt geheugen (telefoons, edge CPU's) waar modellen van 14 GB+ onhaalbaar zijn, en biedt een praktische, open alternatief voor het huidige "alles-of-niets"-landschap.