💻 computer science

RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment

Este artigo apresenta o RightNow-Arabic-0.5B-Turbo, um modelo de linguagem especializado em árabe, de código aberto e com 518 milhões de parâmetros, construído sobre o Qwen2.5-0.5B por meio de injeção de vocabulário e ajuste fino extensivo, que alcança desempenho de última geração entre modelos com menos de 1 bilhão de parâmetros, ao mesmo tempo que permite implantação eficiente em dispositivos de borda com quantização para menos de 400 MB.

Autores originais: Jaber Jaber, Osama Jaber

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaber Jaber, Osama Jaber

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robótico multilíngue e muito inteligente chamado Qwen. Ele é minúsculo e rápido, cabendo facilmente em um laptop ou até mesmo em um telefone, mas trata o árabe como apenas mais uma de 100 línguas que conhece um pouco. Não é fluente; gagueja e precisa dividir as palavras árabes em muitas peças minúsculas e desconfortáveis para entendê-las.

Na outra extremidade do espectro, existem robôs árabes gigantes (como Jais ou SILMA). Estes são incrivelmente fluentes e conhecedores, mas são tão enormes e pesados que só podem rodar em grandes e caros data centers. Você não pode colocá-los no seu bolso.

RightNow-Arabic-0.5B-Turbo é a solução "Cachinhos Dourados": um robô minúsculo que fala árabe perfeitamente, projetado especificamente para caber no seu bolso.

Veja como os autores o construíram, usando analogias simples:

1. A Cirurgia do Vocabulário (Dando ao Robô um Novo Dicionário)

O dicionário original do robô era pequeno demais para o árabe. Ele precisava cortar as palavras árabes em fragmentos minúsculos, tornando-o lento e ineficiente.

A Solução: A equipe realizou uma "cirurgia do vocabulário". Eles pegaram o dicionário existente do robô e injetaram 27.000 novas palavras árabes diretamente nele.
O Resultado: Em vez de precisar de 2,18 peças minúsculas para descrever uma palavra árabe, o robô agora precisa apenas de 1,80 peças. É como trocar um robô que soletra cada letra de uma palavra por um que reconhece palavras inteiras instantaneamente. Isso torna o robô 17% mais rápido ao falar árabe.

2. Os Campos de Treinamento (Ensinando o Robô)

A equipe não apenas deu ao robô um novo dicionário; eles o enviaram através de três campos de treinamento intensivos:

Campo 1: A Biblioteca (Pré-treinamento Contínuo): Eles alimentaram o robô com 504 milhões de frases árabes da Wikipedia. Isso foi como dar ao robô um curso intensivo de leitura de jornais e livros árabes para que ele pudesse aprender o ritmo e o fluxo da língua.
Campo 2: A Sala de Aula (Ajuste Fino Supervisionado): Eles ensinaram o robô a ser um assistente útil. Mostraram a ele 129.000 exemplos de perguntas e respostas. Crucialmente, disseram ao robô: "Não se preocupe com a parte da pergunta; foque apenas em aprender a escrever a resposta". Isso o tornou muito melhor em seguir instruções.
Campo 3: O Clube de Debates (Otimização Direta de Preferência): Eles mostraram ao robô pares de respostas (uma boa, uma ruim) e pediram que ele escolhesse a vencedora. No entanto, como o robô é tão pequeno, esse passo não ajudou muito por si só. Os dados de "preferência" eram um pouco ruidosos, como tentar ensinar uma criança pequena a julgar arte refinada.

3. A "Sopa de Pesos" (O Segredo)

Aqui está a parte inteligente. Como o treinamento do "Clube de Debates" não funcionou perfeitamente, a equipe não escolheu apenas o robô final. Em vez disso, eles pegaram três versões diferentes do robô (a versão após a Biblioteca, a versão após a Sala de Aula e a versão após o Clube de Debates) e as misturaram.

A Analogia: Imagine fazer uma sopa. Você pega uma xícara do robô da "Biblioteca", uma xícara do robô da "Sala de Aula" e meia xícara do robô do "Clube de Debates", e mistura tudo.
O Resultado: Essa "sopa" criou um robô final mais inteligente e equilibrado do que qualquer versão única isoladamente.

4. O Produto Final: Minúsculo, mas Poderoso

O resultado é um modelo com 518 milhões de parâmetros (minúsculo comparado aos gigantes de 7B ou 9B).

Tamanho: Quando comprimido (quantizado) para caber em um telefone, ocupa apenas 398 MB de espaço. Isso é menor que um filme em alta definição.
Velocidade: Em um chip de computador poderoso, ele pode gerar texto a 635 palavras por segundo. Isso é como um humano digitando em velocidade relâmpago.
Desempenho:
- Ele supera outros robôs minúsculos (como o Qwen original) na compreensão do árabe.
- Empata com um robô três vezes maior (Falcon-H1-1.5B) em tarefas de raciocínio de senso comum.
- Recupera 67% da inteligência do massivo robô de 9B (SILMA), apesar de ser 18 vezes menor.

O Que Ele Não Pode Fazer (As Limitações)

O artigo é honesto sobre o que este robô minúsculo não pode fazer:

Teto de Conhecimento: Ele não sabe tantos fatos quanto os robôs gigantes. Se você fizer perguntas complexas de curiosidades (como um quiz difícil), ele perderá para os modelos de 7B ou 9B. É um especialista em língua, não uma enciclopédia de fatos.
Dialeto: Ele fala "Árabe Padrão Moderno" (a língua formal usada em notícias e livros). Se você falar com ele em dialetos egípcio, do Golfo ou levantino, ele entenderá você, mas responderá em árabe formal. Ainda não aprendeu a gíria de rua.

A Conclusão

Os autores construíram o menor robô especializado em árabe de código aberto que realmente funciona bem. Eles provaram que você não precisa de um supercomputador para executar um assistente fluente em árabe; você apenas precisa do vocabulário certo, da mistura de treinamento certa e de um pouco de magia de "sopa". Todo o código, pesos e receitas estão agora abertos para que qualquer pessoa use.

Resumo Técnico: RightNow-Arabic-0.5B-Turbo

Declaração do Problema

O cenário dos Modelos de Linguagem de Grande Escala (LLMs) árabes abertos está atualmente polarizado. Em uma extremidade, modelos multilíngues com menos de 1 bilhão de parâmetros (por exemplo, Qwen2.5-0.5B, Falcon-H1-0.5B) tratam o árabe como uma língua secundária, carecendo de vocabulário especializado ou dados de treinamento, resultando em alta fertilidade de tokens (codificação ineficiente) e desempenho inferior. Na outra extremidade, modelos especializados em árabe (por exemplo, Jais, AceGPT, ALLaM, SILMA) variam de 7B a 70B parâmetros. Embora esses alcancem pontuações robustas em benchmarks, eles exigem de 16 a 140 GB de memória, tornando-os inacessíveis para implantação em dispositivos de borda como celulares, laptops ou dispositivos embarcados.

Uma tentativa anterior de preencher essa lacuna, Kuwain-1.5B, propôs a injeção de vocabulário, mas nunca lançou seus pesos, deixando um vácuo para um decodificador especializado em árabe, implantável e com menos de 1B parâmetros. Este artigo aborda a necessidade de um modelo que equilibre a especialização em árabe com as restrições estritas de memória e computação de dispositivos de borda.

Metodologia

Os autores apresentam o RightNow-Arabic-0.5B-Turbo, um LLM decodificador com 518 milhões de parâmetros construído sobre a base Qwen2.5-0.5B. O pipeline de treinamento consiste em cinco etapas distintas, orquestradas para maximizar o desempenho dentro do limite de escala do modelo:

Injeção de Vocabulário (Cirurgia do Tokenizador):
- O tokenizador base Qwen2.5-0.5B (151.665 tokens) foi expandido adicionando 27.032 novos tokens árabes.
- Inicialização: Os novos embeddings de tokens foram inicializados usando inicialização por média de sub-token (calculando a média dos embeddings da decomposição de sub-peças do novo token a partir do vocabulário original), uma técnica formalizada pelo WECHSEL e adotada pelo Kuwain e ALLaM.
- Resultado: Isso reduziu a fertilidade de tokens árabes de 2,18 para 1,80 tokens por palavra (uma redução de 17,3%), diminuindo diretamente os custos de inferência.
Pré-treinamento Contínuo:
- O modelo foi pré-treinado em 504 milhões de tokens da Wikipedia em árabe.
- Infraestrutura: O treinamento utilizou 8×GPUs H100 com FSDP (Hybrid Sharding Zero2), FlashAttention varlen (para empacotamento de sequências sem preenchimento) e kernels fundidos Liger (para RMSNorm, RoPE, SwiGLU e entropia cruzada eficientes em memória).
- Otimização: AdamW fundido com uma taxa de aprendizado máxima de $2 \times 10^{-4}$ , decaimento cosseno e um total de 10,5 bilhões de tokens de treinamento.
Ajuste Fino Supervisionado (SFT):
- O modelo foi ajustado finamente em 129.116 pares de instruções derivados de cinco conjuntos de dados árabes mesclados.
- Mascaramento de Perda: Crucialmente, a perda foi computada apenas nos tokens de resposta do assistente, mascarando o prompt para concentrar o sinal de aprendizado na distribuição de geração.
Otimização Direta de Preferência (DPO):
- O checkpoint de SFT passou por DPO em 6.750 pares de preferência em árabe.
- Observação: Os autores notam que o sinal de preferência foi fraco nesta escala, com a perda de treinamento permanecendo próxima a $\ln 2$ e as margens de recompensa próximas de zero, sugerindo que o tamanho do conjunto de dados ou a qualidade (tradução automática) foram insuficientes para impulsionar uma melhoria significativa por si só.
Fusão de "Sopa" de Pesos:
- Para mitigar o sinal de DPO fraco e recuperar capacidades, os autores fundiram três checkpoints: o checkpoint de DPO, o checkpoint de SFT e o checkpoint de pré-treinamento contínuo.
- Configuração: Uma "sopa" linear com pesos de 50% DPO, 25% SFT e 25% Pré-treinamento produziu os melhores resultados, melhorando a precisão média em 0,44 pontos absolutos sobre o checkpoint de DPO isolado.
Implantação em Dispositivos de Borda:
- O modelo final foi exportado para o formato llama.cpp GGUF.
- Quantização: Quatro níveis foram produzidos (f16, q8_0, q5_k_m, q4_k_m). Devido ao desalinhamento da expansão do vocabulário com os tamanhos de blocos de quantização k, os bits efetivos por peso para q4_k_m e q5_k_m são 6,45 e 6,79, respectivamente, em vez dos nominais 4 e 5.

Contribuições Principais

Menor LLM Decodificador Especializado em Árabe Aberto: O lançamento de um modelo de 518 milhões de parâmetros com pesos publicamente disponíveis, o primeiro de seu tipo no HuggingFace.
Pipeline Reprodutível: Um pipeline completo e de código aberto (5.555 linhas de Python em 25 scripts) detalhando a injeção de vocabulário, carregamento de dados (evitando travamentos no HuggingFace Hub via memmap) e treinamento.
Eficiência do Tokenizador: Uma redução demonstrada de 17,3% na fertilidade de tokens árabes, traduzindo-se em inferência mais rápida para o mesmo conteúdo semântico.
Avaliação (Benchmarking): Avaliação direta contra seis modelos concorrentes em três tarefas árabes (COPA-ar, Arabic HellaSwag, ArabicMMLU), estabelecendo uma nova linha de base para modelos com menos de 1B parâmetros.
Ablação sobre Fusão: Uma avaliação sistemática de sete variantes de "sopa" de pesos, identificando que a média de checkpoints melhora a generalização em relação a confiar apenas no ponto final de DPO.
Desempenho em Borda: Demonstração do modelo executando a 635 tokens/s em uma única H100 (tamanho de lote 1) em quantização de 4 bits, ocupando apenas 398 MB em disco.

Resultados Experimentais

Avaliado usando lm-evaluation-harness (v0.4.11):

Desempenho na Mesma Classe: O RightNow-Arabic-0.5B-Turbo superou todos os outros modelos abertos com menos de 1B parâmetros (Qwen2.5-0.5B e Falcon-H1-0.5B) no COPA-ar (+4,5% e +13,5% respectivamente) e no HellaSwag-ar. Alcançou uma precisão média de 35,9%, superando as linhas de base multilíngues.
Comparação de Escala:
- O modelo recupera 67,1% da precisão média do SILMA-9B (um modelo de 9 bilhões de parâmetros) enquanto usa apenas 5,8% dos parâmetros.
- Empata com o Falcon-H1-1.5B (1,5 bilhão de parâmetros) no benchmark COPA-ar (58,4%), apesar de ter um terço dos parâmetros.
- Como esperado, uma lacuna significativa permanece em tarefas intensivas em conhecimento (ArabicMMLU), onde o modelo de 0,5B fica atrás dos modelos de 7B+ por 12–30 pontos, confirmando um "teto de conhecimento" ditado pela contagem de parâmetros.
Velocidade de Inferência: Usando llama.cpp em uma H100, o modelo quantizado em 4 bits atinge 635 tokens/s com tamanho de lote 1, um aumento de velocidade de 8x sobre as implementações padrão generate() do HuggingFace devido a gráficos CUDA otimizados e loops de amostragem em C++.

Significado e Alegações

O artigo afirma que o RightNow-Arabic-0.5B-Turbo é o menor LLM decodificador especializado em árabe aberto lançado até a data. Seu significado reside em provar que a orquestração cuidadosa de técnicas existentes — especificamente injeção de vocabulário, mascaramento de perda apenas na resposta e fusão de "sopa" de pesos — pode produzir um modelo viável para implantação em dispositivos de borda sem a necessidade de novos paradigmas de treinamento.

Os autores são modestos sobre as limitações do modelo, declarando explicitamente:

Teto de Conhecimento: O modelo não pode fechar a lacuna em benchmarks pesados em conhecimento (como MMLU) contra modelos de 7B+; a contagem de parâmetros é o fator limitante para o conhecimento do mundo.
Limitações de Dialetos: O modelo é treinado em Árabe Padrão Moderno (MSA) e desempenha mal em dialetos (egípcio, do Golfo, levantino).
Fraqueza do DPO: A etapa de DPO forneceu sinal mínimo nesta escala, sugerindo que o ajuste de preferência pode exigir conjuntos de dados maiores ou modelos de referência mais fortes para ser eficaz em modelos com menos de 1B parâmetros.

O trabalho visa o nicho específico de usuários que precisam de especialização em árabe em dispositivos com memória limitada (celulares, CPUs de borda), onde modelos de 14GB+ são inviáveis, oferecendo uma alternativa prática e aberta ao cenário atual "tudo ou nada".