기술 요약: RightNow-Arabic-0.5B-Turbo

문제 제기

현재 오픈 아랍어 대규모 언어 모델 (LLM) 의 지형은 양극화되어 있습니다. 한쪽 끝에는 1B 미만의 다국어 모델 (예: Qwen2.5-0.5B, Falcon-H1-0.5B) 이 아랍어를 부차적인 언어로 취급하여 전문 어휘나 학습 데이터가 부족하고, 그 결과 토큰 비옥도 (비효율적인 인코딩) 가 높고 성능이 낮습니다. 다른 쪽 끝에는 아랍어 특화 모델 (예: Jais, AceGPT, ALLaM, SILMA) 이 7B 에서 70B 파라미터 규모로 존재합니다. 이러한 모델들은 강력한 벤치마크 점수를 달성하지만, 16~140GB 의 메모리를 필요로 하여 스마트폰, 노트북, 임베디드 장치와 같은 엣지 환경에서의 배포가 불가능합니다.

이 격차를 해소하려는 이전 시도인 Kuwain-1.5B 는 어휘 주입을 제안했으나 가중치를 공개하지 않아, 배포 가능한 1B 미만 아랍어 특화 디코더에 대한 공백을 남겼습니다. 본 논문은 엣지 장치의 엄격한 메모리 및 연산 제약 조건 내에서 아랍어 특화성을 균형 있게 갖춘 모델의 필요성에 대응합니다.

방법론

저자들은 Qwen2.5-0.5B 베이스를 기반으로 구축된 5 억 1,800 만 파라미터 디코더 LLM 인 RightNow-Arabic-0.5B-Turbo를 제시합니다. 학습 파이프라인은 모델의 규모 상한 내에서 성능을 극대화하도록 조정된 다섯 가지 명확한 단계로 구성됩니다:

1. 어휘 주입 (토크나이저 수술):

   • 기본 Qwen2.5-0.5B 토크나이저 (151,665 개 토큰) 에 27,032 개의 새로운 아랍어 토큰을 추가하여 확장했습니다.
   • 초기화: 새로운 토큰 임베딩은 원래 어휘에서 해당 토큰의 서브-피스 분해 임베딩을 평균화한 **평균 서브토큰 초기화 (mean-subtoken initialization)**를 사용하여 초기화되었습니다. 이는 WECHSEL 이 공식화하고 Kuwain 및 ALLaM 이 채택한 기술입니다.
   • 결과: 이로 인해 아랍어 토큰 비옥도가 단어당 2.18 개에서 1.80 개로 감소하여 (17.3% 감소) 추론 비용이 직접적으로 절감되었습니다.

2. 연속 사전 학습 (Continued Pretraining):

   • 모델은 5 억 400 만 개 토큰의 아랍어 위키백과로 사전 학습되었습니다.
   • 인프라: 학습에는 8 개의 H100 GPU 와 FSDP(하이브리드 샤딩 Zero2), 패딩 없이 시퀀스를 패킹하기 위한 FlashAttention varlen, 메모리 효율적인 RMSNorm, RoPE, SwiGLU 및 교차 엔트로피를 위한 Liger 퓨즈드 커널이 사용되었습니다.
   • 최적화: 피크 학습률 $2 \times 10^{-4}$, 코사인 감쇠, 총 105 억 개 학습 토큰을 가진 퓨즈드 AdamW 가 적용되었습니다.

3. 지도 미세 조정 (SFT):

   • 모델은 5 개의 병합된 아랍어 데이터셋에서 파생된 129,116 개의 지시 쌍으로 미세 조정되었습니다.
   • 손실 마스킹: 핵심적으로, 손실은 프롬프트를 마스킹하여 학습 신호를 생성 분포에 집중시키기 위해 어시스턴트 응답 토큰에만 계산되었습니다.

4. 직접 선호도 최적화 (DPO):

   • SFT 체크포인트는 6,750 개의 아랍어 선호도 쌍에 대해 DPO 를 거쳤습니다.
   • 관찰: 저자들은 이 규모에서 선호도 신호가 약했다고 지적하며, 학습 손실이 $\ln 2$ 근처에 머물고 보상 마진이 0 에 가까웠다고 밝혔습니다. 이는 데이터셋 크기나 품질 (기계 번역) 이 단독으로 유의미한 개선을 이끌기에 부족했음을 시사합니다.

5. 가중치 수프 병합 (Weight Soup Merging):

   • 약한 DPO 신호를 완화하고 능력을 회복하기 위해 저자들은 DPO 체크포인트, SFT 체크포인트, 연속 사전 학습 체크포인트 등 세 개의 체크포인트를 병합했습니다.
   • 구성: DPO 50%, SFT 25%, 사전 학습 25% 의 가중치를 가진 선형 "수프"가 가장 좋은 결과를 보였으며, DPO 체크포인트 단독 대비 평균 정확도를 0.44 포인트 절대적으로 향상시켰습니다.

6. 엣지 배포:

   • 최종 모델은 llama.cpp GGUF 형식으로 내보내졌습니다.
   • 양자화: f16, q8_0, q5_k_m, q4_k_m 의 네 가지 수준이 생성되었습니다. 어휘 확장이 k-양자 타일 크기와 정렬되지 않아, q4_k_m 과 q5_k_m 의 유효 비트/가중치는 명목상의 4 와 5 가 아닌 각각 6.45 와 6.79 입니다.

주요 기여

1. 가장 작은 오픈 아랍어 특화 LLM: HuggingFace 에서 최초로 공개된 5 억 1,800 만 파라미터 모델과 공개 가중치를 출시했습니다.
2. 재현 가능한 파이프라인: 어휘 주입, 데이터 로딩 (memmap 을 통한 HuggingFace Hub 정지 방지), 학습을 상세히 설명하는 완전한 오픈소스 파이프라인 (25 개 스크립트의 5,555 줄 Python) 을 제공합니다.
3. 토크나이저 효율성: 동일한 의미 내용으로 더 빠른 추론을 가능하게 하는 아랍어 토큰 비옥도 17.3% 감소를 입증했습니다.
4. 벤치마킹: COPA-ar, 아랍어 HellaSwag, ArabicMMLU 등 세 가지 아랍어 태스크에서 여섯 개의 경쟁 모델과 직접 비교 평가를 수행하여 1B 미만 모델에 대한 새로운 기준을 설정했습니다.
5. 병합에 대한 제거 분석: 일곱 가지 가중치 수프 변형에 대한 체계적인 평가를 통해, DPO 엔드포인트에만 의존하는 것보다 체크포인트를 평균화하는 것이 일반화를 향상시킨다는 것을 확인했습니다.
6. 엣지 성능: 4 비트 양자화 상태에서 단일 H100 에서 배치 크기 1 로 초당 635 토큰을 실행하며, 디스크 용량은 398MB 만 차지함을 시연했습니다.

실험 결과

lm-evaluation-harness(v0.4.11) 를 사용하여 평가:

• 동일 클래스 성능: RightNow-Arabic-0.5B-Turbo 는 COPA-ar 에서 다른 모든 오픈 1B 미만 모델 (Qwen2.5-0.5B 및 Falcon-H1-0.5B) 보다 각각 4.5% 와 13.5% 더 높은 성능을 보였으며, HellaSwag-ar 에서도 우세했습니다. 평균 정확도 **35.9%**를 달성하여 다국어 베이스라인을 능가했습니다.
• 확장 비교:
  • 이 모델은 9B 파라미터 모델인 SILMA-9B 의 평균 정확도의 **67.1%**를 회복하면서 파라미터는 단 **5.8%**만 사용합니다.
  • COPA-ar 벤치마크 (58.4%) 에서 파라미터가 3 분의 1 수준임에도 불구하고 Falcon-H1-1.5B(1.5B 파라미터) 와 동률을 이뤘습니다.
  • 예상대로 지식 집약적 태스크 (ArabicMMLU) 에서는 상당한 격차가 남아있어, 0.5B 모델이 7B 이상 모델보다 12~30 포인트 뒤처지며 파라미터 수에 의해 결정되는 "지식 한계"를 확인시켰습니다.
• 추론 속도: H100 에서 llama.cpp를 사용할 때, 4 비트 양자화 모델은 배치 크기 1 에서 초당 635 토큰을 달성하여, 최적화된 CUDA 그래프와 C++ 샘플링 루프로 인해 표준 HuggingFace generate() 구현 대비 8 배의 속도 향상을 보였습니다.

중요성 및 주장

본 논문은 RightNow-Arabic-0.5B-Turbo 가 현재까지 출시된 가장 작은 오픈 아랍어 특화 디코더 LLM이라고 주장합니다. 그 중요성은 어휘 주입, 응답 전용 손실 마스킹, 가중치 수프 병합과 같은 기존 기술의 신중한 조율이 새로운 학습 패러다임 없이도 엣지 배포가 가능한 모델을 만들어낼 수 있음을 입증하는 데 있습니다.

저자들은 모델의 한계에 대해 겸손하게 다음과 같이 명시적으로 언급합니다:

• 지식 한계: 이 모델은 7B 이상 모델에 비해 지식 집약적 벤치마크 (MMLU 등) 에서 격차를 해소할 수 없습니다. 파라미터 수가 세계 지식의 제한 요인입니다.
• 방언 제한: 모델은 표준 아랍어 (MSA) 로 학습되었으며 이집트, 걸프, 레반트 등 방언에서는 성능이 저하됩니다.
• DPO 의 약점: DPO 단계는 이 규모에서 최소한의 신호만 제공했으며, 선호도 튜닝이 1B 미만 모델에서 효과적이려면 더 큰 데이터셋이나 더 강력한 참조 모델이 필요할 수 있음을 시사합니다.

이 연구는 14GB 이상의 모델이 불가능한 제한된 메모리 (스마트폰, 엣지 CPU) 를 가진 장치에서 아랍어 특화가 필요한 사용자의 특정 니치를 대상으로 하며, 현재의 "전부 아니면 전무" 지형에 대한 실용적이고 오픈된 대안을 제공합니다.