기술 요약: Jais 2 – 아랍어 중심의 오픈 대규모 언어 모델 제품군

문제 정의

멀티링구얼 대규모 언어 모델(LLM)의 급격한 발전에도 불구하고, 이 분야는 여전히 영어와 제한된 고자원 언어들에 크게 편향되어 있습니다. 복잡한 형태론, 디글로시아(현대 표준 아랍어와 다양한 지역 방언의 공존), 그리고 풍부한 문화적 맥락을 특징으로 하는 아랍어는 글로벌 학습 코퍼스에서 현저히 과소대표되어 왔습니다. 기존의 범용 모델(예: Llama 3, Gemma, Qwen)은 아랍어에 대해 부분적인 숙련도를 보이기는 하지만, 특히 방언 변이, 문화적으로 미묘한 추론, 그리고 이슬람 법학, 시(poetry), 지역 요리와 같은 특정 도메인에서는 어려움을 겪는 경우가 많습니다. 더욱이, 기존의 아랍어 중심 이니셔티브 중 다수는 멀티링구얼 백본을 적응시키는 데 의존하거나 좁은 언어적 도메인에 국한되어 있어, 아랍 세계 전역에서 견고하고 실제적인 배포를 위해 필요한 규모와 문화적 근거를 결여하고 있습니다.

방법론

모델 아키텍처 및 학습 인프라

Jais 2는 8B와 70B 파라미터의 두 가지 변체로 출시된 디코더 전용 트랜스포머(decoder-only Transformer) 제품군입니다. 두 모델 모두 처음부터(from scratch) 학습되었습니다.

• 아키텍처: 모델은 확장된 피드포워드 필터 비율(숨겨진 크기의 8배), 희소성을 유도하기 위한 ReLU2 활성화 함수, 그리고 우수한 컨텍스트 확장을 위한 **회전 위치 임베딩(Rotary Position Embeddings, RoPE)**을 활용합니다. 이전 Jais 버전이 ALiBi를 사용했던 것과 달리, Jais 2는 RoPE를 채택했습니다. 또한, 이 아키텍처는 작은 프록시 모델에서 대규모 변체로 최적의 하이퍼파라미터를 제로샷 전이(zero-shot transfer)할 수 있도록 **최대 업데이트 파라미터화(Maximal Update Parameterization, µP)**를 적용했습니다.
• 토큰화: 아랍어, 영어 및 코드를 위해 특별히 최적화되었으며, 포맷팅과 의미론에 중요한 공백 접두사 토큰을 보존하는 150,272의 어휘 크기를 가진 커스텀 바이트 쌍 인코딩(Byte-Pair Encoding, BPE) 토크나이저가 개발되었습니다.
• 인프라: 학습은 최대 64개의 CS-2 시스템으로 구성된 Cerebras 웨이퍼 스케일 클러스터인 Condor Galaxy 1 및 2에서 수행되었습니다. 이 아키텍처는 거의 완벽한 선형 스케일링을 가능하게 하여, 70B 모델을 유사한 모델들보다 훨씬 적은 토큰 예산으로 학습할 수 있게 했습니다.

데이터 전략 및 사전 학습

Jais 2는 2단계 학습 커리큘럼을 사용합니다.

1. 1단계 (사전 학습): 모델은 600B 이상의 아랍어 토큰과 총 1.6T 토큰의 혼합물로 학습됩니다. 데이터 혼합은 다음을 포함합니다:
   • 아랍어 데이터: 웹 데이터, 종교 텍스트, 시, 문학, 과학적 콘텐츠를 포함한 다양한 출처에서 큐레이션되었습니다. 결정적으로 여기에는 17개의 방언 변이(예: 모로코 다리자, 이집트, 걸프, 레반트)와 **아라비지(Arabizi, 라틴 문자로 표기된 아랍어)**가 포함됩니다.
   • 영어/웹 데이터: 세 가지 주요 웹 코퍼스에 대한 비교 연구를 통해, 아랍어로의 교차 언어 전이 능력이 더 우수한 Corpus 3가 선택되었습니다.
   • 수학 및 코드: 추론 및 코딩 능력을 확보하기 위해 통합되었습니다.
   • 혼합 비율: 최종 사전 학습 혼합물은 **아랍어 28%, 웹 40%, 수학 20%, 코드 10%, 합성 데이터 2%**로 구성됩니다.
2. 2단계 (애닐링/Annealing): 도메인 업샘플링 단계(전체 FLOPs의 10%)를 통해 초기 학습 후 식별된 특정 약점을 해결하기 위해 고품질 아랍어, 수학 및 웹 데이터의 비중을 높입니다.

사후 학습 (Post-Training)

사후 학습 파이프라인은 세 가지 별도의 단계로 구성됩니다:

1. 지속적 사전 학습 (Continual Pretraining, CPT): 도메인 전문성을 정교화하기 위해 새로운 큐레이션된 아랍어 데이터와 재재생(replay)된 원본 데이터로 두 에포크(epoch) 동안 학습합니다.
2. 지시 미세 조정 (Instruction Fine-Tuning, IFT): 2,000만 개 이상의 지시-완성 쌍을 사용하여 세 에포크 동안 진행됩니다. 데이터셋은 다음을 포함합니다:
   • 일반 IFT: 멀티턴 대화 및 안전성을 위한 합성 데이터를 포함한 표준 아랍어 및 영어 지시문.
   • 방언 IFT: 번역, 전사(transliteration), 요약을 다루는 모로코 다리자 및 이집트 아랍어를 위한 특정 데이터셋.
   • 문화적 과업: 아랍 시(생성 및 분석), 이슬람 질의응답(윤리적 면책 조항 포함), 꿈 해석, 아랍 요리 및 요약을 위한 특화된 데이터셋.
3. 선호도 정렬 (Preference Alignment): 모델의 안전성, 유용성 및 인간의 가치 준수를 보장하기 위해 20만 개 이상의 선호도 쌍(선택된 응답 vs 거절된 응답)에 대해 **직접 선호도 최적화(Direct Preference Optimization, DPO)**를 사용하여 정렬합니다.

안전 메커니즘

안전성은 다음을 통해 통합됩니다:

• 데이터 준비: 일반, 외설, 혐오 발언을 포함한 공격적 언어에 대한 통합된 분류 체계가 30개의 데이터셋으로부터 구축되었으며, 결과적으로 205k 개의 샘플이 생성되었습니다. 이는 모델에게 왜 특정 콘텐츠가 공격적인지를 가르치기 위한 설명적 IFT 데이터로 보강되었습니다.
• SFT 안전성: 아랍 세계 특유의 민감한 정치적, 종교적, 사회적 주제를 다루도록 안내하기 위해 30가지 위험 유형(5가지 일반, 25가지 지역 특화)을 다루는 116k 개의 합성 QA 쌍이 생성되었습니다.

주요 기여

1. 오픈 웨이트 아랍 중심 모델: 처음부터 학습된 Jais 2-8B 및 Jais 2-70B를 출시했습니다. 70B 변체는 처음부터 학습된 가장 큰 오픈 아랍 중심 모델 중 하나입니다.
2. 문화적 및 방언적 근거: 현대 표준 아랍어(MSA)에 주로 집중했던 이전 모델들과 달리, Jais 2는 17개의 방언과 문화적으로 특화된 도메인(시, 요리, 꿈 해석, 이슬람 QA)에 대해 명시적으로 학습되어 깊은 문화적 정렬을 가능하게 합니다.
3. 효율적인 학습: 커스텀 아랍어 중심 어휘, µP, 그리고 Cerebras 하드웨어를 사용하여 유사한 모델들에 비해 훨씬 적은 토큰 예산으로 강력한 성능을 달성했습니다.
4. 포괄적인 벤치마크: 문화적 근거를 둔 벤치마크인 OALL2(Open Arabic Leaderboard 2), AraGen, 그리고 요리, 시, 꿈 해석을 위한 커스텀 벤치마크를 도입하고 평가했습니다.
5. 배포: 상업적으로 허용되는 라이선스 하에 HuggingFace에 모델을 출시하였으며, Cerebras 하드웨어에서 실행되는 고처리량 채팅 애플리케이션(초당 최대 2,000 토큰)을 함께 제공합니다.

평가 결과

Jais 2는 여러 차원에서 평가된 오픈 모델들 사이에서 선도적인 성능을 입증했습니다:

• 객관식 (OALL2): Jais 2-70B는 **79.36%**의 매크로 평균을 달성하여 Llama-3.3-70B(74.23%)와 Qwen2.5-72B(71.20%)를 능가했습니다. Jais 2-8B는 ≤13B 카테고리에서 **72.40%**로 선두를 차지했습니다.
• 생성 과업 (AraGen): Jais 2 모델들은 각각의 크기 카테고리에서 가장 높은 3C3H 점수(정확성, 완전성, 간결성, 유용성, 정직성, 무해성)를 기록했으며, Jais 2-70B는 **70.71%**를 기록했습니다.
• 번역: Jais 2-70B는 MSA, 영어, 그리고 다양한 방언(이집트, 튜니시아, 레반트, 걸프 등) 간의 번역에서 오픈 모델 중 새로운 SOTA(State-of-the-Art) 점수를 세웠으며, 양방향 모두에서 Llama-3.3-70B와 Qwen2.5-72B를 능가했습니다.
• 방언 식별: Jais 2-70B는 MADAR 및 QADI 벤치마크에서 가장 높은 정확도를 달려, 다른 70B 규모 모델들을 크게 앞질렀습니다.
• 문화적 벤치마크:
  • 요리: Jais 2-70B는 1,597개 질문의 벤치마크에서 **79.02%**의 정확도를 달성하며 재료 분석, 절차 실행, 지리적 기원 분야에서 선두를 차지했습니다.
  • 시: Jais 2-70B는 시 생성 및 분석 과업에서 선두를 달리고 있습니다.
• 영어 능력: 아랍어에 집중했음에도 불구하고, Jais 2-70B는 영어 벤치마크(예: IFEval에서 86.09%, GSM8K에서 85.97%)에서도 경쟁력 있는 모습을 보여주며, 강력한 아랍어 특화가 영어 성능의 저하를 초래하지 않음을 입증했습니다.

의의

본 논문은 Jais 2를 아랍어 사용자를 위한 고급 AI에 대한 접근성을 민주화하기 위한 기초적인 단계로 규정합니다. 규모, 언어적 다양성(MSA 및 17개 방언), 문화적 충실도, 그리고 개방성을 결합함으로써, Jais 2는 미래 연구를 위한 투명하고 재현 가능한 베이스라인을 제공합니다. 저자들은 이 모델이 단순히 글로벌 AI의 언어적 격차를 해소하는 것을 넘어, 차세대 아랍 특화 애플리케이션, 연구 및 혁신을 지원하도록 설계되었으며, 이를 통해 지역적 AI 발전이 포용적이고 문화적 근거를 둔 토대 위에서 구축되도록 보장한다고 강조합니다. 모델 출시와 고성능 채팅 인프라 제공은 아랍 세계 전역의 커뮤니티 연구와 실질적인 배포를 촉진하는 것을 목표로 합니다.