기술 요약: 소로 (Soro) – 타지크어를 위한 경량 기반 모델 및 챗봇

문제 제기

대형 언어 모델 (LLM) 은 영어나 중국어와 같은 고자원 언어에서 뛰어난 성능을 보이지만, 저자원 언어에 대해서는 심각한 편향을 보입니다. 키릴 문자로 표기되며 주로 타지키스탄에서 사용되는 인도이란어족 언어인 타지크어는 디지털 코퍼스가 희소하고, 주석 처리된 자원이 부족하며, 주요 다국어 학습 데이터에서 거의 대표되지 못합니다. 이러한 결핍은 교육, 행정, 문화 보존과 같은 핵심 분야에서 현대적 AI 도구에 대한 접근을 제한합니다. 또한, 타지키스탄 내에서 대형 모델을 배포하는 것은 제한된 컴퓨팅 인프라, 교육 기관의 고급 GPU 부족, 그리고 시골 지역의 불안정한 인터넷 연결과 같은 실용적 제약에 직면해 있습니다. 기존 다국어 모델들은 타지크어에 있어 견고한 언어 능력이나 문화적으로 기반을 둔 사실적 지식을 제공하지 못하는 경우가 많으며, 해당 언어를 위한 표준 평가 벤치마크는 사실상 존재하지 않습니다.

방법론

저자들은 오픈 가중치 Gemma 3 체크포인트를 기반으로 구축된 타지크어 특화 대화형 LLM(27B 및 12B 파라미터) 인 Soro 계열 모델을 제시합니다. 개발 과정은 파라미터 효율성과 배포 실현성을 위해 설계된 3 단계 파이프라인을 따릅니다:

1. 기반 모델 선정: 저자들은 배포 실현성 (8B~30B 범위), 기존 다국어 성능, 그리고 토큰화 효율성을 기준으로 여러 기반 모델 (Gemma 3, Qwen 3, Llama 3, GPT-OSS) 을 평가했습니다. Gemma 3는 타지크어 토큰화 효율성 (최저의 비옥도) 이 우수하고 타지크어 텍스트에 대한 효과적인 컨텍스트 윈도우를 유지하는 강력한 기준 성능을 보였기 때문에 선정되었습니다.
2. 데이터 큐레이션:
   • 지속적 사전 학습: 19 억 개 토큰으로 구성된 큐레이션된 타지크어 전용 코퍼스가 구성되었습니다. 자료에는 FineWeb2 의 타지크어 하위 집합, STEM 및 학술적 기반을 위한 번역된 FineWeb-Edu, 공식 문서를 위한 FinePDFs, 그리고 역사, 문학, 과학을 다루는 5~11 학년 국가 중등 학교 교과서의 고유한 하위 집합이 포함되었습니다. 이러한 교과서는 수기 전사 및 고정밀 OCR 을 통해 처리되었습니다.
   • 지시 미세 조정 (Instruction Tuning): 큐레이션된 교육 자료를 기반으로 Gemini 2.5 Flash 를 사용하여 40,000 개의 예제로 구성된 합성 데이터셋이 생성되었습니다. 이 데이터는 타지크어에서 정보성, 접근성, 교육적 건전성을 강조하는 '교사 같은' 스타일을 따릅니다.
3. 학습 및 적응:
   • 지속적 사전 학습: 12B 및 27B Gemma 3 기반 모델에서 **LoRA(저랭크 적응)**를 사용하여 수행되었습니다. 12B 모델은 LoRA 랭크 128 을, 27B 모델은 64 를 사용했으며, 타지크어 특화 서브워드 패턴을 정교화하기 위해 임베딩 레이어의 전체 학습이 수행되었습니다.
   • 지시 미세 조정: 작은 지시 데이터셋에서의 과적합을 방지하기 위해 축소된 LoRA 랭크 (32) 를 사용하여 사전 학습된 체크포인트에 적용되었습니다.
   • 선형 병합: 전문화 과정에서 손실될 수 있는 범용 능력을 회복하기 위해, 최종 Soro 체크포인트는 원래 Gemma 3 지시 미세 조정 (IT) 가중치와 선형적으로 병합되었습니다. 타지크어 특화 지식과 일반 추론 사이의 균형을 맞추기 위해 80% Soro / 20% Gemma 3-IT의 최적 비율이 확인되었습니다.
4. 엣지 배포를 위한 양자화: 하드웨어 제약을 해결하기 위해 병합된 모델은 Dynamic FP8 및 GPTQ INT4를 사용하여 양자화되었습니다. 이러한 방법은 각각 메모리 풋프린트를 약 50% 와 75% 감소시켜 소비자급 GPU(예: NVIDIA RTX 3060/4060) 및 엣지 장치에서의 배포를 가능하게 했습니다.

주요 기여

• Soro 모델 계열: 타지키스탄 내에서 개발된 최초의 타지크어 중심 LLM 들을 출시하여, 저자원 및 저연결성 환경에 최적화했습니다.
• 타지크어 벤치마크 스위트: 타지크어 벤치마크의 부재를 해결하기 위한 포괄적인 평가 스위트의 생성 및 오픈 소스화. 이는 다음을 포함합니다:
  • Tajik-FactQA: 역사, 문화, 지리에 관한 대학 입학 시험 문제.
  • Tajik History & Literature: 5~11 학년 교육과정과 일치하는 질문.
  • TajLib: 음성학, 문법, 철자를 다루는 언어 능력 벤치마크.
  • Tajik MMLU 및 Tajik Curated: 일반 지식 벤치마크의 번역 및 적응 버전.
• 교육 부문 파일럿: 타지키스탄의 5 개 지역 (두샨베, 후잔드, 바흐다트, 쿨로브, 호로그) 에 있는 100 개 학교에 걸쳐 Soro 를 체계적으로 배포하여, 국가 "AI 소개" 교육과정에 통합했습니다.
• 양자화 전략: 공격적인 양자화 (FP8/INT4) 가 엣지 배포를 가능하게 하는 학교용 하드웨어에서 타지크어 언어 향상 효과를 유지한다는 것을 입증했습니다.

결과

• 벤치마크 성능: 타지크어 특화 벤치마크 스위트 전반에 걸쳐 Soro(27B) 와 Soro Lite(12B) 는 동급 Gemma 3 기준 모델 및 기타 오픈 소스 모델 (예: Qwen, Llama) 을 크게 능가했습니다.
  • Soro 는 Gemma 3 기반 모델 대비 평균 정확도가 6 퍼센트 포인트 향상되었습니다.
  • TajLib(언어 능력) 의 경우 향상 폭이 10 퍼센트 포인트를 초과했습니다.
  • Soro Lite(12B) 는 Qwen3-14B 와 같은 더 큰 모델을 능가했으며, Soro(27B) 는 파라미터 수가 더 적음에도 불구하고 Qwen3-32B 를 능가했습니다.
• 일반 능력 유지: 영어 MMLU 벤치마크에서의 성능은 안정적으로 유지되어, 타지크어 중심 적응이 일반 추론이나 영어 지식을 저하시키지 않았음을 나타냅니다.
• 양자화 영향:
  • FP8: ~50% 의 메모리 감소를 달성했으며 정확도 손실은 미미했습니다 (예: 27B 모델의 정확도는 전체 정밀도와 실질적으로 동일하게 유지됨).
  • INT4: 4 배의 메모리 압축 (27B 모델의 경우 13.5GB) 을 달성하면서도 기준 모델 대비 대부분의 성능 향상을 유지했습니다.
• 파일럿 피드백: 100 개 학교에 걸친 초기 배포에서 교사들은 타지크어 품질 (4.47/5 점) 과 수업 준비 유용성에 대해 높은 만족도를 보였습니다. 학생들의 참여도는 증가했으나, 일부 지연 문제와 초지역적 주제에 대한 간헐적인 사실 오류가 지적되었습니다.

의의

이 논문은 Soro 를 제 2 형 부분적 AI 주권을 달성하는 구체적인 사례로 위치시킵니다: 개방형 가중치 모델을 현지 지식을 인코딩하도록 적응시키면서도 실현 가능한 현지 배포를 유지하는 것입니다. 이 연구는 강력한 기반 모델에 대한 집중적이고 자원 의식적인 적응이 심각하게 자원이 부족한 언어를 위한 고품질 배포 가능 언어 기술을 생산할 수 있음을 보여줍니다.

저자들은 큐레이션된 단국어 사전 학습, 합성 지시 미세 조정, 선형 병합, 그리고 공격적인 양자화를 결합한 방법론이 유사한 인프라 제약을 겪는 다른 저자원 언어에도 직접 전이 가능하다고 강조합니다. 모델과 타지크어를 위한 최초의 엄격한 평가 스위트를 모두 제공함으로써, 이 연구는 타지키스탄 및 유사 지역의 교육 및 공공 부문에서 AI 접근성을 확장하기 위한 실용적인 청사진으로 기능하여, 이론적 능력을 학교와 정부 기관의 현실적 유용성으로 전환하는 것을 목표로 합니다.