MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages
이 논문은 남아프리카 공화국의 11 개 공식 언어를 대상으로 구축된 오픈 코퍼스 'MzansiText'와 1 억 2,500 만 파라미터의 디코더 전용 언어 모델 'MzansiLM'을 소개하고, 다양한 적응 전략을 통해 소규모 모델로도 저자원 언어의 자연어 이해 및 생성 작업에서 경쟁력 있는 성능을 달성할 수 있음을 입증합니다.
원저자:Anri Lombard, Simbarashe Mawere, Temi Aina, Ethan Wolff, Sbonelo Gumede, Elan Novick, Francois Meyer, Jan Buys
지금까지 AI 는 거대한 도서관 (수조 개의 데이터) 을 가진 거인들이었습니다. 하지만 남아공에는 11 개의 공식 언어가 있는데, 그중 9 개는 자료가 매우 부족한 '작은 마을' 같은 언어들입니다.
기존 방식: 거대한 도서관 (거대 AI) 을 빌려와서 작은 마을의 언어를 가르치려 했지만, 거인은 너무 커서 작은 마을의 세세한 사투리나 뉘앙스를 잘 이해하지 못했습니다.
연구자의 아이디어: "거인이 아니라, 그 마을에 태어나서 자란 작은 아이를 키워보자!"
결과: 연구자들은 125M(1 억 2 천 5 백만) 파라미터라는 작은 AI를 처음부터 직접 키웠습니다. 이 크기는 거대 AI 에 비하면 작지만, 남아공의 11 개 언어를 모두 골고루 배울 수 있는 최적의 크기입니다.
2. 준비물: MzansiText (맛있는 재료 모음)
요리를 잘 하려면 좋은 재료가 필요합니다. 연구자들은 MzansiText라는 이름의 특별한 재료 장바구니를 만들었습니다.
재료: 인터넷 뉴스, 위키백과, 정부 문서 등 남아공의 11 개 언어로 된 텍스트를 모았습니다.
선별 과정 (필터링): 인터넷에는 쓰레기 같은 글도 많습니다. 연구자들은 **정교한 체 (필터)**를 이용해 언어가 섞인 글, 오타가 많은 글, 불필요한 광고 등을 걷어내고 가장 깨끗하고 맛있는 글만 남겼습니다.
특이점: 영어와 아프리칸스어 (남아공의 주요 언어) 가 너무 많아서 다른 언어가 묻힐 뻔했지만, 연구자들은 "비록 양은 적어도 모든 언어를 골고루 배워야 한다"며 재료를 정성스럽게 배분했습니다.
3. 훈련 방법: 세 가지 교육 방식 (어떻게 가르쳤나?)
이 작은 AI 를 다양한 일을 시키기 위해 세 가지 다른 교육 방식을 시험해 보았습니다.
단어장 외우기 (단일 언어 특화):
"줄루어만 하는 일"을 시킬 때, 줄루어 자료만 보고 집중적으로 공부하게 했습니다.
결과:가장 잘했습니다! 특히 "데이터를 글로 바꾸기"나 "이름 찾기" 같은 구체적인 작업에서 거대 AI 들보다 더 잘할 때도 있었습니다.
친구들과 함께 공부하기 (다국어 특화):
줄루어, 코사어, 세소토어 등 비슷한 언어끼리 한 반에 모아 함께 공부하게 했습니다. (비슷한 언어는 문법이 비슷하니까 서로 도움을 줄 수 있습니다.)
결과: 뉴스 주제 분류 같은 작업에서 서로 도움을 주며 좋은 성적을 냈습니다.
모든 과목 한 번에 배우기 (지시 명령 학습):
"이건 요약해 줘, 저건 번역해 줘, 이건 분류해 줘"라고 모든 지시를 섞어서 가르쳤습니다.
결과: 다양한 일을 할 수는 있지만, 특정 일에 대해서는 앞의 두 방법보다 조금 약했습니다.
4. 결론: 작은 AI 의 승리와 한계
이 실험을 통해 연구자들은 중요한 사실을 발견했습니다.
승리:작은 AI 는 구체적인 일 (글쓰기, 이름 찾기, 요약) 을 시키면 아주 훌륭합니다. 심지어 10 배 이상 큰 AI 들보다 더 잘할 때도 있습니다. 이는 "작은 모델도 잘 훈련되면 큰 일을 할 수 있다"는 것을 보여줍니다.
한계: 하지만 추리력이 필요한 일 (예: "이 글의 숨은 뜻을 찾아라"나 "수학 문제를 풀어라") 은 여전히 어렵습니다. 작은 AI 는 이런 복잡한 논리 문제에서는 거의 무작위 추측 수준에 머뭅니다. 이런 일은 아직 거대 AI 가 필요합니다.
요약하자면?
이 논문은 **"남아공의 모든 언어를 위한 작지만 똑똑한 AI 를 처음부터 만들어 보았다"**는 이야기입니다.
MzansiText: 깨끗하게 정제된 남아공 언어 데이터.
MzansiLM: 그 데이터로 키운 125M 크기의 작은 AI.
교훈: 거대 AI 가 모든 것을 다 할 수는 없습니다. 작은 AI 가 특정 언어와 특정 일에 특화되면, 거인보다 더 빠르고 정확하게 일할 수 있습니다.
연구자들은 이 모델과 데이터를 모두 공개하여, 앞으로 남아공의 언어 기술을 발전시키는 데 누구나 사용할 수 있는 **기준선 (Baseline)**을 제공했습니다.
이 논문은 남아프리카 공화국의 11 개 공식 언어 (9 개 저자원 언어 포함) 를 대상으로 한 오픈 소스 프리트레이닝 코퍼스인 MzansiText와 이를 기반으로 학습된 1 억 2,500 만 파라미터 (125M) 의 디코더 전용 언어 모델 MzansiLM을 소개합니다.
주요 내용은 다음과 같습니다.
1. 문제 정의 (Problem)
저자원 언어의 모델 부재: 남아프리카의 11 개 공식 언어 중 9 개는 저자원 (low-resource) 언어입니다. 현재까지 이 모든 언어를 명시적으로 대상으로 하는 공개된 디코더 전용 (decoder-only) 모델은 존재하지 않았습니다. 기존 연구는 주로 인코더 전용 (BERT 등) 또는 인코더 - 디코더 (T5 등) 아키텍처에 집중되어 있었습니다.
적응 전략의 불명확성: 소규모 모델에서 저자원 언어를 위해 지시 미세조정 (instruction finetuning) 을 적용할 때, 단일 언어 태스크 특화 미세조정, 다국어 태스크 특화 미세조정, 일반 다태스크 지시 미세조정 중 어떤 전략이 가장 효과적인지에 대한 체계적인 비교 연구가 부족했습니다.
소규모 모델의 한계: 저자원 환경에서 소규모 디코더 전용 모델이 자연어 이해 (NLU) 및 생성 (NLG) 과 같은 다양한 태스크에서 얼마나 잘 일반화되는지 명확하지 않았습니다.
2. 방법론 (Methodology)
A. 데이터 구축: MzansiText
데이터 소스: mC4, CulturaX, WURA, Glot500-c, NCHLT Text, CC100, ParaCrawl, Inkuba-Mono 등 공개된 다국어 및 남아프리카 언어 리소스를 통합했습니다.
전처리 파이프라인: Datatrove 를 활용한 재현 가능한 다단계 파이프라인을 구축하여 언어 식별, 노이즈 제거, 구조적 제약 적용, 중복 제거 (deduplication), 안전성 필터링, 품질 필터링을 수행했습니다.
언어 균형: 영어와 아프리칸스어 (고자원) 가 전체 데이터의 약 84% 를 차지하는 편향된 분포를 보였으나, 고자원 언어를 인위적으로 제한했을 때 하위 태스크 성능이 저하됨을 확인하고 자연스러운 분포를 유지했습니다. 다만, 검증 및 테스트 세트는 언어당 200 만 토큰으로 제한하여 편향을 보정했습니다.
B. 모델 학습: MzansiLM
아키텍처: MobileLLM 의 125M 파라미터 설정을 기반으로 한 디코더 전용 모델입니다. LLaMA 스타일의 디코더 스택과 인과적 자기 주의 (causal self-attention) 를 사용하며, 최대 컨텍스트 길이는 2,048 토큰입니다.
토크나이저: 65,536 어휘 크기의 BPE 토크나이저를 사용하여 11 개 공식 언어 전체를 커버하도록 학습했습니다.
학습: 5 에포크 동안 전처리를 거친 MzansiText 코퍼스로 학습했습니다.
C. 적응 전략 평가 (Adaptation Regimes)
세 가지 미세조정 전략을 체계적으로 비교 평가했습니다.
단일 언어 태스크 특화 미세조정 (Monolingual task-specific finetuning): 각 언어와 태스크 쌍에 대해 별도의 모델을 학습.
다국어 태스크 특화 미세조정 (Multilingual task-specific finetuning): 특정 태스크에 대해 관련 언어들의 데이터를 통합하여 하나의 모델을 학습 (크로스 - 링구얼 전이 활용).
일반 다태스크 지시 미세조정 (General multi-task instruction finetuning): 모든 태스크와 언어를 하나의 혼합 데이터셋으로 학습.
3. 주요 기여 (Key Contributions)
MzansiText: 남아프리카 11 개 공식 언어를 모두 커버하는 재현 가능한 프리트레이닝 코퍼스와 파이프라인을 공개했습니다.
MzansiLM: 125M 파라미터 크기로 처음부터 학습된 최초의 오픈 소스 디코더 전용 모델입니다.
체계적인 비교 연구: 소규모 디코더 전용 모델에 대한 세 가지 적응 전략의 성능을 다양한 태스크 (분류, 생성, 시퀀스 라벨링 등) 와 언어에 걸쳐 비교하여, 어떤 전략이 유효한지 명확한 가이드라인을 제시했습니다.
4. 실험 결과 (Results)
A. 태스크별 성능
데이터 - 텍스트 생성 (Data-to-Text): 단일 언어 태스크 특화 미세조정이 가장 강력하게 작동했습니다. 특히 isiXhosa 언어에서 BLEU 20.65를 기록하여, 10 배 이상 큰 인코더 - 디코더 모델 (mT5-base 등) 과 경쟁하거나 능가하는 성능을 보였습니다.
토픽 분류 (Topic Classification): 다국어 태스크 특화 미세조정이 밀접하게 관련된 bantu 언어군 (예: isiXhosa) 에서 시너지를 발휘하여 78.5% 의 Macro-F1을 기록했습니다.
시퀀스 라벨링 (NER, POS): 단일 언어 태스크 특화 미세조정이 가장 효과적이었으며, 다국어 또는 일반 지시 미세조정보다 성능이 우수했습니다.
저수 (Few-shot) 추론 및 읽기 이해: 125M 규모의 모델에서는 Belebele(읽기 이해), IrokoBench(추론), INJONGO Intent(의도 분류) 등의 태스크에서 성능이 우연 수준 (chance level) 에 머물렀습니다. 이는 70B 파라미터 이상의 모델이 될 때까지 추론 능력이 발현되지 않음을 시사합니다.
B. 베이스라인 모델 비교
소규모 모델의 강점: 125M 모델은 단일 언어 태스크 특화 미세조정을 통해, 0.4B~8B 파라미터 크기의 다른 디코더 전용 모델 (InkubaLM, AfroLlama 등) 과는 물론, 70B 모델 (Llama-3.1-70B) 보다도 특정 생성 및 시퀀스 라벨링 태스크에서 더 나은 성능을 보여주었습니다.
아키텍처의 한계: 분류 및 구조화된 예측 태스크에서는 인코더 전용 (AfroXLMR 등) 또는 인코더 - 디코더 (Aya-101 등) 모델이 여전히 우위를 점했습니다. 특히 70B 미만 규모의 디코더 전용 모델은 복잡한 추론 태스크에서 한계를 보였습니다.
5. 의의 및 결론 (Significance)
재현 가능한 베이스라인: 남아프리카 언어를 위한 소규모 디코더 전용 모델의 표준 베이스라인을 제시하여, 향후 연구의 비교 기준을 마련했습니다.
적응 전략 가이드: 저자원 환경에서 소규모 디코더 모델은 **태스크 특화 감독 (task-specific supervision)**을 통해 생성 및 라벨링 태스크에서 매우 효과적임을 입증했습니다. 반면, 추론이나 읽기 이해와 같은 복잡한 태스크는 모델 크기 확장 (Scaling) 이 필요하거나 인코더 기반 아키텍처가 더 적합함을 보였습니다.
실용적 가치: 소규모 모델이라도 지역 특화 언어 데이터와 적절한 설계 (태스크 특화 미세조정) 를 통해 대규모 모델과 경쟁할 수 있음을 보여주어, 저자원 언어 환경에서의 효율적인 AI 개발 방향을 제시했습니다.
이 연구는 남아프리카 언어의 디지털 격차 해소를 위해 오픈 소스 리소스와 실증적 증거를 제공한다는 점에서 중요한 의의를 가집니다.