Raising Bars, Not Parameters: LilMoo Compact Language Model for Hindi

이 논문은 제한된 컴퓨팅 환경에서 투명하고 재현 가능한 파이프라인으로 구축된 고품질 한국어 말뭉치 (GigaLekh) 를 기반으로 훈련된 06 억 파라미터 규모의 힌디어 전용 언어 모델 'LilMoo'를 소개하며, 이는 동급의 다국어 베이스라인 모델들을 능가하는 성능을 보여줍니다.

핵심

1. 문제: 거인들만 남는 언어의 불평등

지금까지 인공지능 (AI) 세계는 거대한 '다국어 모델'들이 지배해 왔습니다. 마치 수만 명의 학생을 한꺼번에 가르치는 거대한 학교 같은데, 이 학교에서는 영어, 중국어 등 인구가 많은 언어의 학생들만 집중적으로 교육받습니다.

그 결과, 힌디어처럼 인구는 많지만 디지털 자료가 부족한 언어는 학교 구석에서 혼자 방치된 아이처럼 되었습니다. 기존에 힌디어를 잘하는 AI 를 만들려면, 이 거대한 학교 (다국어 모델) 에서 힌디어만 따로 공부시키는 '전수 교육' 방식을 썼는데, 이는 원래 학교의 비전공자 (데이터) 를 모르고 하는 교육이라 한계가 있었습니다.

2. 해결책: LilMoo(릴무) - 작지만 똑똑한 힌디어 전문 학생

연구팀은 "거대한 학교에 의존하지 말고, 힌디어만 전문으로 가르치는 작은 학교를 직접 지어보자"라고 생각했습니다.

• LilMoo(릴무): 이름처럼 작고 귀엽지만 (약 6 억 개의 파라미터, 즉 뇌세포 수), 힌디어에 특화된 전문 학생입니다.
• 핵심 철학: "크기가 중요하지 않다. 질 좋은 자료와 올바른 교육 방법이 중요하다."

3. 교육 과정 (데이터와 학습법)

A. 깨끗한 교재 만들기 (GigaLekh)

AI 를 가르치려면 좋은 책 (데이터) 이 필요합니다. 인터넷에는 쓰레기 같은 글도 많죠. 연구팀은 900 억 개의 단어가 넘는 힌디어 자료를 모으고, 두 가지 방법으로 정성껏 걸러냈습니다.

1. 규칙 검사: 문장이 이상하거나 반복되는 글은 버림.
2. AI 심사위원 (LLM-as-a-judge): 최신 AI 가 "이 글은 교육적으로 가치가 있을까?"를 심사하여 점수를 매긴 뒤, 좋은 글만 선별했습니다.

• 비유: 마치 최고급 도서관을 지을 때, 쓰레기 장난감을 치우고 진짜 유익한 책만 진열한 것과 같습니다.

B. 두 가지 학습 방식 (Recipe)

연구팀은 두 가지 방식으로 LilMoo 를 훈련시켰습니다.

1. LilMoo-v0.1 (힌디어만): 힌디어 책만 5 번 반복해서 읽게 했습니다. (순수 힌디어 전문)
2. LilMoo-v0.2 (힌디어 + 영어): 힌디어 책과 함께, **고퀄리티 영어 교재 (수학, 과학, 논리 문제 등)**도 섞어서 가르쳤습니다.
   • 이유: 힌디어와 영어는 역사적, 문화적으로 많이 섞여 쓰기 때문에, 좋은 영어 자료를 함께 배우면 힌디어 이해도도 깊어진다는 '상생 효과'를 노렸습니다.

4. 놀라운 결과: 작은 학교가 거인을 이기다!

결과적으로 LilMoo 는 **Qwen(쿠엔)**이라는 거대 다국어 모델 (0.5B~0.6B 크기) 보다 훨씬 뛰어난 성적을 냈습니다.

• 성적표 비교:
  • 거인 (Qwen): 엄청난 양의 데이터와 전력을 써서 공부했지만, 힌디어 실력은 평범했습니다.
  • 작은 학교 (LilMoo): 훨씬 적은 에너지와 데이터로 공부했는데, 힌디어 실력은 거인보다 훨씬 뛰어났습니다.
  • 특이점: 힌디어 문화와 관련된 문제 (예: 힌디어권 사람들의 일상, 관습) 를 물어보면, 영어를 섞어 공부한 모델보다 힌디어만 공부한 모델이 더 잘 맞췄습니다. (문화적 맥락은 순수하게 그 언어로 배워야 깊어진다는 뜻입니다.)

5. 핵심 메시지: "파라미터를 늘리는 게 답이 아니다"

이 논문의 제목인 **"RAISING BARS, NOT PARAMETERS(규준을 높이자, 파라미터를 늘리지 말자)"**는 다음과 같은 의미를 담고 있습니다.

• 기존 방식: "AI 가 똑똑해지려면 뇌세포 (파라미터) 를 더 많이 만들고, 더 많은 전력을 써야 해." (비효율적, 환경 파괴)
• LilMoo 의 방식: "뇌세포 수는 적어도 질 좋은 교재와 올바른 교육 커리큘럼을 쓰면, 적은 비용으로도 충분히 똑똑해질 수 있어."

6. 결론: 왜 이 연구가 중요한가?

이 연구는 **"저자본 (Low-resource) 언어"**를 가진 모든 국가와 언어에게 희망을 줍니다.

• 거대 기업들이 수천 억 원의 예산을 들여 거인 AI 를 만드는 대신, 각 언어에 맞는 작은 AI 를 100 개나 만들어서 전체적으로 더 나은 성능을 낼 수 있다는 것을 증명했습니다.
• 모든 코드, 데이터, 모델이 **공개 (Open Source)**되어 누구나 자유롭게 연구하고 발전시킬 수 있게 되었습니다.

한 줄 요약:

"거대한 AI 가 모든 언어를 다 잘할 수는 없습니다. 하지만 각 언어에 맞춰 작고 정성껏 만든 AI라면, 적은 비용으로도 그 언어를 가장 잘 이해할 수 있습니다. LilMoo 는 힌디어를 위한 그 첫걸음입니다."

기술 요약

1. 문제 제기 (Problem)

자연어 처리 (NLP) 분야에서 대규모 다국어 기반 모델의 지배력은 언어적 불평등을 심화시켰습니다. 고자원 언어 (영어 등) 에 비해 저자원 언어 (힌디어 등) 는 데이터 부족과 인프라 부재로 인해 소외되고 있습니다.

• 기존 접근법의 한계: 대부분의 기존 힌디어 모델은 오픈된 대규모 다국어 모델 (예: Qwen, LLaMA) 에 대한 지속적 사전 학습 (Continual Pretraining, CPT) 에 의존합니다. 이는 원본 학습 데이터, 레시피, 하이퍼파라미터가 불투명하여 (Black-box) 재현성과 과학적 이해를 제한합니다.
• 데이터 품질 문제: 힌디어 데이터는 영어와의 혼합 (Hinglish) 이 흔하고, 웹 크롤링 데이터에는 노이즈가 많아 고품질 코퍼스 구축이 어렵습니다.
• 계산 자원 격차: 저자원 언어를 위한 전용 모델을 처음부터 (from scratch) 훈련시키는 것은 막대한 계산 비용이 필요하다고 여겨져 왔습니다.

2. 방법론 (Methodology)

이 연구는 LilMoo라는 0.6B(6 억) 파라미터 규모의 힌디어 전용 언어 모델을 처음부터 훈련시켰으며, 제한된 계산 자원 환경에서도 고품질 모델을 구축할 수 있는 투명한 파이프라인을 제시합니다.

2.1 데이터 구축 (GigaLekh Corpus)

• GigaLekh: 약 900 억 토큰 (8300 만 문서) 규모의 고품질 힌디어 코퍼스를 구축했습니다.
• 필터링 파이프라인:
  1. 전처리: URL 차단, Trafilatura 를 통한 텍스트 추출, 언어 식별 (FT176 + GlotLID).
  2. 휴리스틱 필터링: 반복, 문법 오류, 비정상적인 단어 길이 등 구조적 결함 제거.
  3. 학습 기반 필터링 (LLM-as-a-Judge): Qwen2.5-32B 를 '심판 (Judge)'으로 활용하여 문서의 교육적 유용성 (Educational Quality) 과 유해성 (Toxicity) 을 1~5 점으로 평가했습니다.
  4. 분류기 훈련: LLM 평가 결과를 바탕으로 경량 분류기 (Hindi-RoBERTa) 를 훈련시켜 전체 코퍼스를 효율적으로 필터링했습니다.
• 데이터 증강: 모델 성능 향상을 위해 고품질 영어 데이터 (교육, 추론, 수학 관련) 를 전략적으로 혼합하여 bilingual 모델 (LilMoo-v0.2) 을 훈련시켰습니다.

2.2 토크나이저 및 아키텍처

• 토크나이저: SentencePiece 를 사용하여 힌디어, 영어, 코드를 모두 처리할 수 있도록 처음부터 훈련했습니다. 어휘 크기 49,152 로 설정하여 GPU 효율성을 극대화했습니다.
• 모델 아키텍처: Llama 아키텍처를 기반으로 하며, RMSNorm, RoPE, SwiGLU 활성화 함수를 사용합니다.
  • 파라미터: 6.7 억 (0.67B)
  • 레이어: 28 개, 히든 크기: 1,536
  • 컨텍스트 길이: 4,096 토큰

2.3 훈련 레시피 (Training Recipes)

두 가지 버전의 모델을 훈련하여 비교 분석했습니다.

1. LilMoo-v0.1 (단일 단계): 순수 힌디어 데이터만 사용. 단일 코스 (Cosine) 학습률 감소 스케줄 적용.
2. LilMoo-v0.2 (다단계): 고품질 힌디어 + 고품질 영어 데이터 혼합.
   • 3 단계 커리큘럼: (1) Warmup+Stable, (2) Stable, (3) Stable+SqrtDecay.
   • 데이터의 품질과 난이도에 따라 점진적으로 샘플링 비율을 조정하고, 학습률 스케줄러 (Warmup-Stable-Decay) 를 적용하여 수렴성을 높였습니다.

2.4 인프라 및 최적화

• 하드웨어: Bonn 대학의 Marvin HPC 클러스터 (NVIDIA A100 GPU) 사용.
• 최적화: BF16 정밀도, Grouped-Query Attention (GQA), Activation Checkpointing, FlashAttention-2, Liger Kernel 등을 활용하여 메모리 효율성과 처리량을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. 고품질 힌디어 코퍼스 (GigaLekh): 휴리스틱과 학습 기반 필터링을 결합한 900 억 토큰 규모의 데이터셋과 이를 위한 필터링 분류기 공개.
2. 완전 오픈 소스 레시피: 데이터 수집부터 모델 훈련, 평가까지의 전체 파이프라인을 Apache 2.0 라이선스로 공개하여 재현성을 보장합니다.
3. 기초 모델 (Base Models):
   • LilMoo-v0.1: 순수 힌디어 모델.
   • LilMoo-v0.2: 힌디어 + 고품질 영어 혼합 모델.
4. 평가 도구 (Evaluation Harness): 힌디어 NLP 모델 평가를 위한 포괄적이고 재현 가능한 벤치마크 스위트 구현.

4. 결과 (Results)

• 벤치마크 성능: LilMoo 모델들은 파라미터 수 (0.6B) 가 유사한 다국어 기반 모델인 Qwen2.5-0.5B 및 Qwen3-0.6B를 일관되게 능가했습니다.
  • NPM (Normalized Preferred Metric): LilMoo-v0.2 는 9.94 점으로, Qwen3-0.6B(4.08 점) 보다 월등히 높은 점수를 기록했습니다.
  • 특정 태스크: ARC, HellaSwag, CSQA 등 추론 및 언어 이해 태스크에서 우수한 성능을 보였습니다.
  • 문화적 맥락: Global PIQA(물리적 상식) 와 같은 문화 특정 태스크에서는 단일 언어 모델 (v0.1) 이 다국어 모델 (v0.2) 보다 더 좋은 성능을 보여, 문화적 맥락 이해에는 언어 혼합이 오히려 방해가 될 수 있음을 시사했습니다.
• 계산 효율성: LilMoo 모델은 Qwen3-0.6B 보다 약 100 배 적은 계산 자원 (FLOPs) 으로 더 높은 성능을 달성했습니다. 이는 저자원 언어를 위한 전용 모델 훈련이 다국어 거대 모델을 훈련하는 것보다 훨씬 효율적일 수 있음을 증명합니다.

5. 의의 및 결론 (Significance & Conclusion)

• "파라미터가 아닌 기준을 높이다": 단순히 모델 크기를 키우는 것이 아니라, 데이터 품질과 훈련 전략을 최적화함으로써 저자원 언어에서도 고성능 모델을 구축할 수 있음을 입증했습니다.
• 투명성과 재현성: 블랙박스 기반의 지속적 학습 (CPT) 대신, 데이터와 레시피가 완전히 공개된 'from scratch' 훈련의 중요성을 강조합니다.
• 확장 가능성: 이 연구에서 제시된 방법론은 포르투갈어 (Tucano), 벵골어 (LilTii) 등 다른 저자원 언어에도 적용 가능하며, 제한된 계산 자원으로도 포용적이고 강력한 NLP 생태계를 구축할 수 있는 실질적인 토대를 제공합니다.

이 논문은 저자원 언어 NLP 연구의 패러다임을 '대규모 다국어 모델의 파생'에서 '고품질 데이터와 효율적인 훈련을 통한 전용 모델 구축'으로 전환할 것을 제안합니다.