Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

기술 요약: PARAMANU

문제 정의

현재의 대규모 언어 모델(LLM)은 주로 영어와 고자원 유럽 언어에 치중되어 학습되었으며, 이로 인해 인도에서 사용되는 저자원, 형태론적 풍부성을 가진 언어들에 대해 상당한 성능 격차가 발생합니다. 다국어 모델은 종종 영어가 중심이 되는 "영어 중심 편향(English-centric bias)"을 겪으며, 이로 인해 비라틴 문자 기반의 성능 저하가 나타납니다. 또한, 이러한 모델들은 흔히 "언어 범용(language-fits-all)" 토크나이저를 사용하여 형태론적으로 풍부한 언어에서 과도한 분절(over-segmentation)을 일으키며, 이는 높은 토큰 번식도(token fertility), 추론 비용 증가, 그리고 유창성 저하로 이어집니다. 기존의 영어 중심 모델을 지속적 사전 학습(continual pretraining)이나 미세 조정(fine-tuning)을 통해 인도 언어로 적응시키는 과정은 어휘 확장 효율성, 임베딩 불일치, 파괴적 망각(catastrophic forgetting) 등의 문제를 야기하며, 이는 자원이 부족한 연구자들이 감당하기 어려운 계산 자원을 요구하기도 합니다.

방법론

저자들은 벵골어, 힌디어, 마라티어, 타밀어, 텔루구어 등 5가지 주요 인도 언어를 위해 특별히 처음부터(from scratch) 학습된 단일 언어, 자기회귀적 디코더 전용 언어 모델인 PARAMANU 패밀리를 소개합니다. 모델 크기는 108M에서 367M 파라미터 범위이며, 1,000달러 미만의 예산과 단일 GPU 환경에서 학습할 수 있도록 설계되었습니다.

핵심 기술 구성 요소:

1. 데이터 큐레이션 및 정제:

   • 사전 학습 코퍼스는 웹 스크레이핑된 뉴스, 블로그, 위키피디아(IndianCorp v2, Vacaspati)에서 추출한 약 54.6 GB의 UTF-8 텍텍스트(25~660억 토큰)로 구성됩니다.
   • 엄격한 정제 과정에는 HTML/XML의 정규 표현식 필터링, 비리터럴 문자 제거, 언어 식별(cld3 및 IndianLID-FTN 사용), 독성(toxicity) 필터링, 그리고 MurmurHash5를 통한 중복 제거가 포함됩니다.
   • 문장 분할은 언어별 특유의 구두점(예: 벵골어 및 데바나가리 스크립트의 "danda" |)을 활용합니다.

2. 형태론 정렬 토크나이저(Morphology-Aligned Tokenization):

   • 과도한 분절 문제를 해결하기 위해, 저자들은 바이트 쌍 인코딩(BPE)과 유니그램 언어 모델(Unigram Language Model) 토큰을 결합한 하이브리드 토크나이저를 개발했습니다.
   • 확률적 가지치기(probabilistic pruning)를 통해 전역적 형태 구조를 포착하는 유니그램 토큰들을 BPE 어휘에 병합합니다.
   • 이 접근 방식은 줄기(stem)와 빈번한 접미사를 원자적 서브워드(atomic subwords)로 보존함으로써, 표준 BPE나 Sarvam 2B, Llama-3와 같은 다국어 모델에 비해 토큰 번식도(단어당 토큰 수)를 크게 감소시킵니다.

3. 위치 보간을 통한 컨텍스트 스케일링:

   • 제한된 컨텍스트 윈도우(예: 단일 A100 GPU에서 256 토큰)를 가진 하드웨어에서 긴 시퀀스(최대 4096 토큰)를 학습하기 위해, 저자들은 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)에 대한 **축소 계수(shrinking factor)**를 적용합니다.
   • 토큰 위치 인덱스 $p$는 $p' = p \cdot (L/y)$로 스케일링됩니다 (여기서 $L$은 하드웨어 허용 컨텍스트 길이, $y$는 목표 길이). 이를 통해 모델은 절대적 위치를 더 좁은 하드웨어 지원 범위 내로 매핑하면서도 상대적 거리를 보존하여 장거리 의존성을 학습할 수 있습니다.

4. 지시어 튜닝(Instruction Tuning):

   • 벵골어를 위한 23,000개의 지시어 데이터셋을 구축하였으며, 여기에는 인간이 작성한 샘플, 번역된 Dolly 지시어, 그리고 Self-instruct 샘플이 포함됩니다.
   • 모델을 인간의 지시 사항에 정렬시키기 위해, 이 데이터셋들을 힌디어, 마라티어, 타밀어, 텔루구어로 기계 번역(수동 사후 편집 포함)하였습니다.

5. 모델 아키텍처:

   • RMSNorm, SwiGLU 활성화 함수, 가중치 타이잉(weight tying)을 사용하는 트랜스포머 디코더 아키텍처를 기반으로 합니다.
   • 설정은 Chinchilla 스케일링 법칙을 따르며, 모델 크기는 108M에서 367M 파라미터까지 다양합니다.

주요 기여

1. PARAMANU 패밀리: 투명한 언어별 데이터를 바탕으로 처음부터 학습된, 최초의 오픈 소스 인도 전용 400M 미만 디코더 언어 모델(벵골어, 힌디어, 마라티어, 타밀어, 텔루구어)입니다.
2. 저-번식도 토크나이저: BPE와 유니그램 방식을 결합하여 인도 스크립트의 형태론적 일관성을 개선하고 토큰 수를 줄이는 혁신적인 형태론 정렬 토크나이저를 제공합니다.
3. 효율적 학습 기법: 단일 GPU 설정에서도 긴 컨텍스트 학습을 가능하게 하는 보간 기반의 RoPE 위치 인덱스 활용법과 하이퍼파라미터 최적화를 위한 $\mu$P 전이를 사용합니다.
4. 지시어 데이터셋: 인간의 지시 사항에 대한 모델의 정렬을 용이하게 하기 위해 다른 대상 언어로 번역된 벵골어 지시어 튜닝 데이터셋을 제공합니다.

결과

PARAMANU 모델은 MMLU, ARC, Belebele, XNLI 및 언어별 데이터셋(HellaSwag, XCOPA, XStoryCloze)을 사용하여 21개의 다국어 및 인도 적응형 LLM(200M에서 8B 파라미터 범위)과 비교 평가되었습니다.

• 크기 대비 성능: 400M 미만의 작은 크기와 700억 개 미만의 학습 데이터에도 불구하고, PARAMANU 모델은 5개 언어 모두에서 대부분의 더 큰 다국어 모델(최대 3B 파라미터)을 능가합니다.
• 대규모 모델과의 비교: PARAMANU는 저자원 데이터 업샘플링(예: xGLM)을 통해 학습된 모델을 포함하여, 10개의 더 큰 모델(>3B 파라参数) 중 6개를 앞섭니다. LLaMA-3-8B나 Bloomz-7B와 같은 모델들이 방대한 지시어 튜닝 덕분에 전반적으로 우위에 있으나, PARAMANU는 경쟁력 있는 성능을 보여줍니다.
• 절제 연구(Ablation Studies):
  • 하이브리드 토크나이저는 표준 BPE 대비 다운스트림 태스크 성능을 0.56%에서 2.02%까지 향상시켰습니다.
  • 데이터 정제는 점수를 1%에서 3.5%까지 추가로 높였습니다.
  • 위치 보간은 더 긴 시퀀스에 대한 효과적인 학습을 가능하게 했으며, 일반적으로 컨텍스트 크기가 커질수록 성능이 향상되었습니다.
• 교차 언어 전이: 모델들은 데바나가리 스크립트 계열 내에서 강력한 제로샷 전이 능력을 보여주었습니다(예: 마라티어 모델이 힌디어 벤치마크에서 우수한 성능을 보임). 이는 교차 언어 작업에서의 유용성을 시사합니다.

의의 및 주장

본 논문은 저자원, 형태론적 풍부성을 가진 언어의 경우, 반드시 모델 규모를 극대화하거나 방대한 다국어 코퍼스에 의존하는 것이 최적의 전략은 아니라고 주장합니다. 대신, 정제된 특정 데이터로 학습된 저-번식도, 형태론 정렬 토크나이저를 갖춘 언어 특화 모델을 구축하는 것이 더 우수한 성능-효율성 트레이드오프를 제공합니다.

PARAMANU는 엄격한 계산 및 예산 제약 하에서도 소규모 단일 언어 모델이 훨씬 더 큰 다국어 대안들과 경쟁할 수 있음을 입증합니다. 이러한 접근 방식은 고급 언어 모델링을 자원이 부족한 연구자와 커뮤니티가 접근 가능하도록 만들며, 인도 언어 분야의 NLP 연구 및 다운스트림 애플리케이션을 위한 실질적인 토대를 제공합니다. 저자들은 모델, 토크나이저, 데이터셋의 오픈 소스 공개를 통해 역사적으로 AI 연구에서 소외되었던 언어 간의 격차를 해소하고, 투명성과 커뮤니티 중심의 발전을 도모하고자 합니다.