Multilingual TinyStories: A Synthetic Combinatorial Corpus of Indic Children's Stories for Training Small Language Models

1. 문제 정의 (Problem Statement)

• 저자원 언어의 데이터 부족: 저자원 언어 (Low-resource languages) 를 위한 견고한 언어 모델 개발은 고품질, 일관성 있으며 도메인에 적합한 학습 코퍼스의 부재로 인해 병목 현상을 겪고 있습니다.
• LLM 의 편향: 최근 대규모 언어 모델 (LLM) 의 발전은 주로 영어와 같은 고자원 언어에 편향되어 있으며, 인도 아대륙의 다양한 언어권에서는 AI 기술의 민주화가 어렵습니다.
• 기존 데이터의 한계: 기존 인도어 코퍼스 (IndicCorp 등) 는 웹 크롤링 기반이라 노이즈가 많고, 형식적 복잡도가 높아 소규모 언어 모델 (SLM) 의 초기 구문 정렬 (syntactical alignment) 에 비효율적입니다.
• SLM 학습의 필요성: 소규모 파라미터 모델이 효율적으로 언어 구조를 학습하려면 방대한 양뿐만 아니라 '청결하고', '구조적으로 단순하며', '일관된' 데이터가 필요합니다.

2. 방법론 (Methodology)

이 논문은 17 개 인도어 (Indic languages) 를 대상으로 한 대규모 합성 코퍼스인 Multilingual TinyStories를 구축하기 위해 하이브리드 파이프라인을 제안합니다.

가. 혼합 생성 파이프라인 (Hybrid Curation Pipeline)

1. 네이티브 생성 (Native Generation):
   • 모델: Sarvam-M 언어 모델을 활용합니다.
   • 대상 언어: 7 개 언어 (구자라트어, 카나다어, 말라얄람어, 오디아어, 펀자비어, 타밀어, 텔루구어) 에 대해 직접 생성합니다.
   • 기법: 정적 프롬프트 대신 **조합적 프롬프트 엔지니어링 (Combinatorial Prompt Engineering)**을 사용합니다.
     • 15 가지 이상의 내러티브 아키타입 (모험, 교훈, 우정 등) 을 기반으로 합니다.
     • 캐릭터, 배경, 사물/문제, 주제 등 4 가지 변수 슬롯 (Slot) 을 동적으로 채워 수백만 개의 고유한 프롬프트 조합을 생성합니다.
     • 이는 모델이 잠재 공간 (latent space) 의 다양한 영역을 탐색하도록 하여 의미적 다양성을 확보합니다.
2. 기계 번역 확장 (Cross-Lingual Expansion):
   • 소스: 구조적 충실도와 어휘의 청결도가 높은 구자라트어 (Gujarati) 데이터를 소스 코퍼스로 선정합니다.
   • 확장: Google Translate API 를 사용하여 나머지 10 개 저자원 언어 (아삼어, 도그리어, 콘카니어, 마이틸리어, 마니푸리어, 네팔어, 산스크리트어, 산탈리어, 신디어, 우르두어) 로 확장합니다.
   • 목적: 조합적 프롬프트 프레임워크가 확립한 내러티브 다양성을 모든 언어 분할에 보존합니다.

나. 제약 조건 및 필터링

• 제약 조건: 5 세 아동의 독해 수준에 맞춰 어휘 복잡도를 제한하고, 문장 수를 58 문장, 토큰 수를 80200 개로 제한하여 SLM 이 핵심 언어 구조를 포착하도록 설계했습니다.
• 스크립트 정규화: 학습 데이터의 순도를 위해 비네이티브 문자 (라틴 문자, 영어 토큰 등) 를 제거하는 프로그램matic 필터링을 적용했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 다국어 코퍼스 출시: 17 개 소외된 인도어 (Underrepresented Indic languages) 를 대상으로 한 132,942 개의 동화 스토리와 약 9,390 만 개의 토큰으로 구성된 대규모 오픈소스 합성 코퍼스를 공개했습니다.
2. SLM 을 위한 맞춤형 리소스: 인도 언어권에서 소규모 언어 모델 (SLM) 을 위한 사전 학습 및 정렬을 위한 '청결하고', '구조적으로 단순하며', '네이티브 스크립트 기반'의 핵심 자원을 제공합니다.
3. 하이브리드 생성 프레임워크: Sarvam-M 모델의 네이티브 생성 능력과 기계 번역의 확장성을 결합하여 저자원 언어 코퍼스 구축의 새로운 패러다임을 제시했습니다.

4. 결과 및 통계 (Results & Statistics)

• 데이터 규모: 총 132,942 개의 스토리, 93,909,863 개의 토큰.
• 어휘 다양성 (Lexical Diversity):
  • Sarvam-M 으로 네이티브 생성된 언어 (카나다어, 말라얄람어 등) 는 Distinct-2 점수가 0.65 를 초과하여 높은 다양성을 보였습니다.
  • 기계 번역을 통해 확장된 언어는 번역 시스템의 정규화 효과로 인해 다양성이 약간 낮았으나, 전체적으로 Distinct-2 값이 0.25~0.69 범위를 유지하며 대규모 반복을 피했습니다.
• 의미적 다양성: 문장 임베딩 간의 평균 코사인 유사도는 0.11~0.38 사이로, 의미적 변이가 풍부함을 입증했습니다.
• 스크립트 정제: 모든 언어에서 라틴 문자 및 영어 토큰이 성공적으로 제거되었으며, 언어별 수정 비율은 2.1% (도그리어) 에서 41.1% (펀자비어) 까지 다양했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• SLM 훈련의 효율성: 제한된 어휘와 짧은 내러티브 형식은 소규모 모델 (1 천만~2 억 파라미터) 이 빠른 수렴을 이루면서도 문법 구조와 기본 내러티브 추론을 유지하도록 돕습니다.
• 인도어권 AI 민주화: 고자원 언어에 치우친 기존 연구에서 벗어나, 인도 아대륙의 소외된 언어권 연구자들에게 고품질의 기초 학습 자원을 제공합니다.
• 향후 연구 촉진: 이 데이터셋은 효율적인 언어 모델링, 크로스링구얼 NLP, 그리고 저자원 언어를 위한 전이 학습 (Transfer Learning) 연구의 기반이 될 것으로 기대됩니다.

한계점: 생성된 스토리는 언어 모델에 의해 만들어졌으므로 미세한 의미적 할루시네이션 (hallucination) 이 발생할 수 있으며, 기계 번역된 10 개 언어는 원어민의 표현적 뉘앙스나 관용구 측면에서 한계가 있을 수 있습니다. 따라서 고도의 사실적 정확성이 요구되는 하위 작업에는 신중한 사용이 필요합니다.