TharuChat: 저자원 언어를 위한 대규모 언어 모델 부트스트래핑 및 합성 데이터와 인간 검증을 통한 기술 요약

이 논문은 네팔과 인도 테라이 지대 (Terai belt) 에서 약 170 만 명이 사용하는 토착 언어인 타루어 (Tharu) 의 디지털 소외 문제를 해결하기 위해 개발된 Tharu-LLaMA (3B) 와 TharuChat 데이터셋에 대한 연구입니다. 저자원 언어 (Low-Resource Language) 에 대한 대규모 언어 모델 (LLM) 의 부재와 데이터 부족을 극복하기 위해 제안된 방법론, 결과 및 의의를 상세히 요약합니다.

1. 문제 정의 (Problem Statement)

• 디지털 격차와 언어 배제: LLM 의 급속한 발전에도 불구하고, 글로벌 사우스 (Global South) 의 토착 언어는 AI 혁명에서 배제되고 있습니다. 타루어는 풍부한 구전 전통을 가지고 있으나, 디지털화된 텍스트 데이터가 극도로 부족합니다.
• 기존 모델의 한계: 현재 상용 다국어 모델 (LLaMA, GPT 등) 은 타루어에 대한 학습 데이터가 거의 없어, 타루어를 힌디어의 '잡음 있는 변형'으로 취급합니다. 이로 인해 치명적인 코드 스위칭 (Catastrophic Code-switching) 이 발생하여, 문장 중간에 힌디어 문법으로 전환되거나 타루어의 정체성이 사라지는 현상이 빈번합니다.
• 데이터 부재의 악순환: 모델을 훈련할 데이터가 없기 때문에 모델을 만들 수 없고, 모델을 만들지 못하면 데이터를 생성할 수 없는 '콜드 스타트 (Cold Start)' 문제가 존재합니다.

2. 방법론 (Methodology)

저자들은 "LLM-to-Human" 부트스트래핑 파이프라인을 도입하여 이 문제를 해결했습니다.

A. TharuChat 데이터셋 구축 (Synthetic Data Generation)

• LLM 기반 합성 생성: 고도화된 추론 능력을 가진 Gemini 2.5 Pro 를 '교사 모델 (Teacher Model)'로 활용하여 데이터를 생성했습니다.
  • 1 단계 (문법 주입): 타루어 (특히 Rana Tharu 방언) 의 문법 규칙 (SOV 어순, 성/수 일치 등), 구전 설화 (Alha, Sorathi 전통), 방언 마커를 모델에 주입 (Context Loading) 하여 문맥을 설정했습니다.
  • 2 단계 (도메인 특화 elicitation): 농업, 시민 생활 (행정 절차), 문화 지식 등 현지 생활에 밀접한 주제를 중심으로 질문 - 응답 (Instruction-Response) 쌍을 생성했습니다.
  • 3 단계 (인간 검증 및 정제): 생성된 데이터는 원시적으로 잡음이 많았으므로, 원어민 화자가 참여하여 힌디어화 (Hindi-fication) 된 부분이나 방언 혼란을 수정하고 정제했습니다.
• 데이터 구성: 총 3,955 개의 쌍 중 실험에 사용된 3,116 개의 데이터는 Rana Tharu (약 70%), Dangaura (약 20%), Kochila (약 10%) 의 혼합된 방언으로 구성되었습니다. 이는 완벽한 표준어 대신 지역의 언어적 다양성을 반영한 '실버 표준 (Silver Standard)' 데이터입니다.

B. 모델 아키텍처 및 파인튜닝 (Tharu-LLaMA)

• 베이스 모델: Meta 의 LLaMA-3.2-3B-Instruct 를 선택했습니다. 3B 파라미터는 글로벌 사우스의 연구 환경 (저사양 하드웨어) 에서 배포 가능하도록 설계되었습니다.
• LoRA (Low-Rank Adaptation): 전체 파라미터를 재학습하지 않고, LoRA 기법을 사용하여 효율적으로 파인튜닝했습니다.
  • 설정: 모든 선형 레이어 (q_proj, k_proj 등) 에 어댑터를 적용하고, Rank($r$) 를 16, Alpha($\alpha$) 를 32 로 설정하여 타루어 문법 우선순위를 높였습니다.
  • 하드웨어: 단일 NVIDIA T4 GPU (16GB VRAM) 환경에서 FP16 정밀도로 학습이 가능하도록 최적화되었습니다.

3. 주요 기여 (Key Contributions)

1. TharuChat 데이터셋 공개: 3,955 개의 instruction-response 쌍으로 구성된 최초의 타루어 대화형 코퍼스를 오픈소스로 공개했습니다. 이는 단일 방언이 아닌 혼합 방언을 수용하여 포괄성을 확보했습니다.
2. Tharu-LLaMA (3B) 모델 공개: 소비자급 하드웨어에서 실행 가능한 3B 파라미터 크기의 instruction-tuned 모델을 공개했습니다.
3. 데이터 스케일링 법칙의 실증: 소량의 고품질 합성 데이터로도 저자원 언어의 모델 성능을 획기적으로 개선할 수 있음을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

데이터 양에 따른 모델 성능 (Perplexity, PPL) 변화를 분석한 Ablation Study 결과는 다음과 같습니다.

• Zero-Shot 성능: 기존 LLaMA-3.2 모델의 타루어 Zero-shot PPL 은 88.0 이상으로, 사실상 무작위 출력 또는 힌디어로 회귀하는 수준이었습니다.
• 데이터 양 증가에 따른 성능 향상:
  • 25% 데이터 (779 샘플): PPL 6.42로 급격히 감소.
  • 50% 데이터: PPL 4.33.
  • 75% 데이터: PPL 3.40.
  • 100% 데이터 (3,116 샘플): PPL 2.88까지 감소.
• 분석: 데이터 양이 25% 에서 100% 로 증가함에 따라 PPL 이 선형적으로 감소하는 것을 확인했습니다. 특히 2.88 의 PPL 은 고자원 언어의 베이스 모델 성능과 유사한 수준으로, 약 3,000 개의 검증된 데이터 쌍만으로도 모델의 힌디어 편향을 효과적으로 대체할 수 있음을 보여줍니다.
• 과적합 방지: 학습 손실과 검증 손실이 동시에 감소하여 과적합이 발생하지 않았음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저비용 AI 의 가능성: 수백만 달러의 컴퓨팅 자원이 아닌, 단일 T4 GPU 와 약 3,000 개의 데이터로도 저자원 언어 전용 모델을 구축할 수 있음을 증명했습니다. 이는 글로벌 사우스의 연구자들이 자국 언어 AI 를 독립적으로 개발할 수 있는 길을 열었습니다.
• 데이터의 질과 밀도: 방대한 양의 데이터보다 문법적 밀도가 높은 소량의 검증된 데이터가 방언 적응에 더 효과적임을 시사합니다.
• 불완전함의 수용: "완벽한" 표준 데이터셋을 기다리는 것은 저자원 언어 보존에 비현실적입니다. 방언이 혼합된 '실버 표준' 데이터라도 기능적인 소통을 가능하게 하는 것이 데이터가 전혀 없는 것보다 우월하다는 점을 강조합니다.
• 언어 보존 전략: 타루어와 같은 소멸 위기 언어를 AI 시대에 보존하기 위해, 단일 모델이 여러 방언을 포괄하는 "Pan-Tharu" 일반화 전략이 유효함을 제시했습니다.

이 연구는 Tharu-LLaMA와 TharuChat을 오픈소스로 공개함으로써, 히말라야 지역의 다양한 언어적 다양성을 디지털화하고 AI 기술의 민주화를 실현하기 위한 재현 가능한 청사진을 제시했습니다.