Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language

논문 개요: Konkani LLM (다중 스크립트 지시 미세조정 및 평가)

이 논문은 인도어 중 하나인 ** Konkani(콘카니어)** 의 자연어 처리 (NLP) 성능을 획기적으로 개선하기 위해 제안된 연구입니다. Konkani 는 인도 고아 (Goa) 및 콘칸 (Konkan) 지역에서 사용되지만, 데이터 부족과 여러 문자 체계 (스크립트) 의 혼용으로 인해 저자원 (Low-Resource) 언어로 분류되어 왔습니다. 연구팀은 합성 데이터 생성과 효율적인 미세조정 기법을 통해 Konkani 에 특화된 대규모 언어 모델 (LLM) 을 개발하고 평가했습니다.

1. 문제 정의 (Problem Statement)

• 데이터 부족: Konkani 는 공식적으로 인정된 언어임에도 불구하고 고품질의 병렬 코퍼스나 지시 (Instruction) 데이터가 극도로 부족합니다.
• 다중 스크립트 (Multi-Script) 복잡성: Konkani 는 공식적으로 데바나가리 (Devanagari), 로미 (Romi/라틴), 칸나다 (Kannada) 세 가지 문자 체계를 사용합니다. 기존 데이터셋은 이러한 스크립트 간에 단편화되어 있어 통합된 언어 모델 학습을 어렵게 만듭니다.
• 기존 LLM 의 한계: GPT-4, Claude 등 상용 모델이나 오픈 가중치 모델 (Llama, Gemma 등) 은 Konkani 에 대한 사전 학습을 일부 수행했을지라도, 구체적인 지시 추종 (Instruction Following) 데이터가 부족하여 문법적 정확도나 스크립트 충실도에서 성능이 미흡합니다. 또한, 마라티어나 힌디어와의 언어적 오염 (Contamination) 문제가 발생하기 쉽습니다.

2. 방법론 (Methodology)

연구팀은 다음과 같은 파이프라인을 구축하여 문제를 해결했습니다.

가. 합성 데이터셋 구축: Konkani-Instruct-100k

• 생성 모델: native 지시 데이터가 부족함에 따라, Gemini 3 (및 Gemini 2.5 Pro) 를 '교사 모델 (Teacher Model)'로 활용하여 10 만 개 이상의 합성 지시 - 응답 쌍을 생성했습니다.
• 교육적 프레임워크: 단순 Q&A 가 아닌 '튜터 스타일 (Tutor-Style)' 접근법을 채택했습니다. 18 가지 기초 주제 (음식, 가족, 시제, 성별 등) 를 기반으로 언어의 구조적 메커니즘을 가르치는 데이터를 생성했습니다.
• 형태소 분석 포함: 모든 샘플에 품사 태그 (POS) 와 기본어 + 접사 (Base-Modifier) 형태의 구조적 분해가 포함되어 있어 모델이 문법 규칙을 학습하도록 유도했습니다.
• 균형 잡힌 분포: 데바나가리, 로미, 칸나다 스크립트와 영어 데이터를 균형 있게 구성하여 스크립트 편향을 최소화했습니다. 총 105,982 개의 샘플로 구성되었습니다.

나. 모델 미세조정 (Fine-tuning)

• 대상 모델: Llama 3.1 (8B), Gemma 3 (4B, 12B, 27B), Qwen2.5 (1.5B, 14B) 등 다양한 크기의 오픈 가중치 모델을 기반으로 합니다.
• 학습 기법: LoRA (Low-Rank Adaptation) 를 사용하여 파라미터 효율적인 미세조정을 수행했습니다.
  • Rank(r) = 64, Scaling(α) = 128 설정.
  • 어텐션 및 MLP 프로젝션 레이어에 적용.
  • 2 Epoch, 최대 시퀀스 길이 4096, bfloat16 정밀도 사용.
• 목표: 소규모 모델이 언어적으로 통제된 데이터로 학습함으로써 일반 목적 모델보다 Konkani 의 스크립트 충실도와 문법 정확도에서 우위를 점하도록 하는 것입니다.

다. 평가 벤치마크: Konkani-Bench

• 인간이 직접 주석 (Annotation) 을 다는 200 개의 테스트 세트를 구축했습니다.
• 평가 작업:
  1. 번역: Konkani (3 스크립트) → 영어.
  2. 전사 (Transliteration): 스크립트 간 상호 변환 (예: 로미 ↔ 데바나가리 ↔ 칸나다).
• 평가 지표: BLEU, chrF++, COMET (자동 지표) 와 함께 LLM-as-a-judge (Gemini 3 Flash) 를 활용하여 유용성, 스크립트 충실도, 언어 오염 (마라티/힌디어 혼입) 유무를 평가했습니다.

3. 주요 기여 (Key Contributions)

1. Konkani-Instruct-100k: 증류 (Distillation) 를 통해 생성된 최초의 대규모 다중 스크립트 지시 미세조정 데이터셋.
2. Konkani LLM 시리즈: Konkani 에 최적화된 일련의 파인튜닝 모델 공개 (Hugging Face).
3. Konkani-Bench: 로미, 데바나가리, 칸나다 스크립트와 영어를 아우르는 200 쌍의 인간 주석 평가 벤치마크.

4. 실험 결과 (Results)

• 번역 성능 (Translation):
  • 미세조정된 모델들은 베이스 모델에 비해 일관된 성능 향상을 보였습니다.
  • 특히 konkani-Qwen2.5-14B-Instruct 가 가장 높은 COMET 점수 (83.58) 를 기록하여, 많은 상용 모델 (GPT-5, Claude 등) 과 경쟁하거나 특정 설정에서 능가하는 성능을 입증했습니다.
• 전사 성능 (Transliteration):
  • 미세조정 모델들은 스크립트 간 변환에서 베이스 모델 대비 획기적인 개선을 보였습니다 (예: 로미→칸나다 변환 시 BLEU 점수 대폭 상승).
  • konkani-gemma-3-27b-it 및 konkani-Qwen2.5-14B 가 다양한 방향에서 강력한 교차 스크립트 강건성을 보였습니다.
• LLM-as-a-judge 평가:
  • 로미 및 데바나가리: Llama 8B 기반 모델이 전반적으로 가장 높은 점수를 기록했습니다.
  • 칸나다: Qwen2.5 14B 기반 모델이 가장 우수한 성능을 보였습니다.
  • 미세조정 모델들은 마라티어/힌디어 오염이 적고 스크립트 충실도가 높게 평가되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 해결책 제시: 데이터가 부족한 언어에서도 고품질의 합성 데이터와 효율적인 미세조정 (LoRA) 을 결합하면 상용 모델과 경쟁 가능한 성능을 달성할 수 있음을 증명했습니다.
• 다중 스크립트 지원의 중요성: Konkani 와 같이 여러 문자 체계를 사용하는 언어의 경우, 단일 스크립트 학습이 아닌 균형 잡힌 다중 스크립트 데이터셋이 필수적임을 강조했습니다.
• 실용적 배포: 경량화된 LoRA 어댑터를 통해 서버리스 환경에서도 저비용으로 배포 가능함을 보여주었으며, 공개된 모델과 데모 (konkani.app) 를 통해 지역 커뮤니티에 실질적인 도구를 제공했습니다.

이 연구는 Konkani 의 디지털 소외를 해소하고, 유사한 다중 스크립트 저자원 언어 (Indic languages) 에 대한 NLP 연구의 새로운 기준을 제시한다는 점에서 의의가 큽니다.