LuxIT: A Luxembourgish Instruction Tuning Dataset from Monolingual Seed Data

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 지시 튜닝 (Instruction Tuning) 은 다양한 자연어 처리 작업에서 뛰어난 성능을 보여주지만, 저자원 언어 (Low-resource languages) 환경에서는 고품질의 훈련 데이터 부족으로 인해 그 효과가 제한적입니다.

• 현재 상황: 기존 지시 튜닝 데이터셋은 주로 영어로 구성되어 있어, 룩셈부르크어 (Luxembourgish) 와 같은 소수 언어는 열악한 성능과 높은 훈련/배포 비용을 겪고 있습니다.
• 구체적 문제: 룩셈부르크어는 약 60 만 명의 화자가 있지만, 고품질의 단일 언어 (Monolingual) 기반 지시 튜닝 데이터셋이 존재하지 않습니다. 기존 연구들은 병렬 데이터 (Parallel data) 나 기계 번역에 의존하는 경우가 많아, 병렬 자료가 부족한 언어에는 적용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 룩셈부르크어 전용 지시 튜닝 데이터셋인 LuxIT를 개발하기 위해 단일 언어 (Monolingual) 시드 데이터에서 합성 데이터를 생성하는 파이프라인을 제안했습니다.

A. 데이터 수집 및 전처리

• 소스 데이터: 룩셈부르크어 위키백과 (8 만 개 문서) 와 RTL 뉴스 사이트의 기사 및 댓글 (2024 년 5 월 기준) 을 수집했습니다.
• 필터링: 사용자 댓글의 편향성과 오류 가능성을 배제하기 위해 제외하고, 위키백과와 RTL 뉴스 기사 중 750 자 이상인 고품질 텍스트만 선별했습니다.
• 최종 시드 데이터: 위키백과 16,558 개, RTL 뉴스 100,340 개 (총 약 11 만 7 천 개) 의 기사를 시드 (Seed) 로 사용했습니다.

B. 데이터 생성 (Synthesis)

• 모델: 룩셈부르크어 생성 및 이해 능력이 뛰어난 것으로 확인된 DeepSeek-R1-0528 모델을 선택했습니다.
• 프로세스: 각 시드 텍스트에 대해 모델에게 3 개의 지시 - 응답 쌍 (Instruction-Answer Pairs) 을 생성하도록 프롬프트를 설계했습니다.
  • 생성 유형: 요약, 질문 응답 (QA), 정보 추출, 설명 등 다양성을 확보.
  • 요약 작업 시에는 원본 텍스트를 지시문에 포함하도록 하여 컨텍스트를 유지.
• 생성량: 총 245,624 개의 합성 쌍을 생성했습니다.

C. 품질 보증 (Quality Assurance)

• LLM-as-a-Judge: 생성된 데이터의 품질을 평가하기 위해 GPT-5-mini를 심사자 (Judge) 로 활용했습니다.
• 평가 기준 (4 가지):
  1. 언어적 품질 (Linguistic Quality): 문법, 철자, 자연스러움.
  2. 사실적 정확도 (Factual Accuracy): 원본 텍스트와의 사실 일치 여부.
  3. 지시 준수 (Instruction Adherence): 지시 사항을 정확히 따랐는지.
  4. 유용성 및 관련성 (Helpfulness & Relevance).
• 점수 체계: 1 점 (나쁨) ~ 3 점 (훌륭함) 의 3 점 척도 사용. 모든 항목에서 2 점 이상을 받은 샘플만 최종 데이터셋에 포함시켰습니다.
• 인간 평가: 100 개의 샘플을 룩셈부르크어 원어민 3 명이 평가하여 자동 심사자의 편향성을 검증했습니다.

D. 최종 데이터셋

• LuxIT: 18,117 개의 저품질 샘플을 제거한 후, 227,507 개의 고품질 지시 - 응답 쌍으로 구성된 최종 데이터셋을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. LuxIT 데이터셋 공개: 룩셈부르크어 최초의 단일 언어 기반 합성 지시 튜닝 데이터셋을 구축하고 공개했습니다.
2. 포괄적인 평가: 14 개의 소형 LLM(15B 파라미터 이하) 을 LuxIT 로 파인튜닝하여, 룩셈부르크어 능력 시험 (6 단계) 과 5 가지 다운스트림 NLP 작업에서 성능을 평가했습니다.
3. 단일 언어 생성 전략 검증: 병렬 데이터가 없는 저자원 언어 환경에서도 고품질의 단일 언어 시드 데이터와 강력한 생성 모델을 결합하여 효과적인 지시 튜닝 데이터셋을 만들 수 있음을 입증했습니다.

4. 실험 결과 (Results)

A. 언어 능력 시험 (Language Proficiency Exams)

• 전체적 개선: 14 개 모델 중 12 개 모델에서 룩셈부르크어 능력 시험의 평균 정확도가 향상되었습니다.
• 평균 향상: 모든 모델의 평균 정확도 변화는 +5.37%p 증가였습니다.
• 성공 사례:
  • Ministral-3-3B: +21.0%p (25.8% → 46.8%) 로 가장 큰 개선을 보였습니다.
  • Llama-3.2-1B, Phi-4, Qwen2.5-7B: 각각 +14.4%p, +14.2%p, +13.6%p 의 큰 향상을 보였습니다.
  • GLM-4-9B: 절대적 성능이 가장 높았으며 (최종 60.6%), Gemma-3-12B(59.4%) 가 그 뒤를 이었습니다.
• 성능 저하: Gemma-3-1B 와 Qwen2.5-0.5B 모델은 오히려 성능이 감소했습니다 (카타스트로픽 포게팅 또는 아키텍처 한계 가능성).
• 수준별 분석: B1/B2(중급) 수준에서 가장 일관된 향상을 보였으나, C2(고급/원어민 수준) 에서는 14 개 중 6 개 모델이 성능이 저하되었습니다. 이는 생성된 데이터가 중급 수준의 표현에 치우쳐 있을 가능성을 시사합니다.

B. 다운스트림 NLP 작업 (Downstream NLP Tasks)

• 과제: 의도 분류 (IC), 텍스트 함의 (RTE), 감정 분석 (SA), SST-2, Winograd NLI 등 5 가지 작업.
• 결과: 14 개 모델 중 9 개 모델에서 매크로 평균 F1 점수가 향상되었습니다.
  • 주요 개선: Phi-4 (+0.325), Olmo-3-7B (+0.211), Qwen2.5-7B (+0.172).
  • 주요 저하: Apertus-8B (-0.206), Gemma-3-12B (-0.128).
• 상관관계 부재: 언어 시험 점수 향상과 NLP 작업 성능 향상 사이에 체계적인 상관관계가 없었습니다.
  • Ministral-3-3B: 언어 시험에서는 가장 큰 개선 (+21.0%p) 을 보였으나, NLP 작업에서는 거의 변화가 없었습니다.
  • Gemma-3-1B: 언어 시험에서는 크게 저하되었으나, NLP 작업에서는 소폭 개선되었습니다.
  • 해석: LuxIT 는 공식적인 언어 이해도 (시험) 와 자연스러운 텍스트의 구조화된 레이블 예측 (NLP 작업) 에 대해 서로 다른 영향을 미칩니다. 생성된 데이터가 위키백과와 뉴스 기사 (공식적 어조) 에서 유래했기 때문에, 표준화된 시험에는 잘 맞지만 비공식적이고 노이즈가 많은 자연어 작업에는 덜 효과적일 수 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 전략의 타당성: 병렬 데이터가 없는 상황에서도 단일 언어 시드 데이터와 강력한 생성 모델 (DeepSeek-R1) 을 활용하여 고품질의 지시 튜닝 데이터셋을 구축하는 것이 저자원 언어의 LLM 성능 향상에 유효한 전략임을 입증했습니다.
• 모델 아키텍처의 중요성: 모델 크기만으로는 성능 향상을 보장할 수 없으며, 아키텍처와 초기화 상태에 따라 파인튜닝의 수용도가 크게 달라질 수 있음을 보여주었습니다 (특히 1.5B 이하의 소형 모델에서 성능 저하 발생).
• 평가의 다면성: 언어 능력 (문법, 어휘) 과 실제 NLP 작업 수행 능력은 서로 다른 차원의 역량일 수 있으며, 단일 데이터셋으로 모든 능력을 균일하게 향상시키기 어렵다는 점을 강조합니다.
• 한계점: 데이터 소스가 위키백과와 뉴스에 국한되어 있어 구어체나 방언을 다루지 못하며, 자동 심사자의 관대함 편향 (Leniency Bias) 과 인간 평가자 간의 낮은 일치도 (Fleiss' Kappa) 가 존재합니다.

이 연구는 룩셈부르크어와 같은 소수 언어의 LLM 생태계 확장에 중요한 기반을 마련했으며, 향후 오픈 엔디드 대화 평가 및 멀티턴 데이터 통합을 위한 연구의 발판이 될 것입니다.