1. 연구 배경 및 문제 정의 (Problem)

• 지시 학습 (Instruction Tuning) 의 언어적 편향: 현재 대형 언어 모델 (LLM) 은 영어 중심의 지시 학습 데이터셋에 의존하고 있어, 저자원 언어 (Low-Resource Languages) 에서는 성능이 현저히 떨어집니다.
• 기존 파이프라인의 한계: 저자원 언어를 위한 표준적인 접근 방식은 '지시 학습된 모델 (Instructed Backbone)'을 사용하는 것이 아니라, '기본 모델 (Base Model)'을 먼저 해당 언어로 계속 학습 (Continued Pretraining) 시킨 후 지시 학습을 수행하는 순차적 프로세스입니다.
• 연구 질문: 저자원 언어 환경에서 지시 학습 데이터가 부족할 때, 기존 영어 기반의 지시 학습 모델을 직접 적응 (Adaptation) 시키는 것이 더 효과적인지, 아니면 기본 모델을 먼저 학습시키는 것이 나은지, 그리고 합성 데이터 (Synthetic Data) 를 어떻게 활용해야 하는지에 대한 체계적인 검증이 부족했습니다.
• 대상 언어: 바스크어 (Basque). 유럽에서 약 50 위 수준의 사용 빈도를 가지며, 영어 대비 약 1,000 배 적은 데이터 양을 가지며, 기존에 공개된 대규모 지시 학습 데이터셋이 존재하지 않는 대표적인 저자원 언어입니다.

2. 방법론 (Methodology)

연구팀은 바스크어에 대한 지시 학습 모델을 개발하기 위해 체계적인 실험 설계를 수행했습니다.

• 자원 제약 조건: 상업적 최첨단 모델 (SOTA) 에서 증류 (Distillation) 된 데이터를 사용하지 않고, 오픈 모델과 합성 데이터 생성만 활용 가능한 현실적인 시나리오를 가정했습니다.
• 핵심 구성 요소:
  1. 백본 모델 (Backbone Models):
     • BASE_EN: 원본 Llama 3.1 (영어 기반).
     • BASE_EU: 바스크어 말뭉치로 계속 학습된 Llama 3.1 (Latxa 기반).
     • INSTRUCT_EN: 영어로 지시 학습된 Llama 3.1 Instruct.
  2. 학습 데이터 조합:
     • Corpus_EU: 고품질 바스크어 텍스트 말뭉치 (Latxa 학습 데이터).
     • Instructions_EN: INSTRUCT_EN 모델에서 추출한 영어 합성 지시 데이터 (Magpie 기법 사용).
     • Instructions_EU: BASE_EU 모델을 사용하여 영어 지시 데이터를 바스크어로 번역한 데이터.
• 실험 설계: 3 개의 백본 모델과 3 가지 데이터 조합 (바스크어 말뭉치, 영어 지시, 바스크어 지시) 의 모든 가능한 조합을 테스트하여 총 17 개의 새로운 8B 모델과 1 개의 70B 모델을 훈련시켰습니다.
• 평가 체계:
  • 정적 벤치마크: 읽기 이해, 상식, 언어 능력, 수학/추론 등 27 개의 벤치마크 (바스크어, 영어, 스페인어 버전).
  • 인간 평가 (Arena): 1,680 명의 바스크어 화자가 참여한 대규모 크라우드소싱 평가. 12,890 개의 선호도 주석을 수집하여 Bradley-Terry 모델을 통해 모델을 순위화했습니다. 이는 저자원 언어 역사상 가장 큰 인간 평가 시도 중 하나입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 바스크어 지시 학습 모델 패밀리: 8B 및 70B 파라미터 크기의 오픈 소스 모델 (Latxa-Instruct) 을 공개했습니다. 70B 모델은 Arena 평가에서 GPT-4o 및 Claude Sonnet 과 경쟁 가능한 성능을 보였습니다.
2. 대규모 합성 데이터셋 공개: 영어와 바스크어로 생성된 100 만 개 이상의 합성 지시 학습 데이터셋을 공개했습니다.
3. 최초의 바스크어 선호도 데이터셋: 실제 사용자 프롬프트, 모델 응답, 선호도 주석을 포함한 데이터셋을 공개하여 향후 선호도 정렬 (Preference Alignment) 연구를 지원합니다.
4. 방법론적 통찰: 저자원 언어 적응을 위한 체계적인 가이드라인을 제시했습니다.

4. 주요 결과 (Key Results)

• 바스크어 말뭉치의 필수성: 목표 언어 (바스크어) 의 일반 텍스트 말뭉치 (Corpus_EU) 는 모델 성능에 필수적입니다. 말뭉치 없이 지시 학습만 수행한 모델은 성능이 급격히 저하되었습니다.
• 백본 모델의 중요성 (가장 중요한 발견):
  • 지시 학습된 모델을 백본으로 사용하는 것이, 기본 모델을 먼저 언어 학습시키고 지시 학습을 수행하는 기존 방식보다 훨씬 더 우수했습니다.
  • 영어로 잘 훈련된 INSTRUCT_EN 모델을 기반으로 바스크어를 학습시키는 것이, BASE_EN 모델에서부터 모든 것을 처음부터 배우는 것보다 성능이 뛰어났습니다. 이는 "지시 따르기 (Instruction Following)" 능력을 새로운 언어로 직접 전이할 수 있음을 시사합니다.
• 데이터 조합의 효과:
  • 영어와 바스크어 지시 데이터를 **혼합 (Bilingual)**하여 학습하는 것이 가장 견고한 모델을 생성했습니다.
  • 영어 지시 데이터만 사용한 경우에도 바스크어 지시 데이터만 사용한 경우보다 벤치마크와 인간 평가에서 일관된 우세를 보였습니다.
• 확장성 (Scaling): 8B 모델에서 발견된 최적의 전략을 70B 모델 (Llama 3.1 Instruct 70B) 로 확장했을 때, 바스크어 벤치마크와 인간 평가에서 상용 모델 (GPT-4o, Claude 3.5 Sonnet) 과 매우 근접한 성능을 달성했습니다. 특히 바스크 지역의 문화적 지식 (BertaQA Local) 에서는 GPT-4o 보다 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 저자원 언어 적응의 새로운 패러다임: 저자원 언어를 위한 지시 학습 모델 개발 시, 별도의 언어 학습 단계를 거치지 않고 이미 지시 학습된 고자원 언어 모델을 백본으로 활용하는 것이 더 효율적이고 효과적임을 증명했습니다.
• 비용 효율성: 상업적 모델의 지시 데이터를 증류하지 않고, 오픈 모델과 합성 데이터 생성만으로도 최첨단 수준의 저자원 언어 모델을 구축할 수 있음을 보여주었습니다.
• 평가 방법론의 발전: 자동화된 벤치마크와 인간 평가 (Arena) 간의 높은 상관관계를 확인하여, 향후 저자원 언어 연구에서 자동 벤치마크가 인간 평가를 신뢰할 수 있는 대리 지표로 사용될 수 있음을 시사했습니다.
• 재현성: 코드, 모델, 데이터셋, 인간 평가 데이터를 모두 공개하여 향후 저자원 언어 연구의 재현성과 발전을 도모했습니다.

이 연구는 바스크어뿐만 아니라 전 세계의 수많은 저자원 언어에 대한 LLM 적응 전략에 중요한 방법론적 기준을 제시했습니다.