기술 요약: EstLLM

문제 정의

대규모 언어 모델(LLM)은 주로 영어 중심의 데이터로 학습되어, 에스토니아어와 같은 소수 언어에 대해서는 불균형한 성능을 보이는 경며, 이는 언어 간 성능 격차를 초 ف니다. 다국어 모델이 존재하기는 하지만, 이들의 학습 데이터 분포는 여전히 매우 불균형하며, 이는 종종 저자원 언어에 대한 최적화되지 않은 역량으로 이어집니다. 기존의 적응 노력은 대규모 사전 학습을 통해 습득한 일반적인 추론 및 지시 이행 능력을 보존하면서 타겟 언어의 역량을 향상시키는 것 사이의 균형을 맞추는 데 어려움을 겪는 경우가 많습니다. 본 논문은 지속적 사전 학습(Continued Pretraining, CPT)이 일반적인 영어 성능이나 일반 추론 능력을 저해하지 않으면서 다국어 LLM의 에스토니아어 역량을 실질적으로 향상시킬 수 있는지 조사합니다.

방법론

저자들은 사전 학습된 다국어 LLM의 에스토니아어 기술을 개선하기 위해 설계된 적응 파이프라인인 EstLLM을 제안합니다. 이 파이프라인은 Llama 3.1 8B와 Apertus 8B를 베이스 모델로 사용하며 세 가지 주요 단계로 구성됩니다:

1. 지속적 사전 학습 (CPT):

   • 목표: 일반적인 역량의 파괴적 망각(catastrophic forgetting)을 완화하면서 에스토니아어 노출을 늘리는 것입니다.
   • 데이터 혼합: 저자들은 총 35.7B 토큰 규모의 균형 잡힌 혼합 데이터를 구축했습니다. 여기에는 주요 에스토니아어 소스로서 Estonian National Corpus 2023 (ENC) (8.6B 토큰)이 포함됩니다. 일반적인 역량을 보존하기 위해, 이를 영어 리플레이(Cosmopedia v2), 코드(Python-Edu), 수학(FineMath-4+), 그리고 지시문 증강 코퍼스와 결합했습니다.
   • 전략: 분포 변화를 완화하기 위해 고품질 큐레이션 데이터에 중점을 둔 "웜업(warm-up)" 단계가 메인 CPT에 선행됩니다. 메인 CPT는 데이터 반복이 여러 에포크(epoch)를 수행할 경우 미미한 이점만을 준다는 예비 조사 결과에 근거하여, 에스토니아어가 풍부하게 포함된 혼합 데이터에 대해 단일 에포크 동안 실행됩니다.
   • 기법: 문서의 무결성을 보존하기 위해 최적 적합 빈 패킹(best-fit bin packing)을 사용하여 시퀀스를 4096 토큰으로 패킹했습니다.

2. 사후 학습 (지시문 튜닝 및 선호도 최적화):

   • 지도 미세 조정 (SFT): CPT 모델은 지시 이행 능력을 복구하기 위해 주로 영어 데이터셋으로 SFT를 거치며, 동시에 에스토니아어 지시 이행을 가능하게 하기 위해 에스토니아어 데이터(전문가가 작성한 Q&A, 병렬 번역, Gemma 3 27B로 생성된 합성 데이터)를 포함합니다.
   • 선호도 최적화 (DPO): 직접 선호도 최적화(Direct Preference Optimization)는 언어 특화 선호도 데이터 대신 교차 언어 전이를 활용하여, 모델 출력을 인간의 선호도에 맞추기 위해 HelpSteer3 데이터셋에 적용됩니다.

3. 챗 벡터 병합 (Chat Vector Merging):

   • 지시 이행 동작을 더욱 복구하기 위해, 저자들은 챗 벡터 병합을 적용합니다. 이는 원래의 지시 튜닝된 베이스 모델(예: Llama 3.1 8B Instruct)과 그 베이스 모델($\theta_{Base}$) 사이의 파라미터 차이($\theta_{Instruct} - \theta_{Base}$)를 계산한 후, 이 벡터를 사후 학습된 모델($\theta_{CPT}$)에 더하는 과정입니다. 이를 통해 재학습 없이 지시 이행 패턴을 전이합니다.

주요 기여

1. 적응 파이프라인: CPT, 사후 학습, 챗 벡터 병합을 통해 에스토니아어로 LLM을 적응시키기 위한 종합적인 파이프라인을 제시합니다.
2. 경험적 통찰:
   • 영어 중심 모델(Llama 3.1)이 다국어 모델(Apertus)보다 적응 후 더 우수한 성능을 보일 수 있음을 입증하였으며, 이는 초기 타겟 언어 성능이 적응 잠재력의 신뢰할 만한 예측 지표가 아님을 시사합니다.
   • 챗 벡터 병합이 영어 역량을 효과적으로 복구하는 동시에 에스토니아어 이득을 누적시킨다는 점을 입증했습니다.
3. 모델 공개: 에스토니아어 특정 평가에서 최고 수준의 성능을 달alan EstLLM 모델(8B 규모)을 공개합니다.
4. 벤치마킹: 체계적인 인간 평가를 위한 새로운 멀티 턴 프롬프트 데이터셋을 구축하고, 에스토니아어 특화 Chatbot Arena 스타일의 리더보드를 배포합니다.

결과

적응된 모델들은 에스토니아어 벤치마크, 영어 벤치마크, 그리고 인간 평가를 통해 평가되었습니다.

• 에스토니아어 성능: 두 적응 모델 모두 베이스 모델 대비 일관된 개선을 보였습니다. 특히, Llama-3.1-EstLLM-8B 모델은 8B 규모 모델 중 가장 강력한 종합 성능을 달성했으며, 에스토니아어 판별 작업에서 EuroLLM-9B 및 Apertus-8B와 같은 다국어 대안 모델들을 능가했습니다. Llama 기반 모델은 Apertus의 +7.8%와 비교하여 에스토니아어 판별 작업에서 +30.4%의 상대적 이득을 보였습니다.
• 영어 성능: CPT는 처음에 Llama 기반 모델의 영어 지시 이행 및 추론 능력에서 약간의 퇴보를 일으켰으나, 챗 벡터 병합이 이러한 역량을 실질적으로 복구했습니다. 병합된 모델(Llama-EstLLM-8B-Instruct-CV)은 대부분의 영어 작업에서 원래의 Llama 3.1 8B Instruct와 대등하거나 이를 능가하면서도 우수한 에스토니아어 성능을 유지했습니다.
• 인간 평가: 멀티 턴 에스토니아어 벤치마크에 대한 표적 쌍 비교 인간 평가를 통해 다음을 확인했습니다:
  • 챗 벡터를 추가하는 것이 모든 카테고리(유창성, 문법, 지시 이행)에서 결과를 유의미하게 개선했습니다.
  • 영어 중심의 Llama 모델에서 시작하는 것이 다국어 모델인 Apertus에서 시작하는 것보다 더 나은 결과를 낳았습니다.
  • 에스토니아어 데이터를 두 번째 에포크로 반복하는 것은 단일 에포크에 비해 측정 가능한 개선을 제공하지 않았습니다.
• 아레나 성능: 에스토니아어 Chatbot Arena 스타일 평가에서, 병합된 Llama 기반 EstLLM 모델은 훨씬 더 큰 모델(예: 685B 및 1T 파라미터 모델)과 함께 최상위 순위를 공유하며 경쟁력 있는 순위를 기록했고, 다른 8B 규모의 오픈 모델들을 능가했습니다.

의의 및 주장

본 논문은 균형 잡힌 다국어 데이터 혼합을 동반한 지속적 사전 학습(CPT)이 가벼운 사후 학습 정렬(특히 챗 벡터 병합)과 결 결합될 때, 사전 학습된 다국어 LLM의 단일 언어 역량을 실질적으로 향end할 수 있다고 주장합니다.

저자들이 강조한 핵심 요점은 다음과 같습니다:

• 적응 잠재력: 적응의 효과는 베이스 모델의 타겟 언어 역량뿐만 아니라 원래의 사전 학습 분포에도 달려 있습니다. 영어 중심 모델은 이미 다국어 학습에 치중된 모델보다 특정 저자원 언어에 대해 더 큰 "개선 여지"를 제공할 수 있습니다.
• 효율성: 8B 규모에서 상당한 이득을 얻기 위해서는 단일 에포크의 CPT만으로도 충분하며, 이는 타겟 언어 데이터를 여러 에포크 동안 반복하는 일반적인 관행에 도전합니다.
• 일반 역량의 복구: 챗 벡터 병합은 언어 특화 적응 중에 저하될 수 있는 일반 목적의 역량(영어 지시 이행 등)을 회복하는 계산 비용이 적게 드는 방법을 제공하며, 이는 전문화와 일반화 사이의 트레이드오프를 효과적으로 분리합니다.

저자들은 계산 제약으로 인한 데이터 혼합의 체계적 최적화 부족, 실험의 8B 파라미터 규모 제한, 에스토니아어 모델을 위한 전용 안전 정렬의 부재 등을 언급하며 겸허한 입장을 유지합니다. 이들은 본 연구 결과가 유망하지만, 서로 다른 데이터 소스의 구체적인 기여도를 이해하고 이러한 역학 관계가 훨씬 더 큰 모델에서도 유지되는지 확인하기 위해 추가적인 조사가 필요하다고 제안합니다.