Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

기술 요약: Maistros – 지식 증류로 적응된 그리스어 대규모 언어 모델

문제 제기
대규모 언어 모델 (LLM) 의 급속한 발전과 복잡한 다단계 추론이 가능한 대규모 추론 모델 (LRM) 의 등장에도 불구하고, 고자원 언어와 저자원 언어 간에는 여전히 성능 격차가 존재합니다. 고유한 알파벳, 풍부한 형태론적 특성, 그리고 문법적 변이성을 특징으로 하는 현대 그리스어는 NLP 환경에서 여전히 저자원 언어로 남아 있습니다. 기존 그리스어 지원 모델들은 제한된 학습 데이터에 의존하는 경우가 많아, 특히 문화적 또는 도메인 특화 지식을 요구하는 질문 응답 (QA) 작업에서 최적의 성능을 내지 못합니다. 또한, 최근의 LRM 은 명시적 추론 흔적을 통해 정확도를 높이지만, 수천억 개의 방대한 파라미터 수와 높은 추론 지연 시간으로 인해 기존 컴퓨팅 환경에서의 배포는 비현실적입니다. 대부분의 기존 자원이 평가용으로만 설계되어 있어, 학습에 적합한 고품질의 인간 큐레이션 그리스어 QA 데이터셋의 부재라는 중요한 격차가 존재합니다.

방법론
이러한 과제를 해결하기 위해 저자들은 새로운 큐레이션된 데이터셋을 지원으로 강력한 LRM 에서 소형 오픈 가중치 모델로의 지식 증류를 중심으로 한 파이프라인을 제안합니다.

1. 데이터셋 생성 (CulturaQA): 저자들은 2,700 개의 그리스어 질문 - 답변 쌍으로 구성된 합성 및 인간 큐레이션 데이터셋인 CulturaQA를 도입했습니다. 생성 과정은 다음과 같습니다:

   • 역사, 정치, 경제, 신화 등 11 개의 문화적 도메인에 걸쳐 180 개의 그리스어 핵심 구를 선정.
   • GPT-5 를 사용하여 각 핵심 구당 15 개의 질문을 생성한 후, 모델이 스스로의 질문에 답변하도록 함.
   • 언어적 오류 (문법, 철자, 다성조 문제) 수정, 환각 제거, 사실적 오류 수정, 비그리스어 아티팩트 제거를 위한 엄격한 인간 - 루프 큐레이션 수행.
   • 학습 (2,000), 검증 (200), 테스트 (500) 세트로의 계층적 분할.

2. 모델 개발 (Maistros 8B):

   • 베이스 모델: 저자들은 범용 오픈 가중치 LLM 인 Ministral 3 8B를 기반으로 선정했습니다.
   • 파인튜닝 전략: CulturaQA 의 지식을 베이스 모델에 증류하기 위해 저랭크 적응 (LoRA) 을 사용한 지도 학습 파인튜닝 (SFT) 을 적용했습니다.
   • 기술적 구성: 학습은 메모리 발자국을 줄이기 위해 4 비트 양자화 (NF4) 와 8 비트 AdamW 옵티마이저를 활용했습니다. LoRA 구성은 랭크 16, 알파 32 (스케일링 인자 2.0) 를 포함했습니다. 모델은 학습률 2e-5, 배치 크기 2 (누적 시 16), 최대 시퀀스 길이 3,269 토큰으로 4 에포크 동안 학습되었습니다.
   • 손실 함수: 모범 사례에 따라 사용자/시스템 프롬프트에 대한 손실 계산은 마스킹하여, 모델이 프롬프트를 예측하는 것을 방지하고 어시스턴트가 생성한 응답 토큰에만 최적화를 집중하도록 했습니다.

3. 평가 프레임워크:

   • 9 개의 그리스어 QA 데이터셋에 걸쳐 9 개의 LLM(Proprietary 모델인 Gemini 3 Flash 및 GPT-5 Mini 포함, 오픈 가중치 모델인 Krikri 8B 및 Plutus 8B 포함) 을 평가하기 위해 메모리 효율적인 프레임워크를 개발했습니다.
   • 지표: 객관식 작업은 규칙 기반 파싱을 통해 정확도로 평가했으며, 개방형 CulturaQA 작업에는 BERTScore F1 을 활용했습니다.
   • 통계적 분석: 이진 정확도에 대해서는 McNemar 의 정확한 검정을, 연속형 BERTScore 에 대해서는 Wilcoxon 부호 순위 검정을 사용하여 유의성을 평가했으며, 95% 신뢰 구간을 위해 부트스트랩 리샘플링을 보충했습니다.

주요 기여
본 논문은 네 가지 주요 기여를 합니다:

1. CulturaQA: 다양한 문화 및 도메인 특화 주제를 다루며 LLM 학습 및 평가를 위해 특별히 설계된 고품질 인간 큐레이션 그리스어 데이터셋.
2. Maistros 8B: 지식 증류 및 CulturaQA 기반 파인튜닝을 통해 개발된 최첨단 오픈 가중치 그리스어 LLM 으로, 상용 하드웨어에서의 로컬 배포에 최적화됨.
3. 평가 프레임워크: 표준 지표를 사용하여 다양한 그리스어 QA 작업에서 LLM 을 평가하기 위한 메모리 효율적이고 적응 가능한 프레임워크.
4. 종합 벤치마킹: 9 개의 인간 큐레이션 데이터셋에 걸친 9 개 LLM 의 엄격한 평가를 통해 그리스어 맥락에서 오픈 가중치 모델과 독점 모델 간의 비교 분석 제공.

결과
9 개 데이터셋에 대한 실증적 평가는 다음과 같은 결과를 도출했습니다:

• 독점 대 오픈 가중치: 독점 모델 (Gemini 3 Flash 및 GPT-5 Mini) 은 대부분의 벤치마크에서 모든 오픈 가중치 모델보다 일관되게 우수한 성능을 보였습니다.
• Maistros 8B 성능: Maistros 8B 는 대부분의 데이터셋에서 오픈 가중치 모델 간에 최첨단 성능을 달성하여 베이스 모델 (Ministral 3 8B) 대비 의미 있는 개선을 보여주었습니다.
  • 9 개 데이터셋 중 5 개 (예: Plutus QA, 그리스 ASEP MCQA, 그리스 MMLU) 에서 베이스 모델 대비 통계적으로 유의미한 개선을 달성했습니다.
  • 도메인 특화 Plutus QA(그리스 경제) 에서 Maistros 8B 는 다른 모든 오픈 가중치 모델을 능가했으며, GPT-5 Mini 와의 격차를 3.56% 차이로 좁혔습니다.
  • CulturaQA테스트 세트에서 Maistros 8B 는 독점 모델의 성능과 근접하게 일치하면서도 다른 오픈 가중치 대안들을 크게 능가했습니다.
• 한계: Maistros 8B 는 Demos QA및 그리스 진실성 QA에서 베이스 모델 대비 통계적으로 유의미한 개선을 보이지 않았으며, 모든 벤치마크에서 독점 모델의 성능 아래에 머물렀습니다.

의의 및 주장
저자들은 이 연구가 저자원 언어를 위한 견고한 오픈 가중치 모델을 학습시키기 위해 고품질의 LRM 생성 및 인간 큐레이션 합성 데이터의 사용 가능성을 입증한다고 주장합니다. 이 연구는 문화적 기반 데이터에 대한 표적 파인튜닝이 특정 도메인 (예: 금융) 및 일반 문화적 이해에서 모델 성능을 크게 향상시킬 수 있음을 강조합니다.

그러나 논문은 오픈 모델과 독점 모델 간의 격차에 대해 겸손한 입장을 유지합니다. 저자들은 Maistros 8B 가 오픈 소스 그리스어 NLP 를 위한 중요한 진전이지만, 아직 Gemini 3 Flash 와 같은 독점 모델의 역량을 따라잡지는 못했다고 인정합니다. 이 연구는 향후 연구의 기초를 제공하며, 현대 그리스어의 복잡성을 완전히 포착하기 위해서는 긴 형식의 답변, 다양한 콘텐츠, 지역 방언을 포함하도록 데이터셋을 더욱 확장해야 함을 시사합니다. 저자들은 코드, 모델, 데이터의 공개가 재현성 지원과 그리스어를 위한 언어적으로 정확하며 문화적 기반을 갖춘 언어 모델 개발을 목표로 한다고 강조합니다.