기술 요약: Mecellem 모델들

문제 정의

주로 영어 중심 데이터로 학습된 대규모 언어 모델(LLM)은 비영어권 언어 및 고도의 격식적 도메인에서 성능 저하를 보입니다. 터키 법률 도메인은 형태론적 풍부함(교착어 구조), 복잡한 통사적 변이, 집중적인 전문 용어, 그리고 엄격한 규범적 제약으로 인해 특정한 과제를 안고 있습니다. 기존의 터키 법률 NLP 접근 방식은 주로 전통적인 머신러닝, 트랜스포머 기반 분류, 또는 소형 모델의 매개변수 효율적 미세 조정(PEFT)에 의존해 왔습니다. 그러나 이러한 방법들은 심층적인 도메인 적응에는 불충분한 경우가 많으며, 효과적인 법률 정보 검색 및 생성에 필요한 미묘한 언어적 패턴과 긴 문맥 추론 능력을 포착하는 데 실패합니다. 또한, 표준 사전 학습 목적 함수(예: Masked Language Modeling loss)는 형태론적으로 풍부한 언어의 경우, 다운스트림 임베딩 유용성과 항상 일치하지는 않습니다.

방법론

본 논문은 두 가지 상호 보완적인 접근 방식을 통해 특화된 터키 법률 언어 모델을 개발하기 위한 프레임워크인 Mecellem을 소개합니다.

1. 인코더 모델: 처음부터 사전 학습 (Pre-trained from Scratch)

저자들은 큐레이션된 터키어 중심 코퍼스를 기반으로 완전히 처음부터 사전 학습된 ModernBERT 아키텍처 기반의 양방향 인코더 모델을 개발했습니다.

• 데이터: 코퍼스는 터키 법률 텍스트(대법원, 국무원, 학술 논문)와 일반 웹 데이터(FineWeb2, CulturaX)를 결합하여 1127억 개의 토큰으로 구성됩니다. 데이터는 스캔된 문서를 위한 VLM 기반 OCR 추출(DotsOCR), 의미론적 중복 제거(SemHash), 그리고 접사 엔트로피 및 어근 다양성에 기반한 터키어 특화 품질 필터링을 포함한 엄격한 전처리를 거쳤습니다.
• 아키텍처: 두 가지 모델 크기인 **Base (155M 파라미터)**와 **Large (403M 파라미터)**가 학습되었습니다. 두 모델 모두 교차 로컬 및 글로벌 어텐션을 활용하며, RoPE 위치 임베딩을 사용하고 최대 8,192 토큰의 시퀀스 길이를 지원합니다.
• 학습 전략:
  • 사전 학습: 30% 마스킹 비율(80-10-10 전략)을 가진 Masked Language Modeling(MLM)을 사용했습니다.
  • 체크포인트 선택: 단순히 MLM 손실을 최소화하는 것에 의존하는 대신, 저자들은 학습 과정 전반에 걸쳐 다운스트림 검색 성능을 평가하는 전략을 구현했습니다. 이를 통해 최적의 체크포인트가 종종 사전 학습 손실이 최솟값에 도달하기 전에 발생한다는 것을 발견했습니다.
  • 사후 학습: 인코더는 MS MARCO-TR 데이터셋에 대한 대조 학습(contrastive learning)을 통해 임베딩 모델로 변환되었습니다. 여기에는 표준 InfoNCE, Qwen3 스타일의 InfoNCE, 그리고 가이드 모델(BGE-M3, EmbeddingGemma-300M)을 이용한 허위 부정(false-negative) 필터링 기능이 포함된 GISTEmbed가 포함되었습니다.

2. 디코더 모델: 지속적 사전 학습 (Continual Pre-training, CPT)

저자들은 기존의 Qwen3-1.7B 및 Qwen3-4B 디코더 모델을 지속적 사전 학습을 통해 터키 법률 도메인에 적응시켰습니다.

• 전략: 1.7B 모델에 대해 일반적인 터키어 텍스트에서 시작하여 도메인 특화 법률 콘텐츠, 긴 규범 문서, 그리고 마지막으로 확장된 도메인 정교화 단계로 진행되는 4단계 커리큘럼 학습 접근 방식이 채택되었습니다. 4B 모델은 단일 단계의 대규모 CPT를 거쳤습니다.
• 파괴적 망각 완화: 커리큘럼 구조와 리플레이 버퍼(Phase 2에서 Phase 1 데이터를 재도입)의 포함을 통해 일반 언어 능력을 보존하면서 법률 전문 지식을 습득했습니다.
• 평가: 성능은 EuroHPC-Legal 데이터셋에 대한 퍼플렉시티(perplexity)를 통해 측정되었으며, 법률적 정확성, 법령 참조 및 인용 품질을 평가하기 위해 훈련된 도메인 특화 보상 모델인 Muhakim을 사용하여 평가되었습니다.
• 디코더-투-인코더 변환: CPT 디코더 모델은 언어 모델 헤드를 제거하고, 양방향 어텐션을 활성화하며, 평균 풀링(mean pooling)을 적용함으로써 임베딩 모델로 변환되었습니다.

주요 기여

1. 터키 법률 임베딩을 위한 처음부터의 사전 학습: 1127억 개의 토큰으로 처음부터 사전 학습된 ModernBERT 기반 인코더를 제작하여, 도메인 특화 사전 학습이 터키 법률 작업에 효과적임을 입증했습니다.
2. 다운스트림 인식 체크포인트 선택: 형태론적으로 풍부한 언어의 경우, 다운스트림 검색 성능을 위한 최적의 체크포인트가 반드시 사전 학습 손실의 최솟값과 일치하지 않는다는 새로운 발견을 제시했습니다. 중간 단계의 체크포인트가 더 우수한 임베딩 품질을 제공할 수 있습니다.
3. 제어된 지속적 사전 학습: 4단계 커리큘럼을 사용하여 Qwen3 모델에 CPT를 성공적으로 적용하였으며, 파괴적 망골을 완화하면서 상당한 퍼플렉시티 감소(1.7B 모델의 경우 최대 43.1%)를 달-성했습니다.
4. 터키 특화 데이터 엔지니어링: 복잡한 문서를 위한 VLM 기반 OCR 및 형태론 기반 품질 필터(접사 엔트로피, 어근 다양성)를 포함하여 터키 법률 데이터를 추출하고 정제하는 강력한 파이프라인을 개발했습니다.
5. 포괄적 벤치마킹: MTEB을 터키 특화 작업과 세 가지 도메인 특화 법률 검색 벤치마크(계약, 규정, 판례)로 확장한 MTEB-Turkish 프레임워크를 도입했습니다.

결과

• 인코더 성능:
  • Mursit-Base-TR-Retrieval (155M) 및 Mursit-Large-TR-Retrieval (403M) 모델은 터키 검색 리더보드에서 Top-3 순위를 차지했습니다.
  • 최첨단(SOTA) 모델(예: EmbeddingGemma-300M, BGE-M3)보다 훨씬 적은 파라미터를 보유했음에도 불구하고, Mecellem 모델은 대등한 성능을 달성했습니다. 155M 모델은 55.86 MTEB 점수와 47.52 법률 점수를 기록하며, 더 큰 규모의 변환된 디코더 모델들을 능가했습니다.
  • 이 모델들은 SOTA 모델 대비 92.36%의 프로덕션 효율성을 달성했으며, 더 적은 계산 자원을 사용하면서도 전체 4위를 기록했습니다.
• 디코더 성능:
  • CPT 결과, Qwen3-4B 모델의 터키 법률 텍스트에 대한 퍼플렉시티는 36.2% 감소했으며, Qwen3-1.7B 모델의 경우 최대 **43.1%**까지 감소했습니다.
  • Muhakim 보상 모델을 통한 평가 결과, CPT 모델은 특히 짧은 문맥 제약 하에서 법률적 정확성, 법령 참조 및 범위의 깊이 측면에서 베이스 모델보다 일관되게 우수한 성능을 보였습니다.
• 절제 연구(Ablation) 통찰:
  • 시퀀스 길이: 시퀀스 길이를 훈련 데이터 분포(예: 256 토큰)에만 기반하여 최적화했을 때, 긴 시퀀스(2048 토큰)와 비교하여 성능이 크게 저하(규정 검색에서 최대 23.6%)되었습니다. 이는 법률 도메인에서 긴 문맥 이해의 필요성을 강조합니다.
  • 허위 부정 필터링: 가이드 모델을 사용한 GISTEmbed는 표준 InfoNCE보다 법률 검색 점수를 15.9% 향상시켰습니다.
  • 아키텍처: 처음부터 사전 학습된 목적 맞춤형 인코더 모델이 더 큰 파라미터 수를 가졌음에도 법률 검색 작업에서 어려움을 겪은 디코더-투-인코더 변환 모델보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 터키의 언어적 복잡성에 맞춰 훈련 전략을 조정한다면, 도메인 특화 사전 학습 및 제어된 지속적 사전 학습을 통해 효과적인 터키 법률 언어 모델을 개발할 수 있다고 주장합니다.

주요 주장은 다음과 같습니다:

• MLM 손실은 임베딩 품질의 대리 지표가 아니다: 터키와 같이 형태론적으로 풍한 언어의 경우, 사전 학습 손실을 최소화하는 것이 최적의 다운스트림 임베딩 성능을 보장하지 않습니다. 체크포인트 선택을 위해서는 다운스트림 작업에 대한 직접적인 평가가 필수적입니다.
• 매개변수 효율성: 155M 파라미터와 같은 더 작고 도메인 특화된 모델이 훨씬 더 큰 다단계 사후 학습 모델과 대등한 성능을 낼 수 있어, 법률 NLP 애플리케이션을 위한 비용 효율적인 대안을 제공합니다.
• 커리큘럼 학습의 필요성: 소형 모델의 경우, 파괴적 망각 없이 성공적인 도메인 적응을 위해 구조화된 다단계 커리큘럼 학습 방식이 필수적이지만, 대형 모델은 단일 단계 학습을 견딜 수 있습니다.
• 한계점: 본 논문은 광범적인 다단계 학습 인프라(합성 데이터 생성, 모델 병합 등) 없이 수행된 디코더-투-인코더 변환은 특히 특화된 법률 도메인의 임베딩 작업에서 최적이 아닌 성능을 초래한다고 겸허히 명시합니다.

저자들은 자신들의 연구가 소외되었던 터키 법률 NLP 문제를 해결하며, 터키의 독특한 법적 프레임워크에 맞춘 AI 기반 법률 도구 개발을 촉진하기 위해 오픈 소스 모델과 벤치마크를 제공한다고 강조합니다.