기술 요약: Mellum 2

문제 정의

소프트웨어 엔지니어링을 위한 오픈 웨이트 대규모 언어 모델(LLM)의 지형은 품질과 배포 비용 사이의 트레이드오프에 직면해 있습니다. 414B 파라미터 범위의 밀집(Dense) 모델은 비용 효율적이지만 복잡한 코딩 및 추론 작업에서 정체되는 경향이 있습니다. 반면, 매우 거대한 전문가 혼합(Mixture-of-Experts, MoE) 모델은 프런티어 급의 품질을 달ian하지만, 일상적인 사용에 부담을 주는 배포 비용을 발생시킵니다. 과제는 프로그래밍 지식과 추론 능력의 롱테일(long tail)을 흡수하면서도, 토큰당 연산 비용을 23B 밀집 모델 수준으로 유지하여, 지연 시간에 민감한 IDE 환경에서 범용 하드웨어(특히 단일 H100 GPU)로 실질적인 배포가 가능한 모델을 만드는 것입니다.

방법론

아키텍처 설계

Mellum 2는 12B 파라미터 규모의 디코더 전용 트랜스포머(Decoder-only Transformer)로, 토큰당 2.5B의 활성 파라미터를 사용하는 MoE 아키텍처를 활용합니다. 이 설계는 Qwen3-MoE 레시피를 기반으로 하되, 절제 연구(Ablation studies)를 통해 검증된 세 가지 특정 배포 지향적 최적화를 적용했습니다:

• 전문가 구성(Expert Configuration): 모델은 총 64개의 전문가를 보유하며, 토큰당 8개의 전문가를 활성화(top-8 routing)합니다. 이 구성은 추론 지연 시간과 모델 품질 사이의 최적의 절충안으로 선택되었으며, 모델이 약 12B의 전체 파라미터로 확장되면서도 7B 밀집 베이스라인의 지연 시간을 맞출 수 있도록 합니다.
• 그룹 쿼리 어텐션(Grouped-Query Attention, GQA): 높은 동시성 환경에서의 처리량(Throughput)을 최적화하기 위해, 모델은 단 4개의 KV 헤드만을 사용합니다(표준 구성보다 감소). 절제 연구 결과, 8개의 헤드를 사용할 경우 처리량이 크게 저하되는 반면, 2개의 헤드는 품질을 저해하는 것으로 나타났습니다.
• 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA): 장거리 컨텍스트를 희생하지 않으면서 지연 시간을 줄이기 위해, 4개 레이어 중 3개 레이어에 1,024 토큰 크기의 윈도우를 적용하는 SWA를 적용했습니다. 나머지 레이어는 풀 어텐션(Full attention)을 사용합니다.
• 멀티 토큰 예측(Multi-Token Prediction, MTP): 단일 보조 MTP 헤드가 표준 차기 토큰 목적 함수 외에 다음 토큰을 추가로 예측합니다. 이 헤드는 두 가지 목적을 수행합니다: 보조 사전 학습 목적 함수로서의 역할과, 추 inference 시 스펙큘레이티브 디코딩(Speculative decoding)을 위한 내장 드래프트 모델로서의 역할입니다.

사전 학습(Pre-Training)

모델은 약 10.6조 개의 토큰을 사용하여 3단계 커리큘럼을 통해 사전 학습되었습니다. 이 커리큘럼은 데이터 혼합물을 다양한 웹 콘텐츠에서 정제된 코드 및 수학 콘텐츠로 점진적으로 전환합니다:

1. 기초 단계 (토큰의 58%): 웹/일반 지식 70%, 코드 23%, 수학 6%.
2. 품질 향상 단계 (26.2%): 웹 44%, 코드 42%, 수학 14%. 고품질의 정제된 데이터셋을 도입합니다.
3. 역량 강화 단계 (15.9%): 웹 23%, 코드 59%, 수학 18%. 학습률 감쇠(Learning rate decay) 기간 동안 고품질 합성 코드 및 추론 데이터에 집중합니다.

학습에는 Muon 옵티마이저와 FP8 하이브리드 혼합 정밀도(FP8 hybrid mixed precision), 그리고 Warmup-Hold-Decay (WHD) 학습률 스케줄이 사용되었습니다. 데이터 파이프라인에는 코드 완성을 위한 "Fill-in-the-Middle (FIM)" 목적 함수가 포함되었으며, FIM 비율은 단계별로 상이하게 적용되었습니다 (1단계 50%, 2단계 10%, 3단계 코드에만 50% 제한).

롱 컨텍스트 확장

베이스 모델은 **레이어 선택적 YaRN(layer-selective YaRN)**을 사용하여 8,192 토큰 컨텍스트에서 131,072 토큰(128K)으로 확장되었습니다. 이 방법은 글로벌(풀 어텐션) 레이어에만 주파수 재매핑을 적용하고, 슬라이딩 윈도우 레이어는 원래의 RoPE 파라미터를 유지하도록 합니다. 이 접근 방식은 균일한 RoPE 스케일링이나 파라미터를 변경하지 않는 방식보다 우수한 성능을 보였습니다.

사후 학습(Post-Training)

롱 컨텍스트 베이스로부터 두 가지 변형이 생성되었습니다:

1. Instruct: 직접 답변하는 범용 어시스턴트입니다.
2. Thinking: 최종 답변 전에 명시적인 사고 체인(Chain of Thought)을 출력하는 추론 증강 어시스턴트입니다.

두 변형 모두 지도 미세 조정(SFT) 후 검증 가능한 보상을 이용한 강화 학습(RLVR) 과정을 거쳤습니다. RL 단계에서는 비동기 롤아웃(Asynchronous rollouts)과 MoE 라우터의 학습-추론 불일치를 처리하기 위한 특정 안정화 메커니즘(IcePop truncation)을 갖춘 GRPO(Group Relative Policy Optimization) 변형을 사용했습니다. 보상 신호는 프로그램적으로 검증 가능(예: 코드를 위한 유닛 테스트, 수학을 위한 기호 검증)하여, 별도의 보상 모델이 필요하지 않도록 했습니다.

주요 기여

• 효율성 인지형 아키텍처: 단일 H100 GPU에서 7B 밀집 베이스라인(Qwen2.5-7B)의 처리량과 일치하거나 이를 능가하면서도 더 넓은 파라미터 범위를 제공하는 12B/2.5B-활성 MoE 구성.
• 3단계 사전 학습 커리큘럼: 10.6T 토큰에 걸쳐 웹 데이터에서 정제된 코드/수학(코드 비율 23% → 42% → 59%)으로의 체계적인 전환을 Muon 및 FP8과 함께 최적화.
• 프로덕션 규모 학습 레시Recipe: Muon, FP8 혼합 정밀도, 그리고 선형 감쇠를 포함한 Warmup-Hold-Decay 스케줄의 통합을 통해 전체 학습 과정에서의 안정성을 입증.
• 롱 컨텍스트 확장: 레이어 선택적 YaRN을 사용하여 128K 컨텍스트로 성공적으로 확장하였으며, RULER 벤치마크를 통해 검증됨.
• 이중 변형 모델: "Instruct" 및 "Thinking" 변형을 모두 출시하였으며, 두 모델 모두 수학 및 실행 가능한 코딩 작업에 대해 RLVR로 정교화됨.
• 오픈 릴리스: Apache 2.0 라이선스 하에 베이스, instruct, thinking 체크포인트 제공.

결과

코드 생성, 수학, 추론, 도구 사용 및 안전성을 아우르는 벤치마크 전반에서 Mellum 2는 4B–14B 범위의 오픈 웨이트 베이스라인들과 경쟁력을 보여줍니다:

• 코드 생성: RL로 학습된 Instruct 변형은 EvalPlus(HumanEval+ 및 MBPP+ 평균)에서 78.4%를 기록하여 Qwen3.5-9B(71.8%)와 Seed-Coder-8B(73.8%)를 능가했습니다. Thinking 변형은 LiveCodeBench v6에서 75.1%를 달성하여 비교 대상 중 가장 높은 점수를 기록했습니다.
• 추론 및 수학: Mellum 2는 MMLU-Pro에서 59.3%를 달성(Qwen2.5-7B의 48.6%를 상회)하고, BBH에서 74.9%를 기록했습니다. GSM-Plus에서 Thinking 변형은 87.0%에 도달하여 더 큰 모델들과 대등한 성능을 보였습니다.
• 도구 사용: Thinking 변형은 BFCL v4(에이전트 능력)에서 45.6%를 기록하며 Qwen3.5 제품군을 앞지르며 패널을 선도했습니다.
• 효율성: 단일 요청(Sync) 모드에서 Mellum 2는 약 193 tokens/s로 Qwen2.5-7B와 일치합니다. 고동시성(Throughput) 모드에서는 5,179 tokens/s를 달성하여 Qwen2.5-7B보다 21%, Qwen3-8B보다 79% 향상된 성능을 보여줍니다.
• 한계점: 모델은 광범위한 세계 지식(MMLU-Redux 및 GPQA Diamond)에서 의도적인 트레이드오프를 보이며 Qwen3.5 시리즈에 뒤처지는데, 이는 코드 및 개발자 문서에 학습 초점을 맞춘 결과입니다. 안전성 지표에서는 RL 학습이 SFT 단계에 비해 유해한 비율을 약간 증가시키는 알려진 "정렬 세금(Alignment tax)" 현상을 보입니다.

의의

본 논문은 Mellum 2를 소프트웨어 엔지니어링 도메인을 위한 실용적인 오픈 웨이트 솔루션으로 포지셔닝하며, 정교하게 설계된 MoE 아키텍처가 유사한 성능의 밀집 모델에 비해 훨씬 적은 추론 비용으로 프런티어 급의 코딩 및 추론 능력을 제공할 수 있음을 입증합니다. 아키텍처 설계 단계에서부터 추론 예산 제약(Qwen2.5-7B 지연 시간 일치)을 엄격히 준-수함으로써, 저자들은 범용 하드웨어에서의 배포 가능성을 희생하지 않고도 총 파라미터를 대폭 확장(12B까지)할 수 있음을 보여주었습니다. "Thinking" 및 "Instruct" 변형 모두를 출시하고, 학습 레시피와 데이터 파이프라인에 대한 상세한 기술 보고서를 제공함으로써, 소규모 MoE 코딩 모델에 대한 재현 가능한 설계 지점을 커뮤니티에 제공하고자 합니다.