Super Apriel: 하나의 체크포인트로 다양한 속도 구현

기술 요약 (한국어)

이 논문은 ServiceNow Research 에서 제안한 Super Apriel을 소개합니다. Super Apriel 은 단일 체크포인트에서 다양한 추론 속도와 품질 간의 트레이드오프를 런타임에 동적으로 선택할 수 있도록 설계된 15B 파라미터 규모의 **서퍼넷 (Supernet)**입니다. 기존 하이브리드 아키텍처가 고정된 배치 (Placement) 를 가진 반면, Super Apriel 은 서비스 시간 (Serving time) 에 레이어별 믹서 (Mixer) 를 동적으로 전환하여 하나의 모델로 여러 속도 프리셋을 지원합니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 긴 컨텍스트와 높은 처리량 (Throughput) 을 요구함에 따라, 기존 전체 어텐션 (Full Attention, FA) 기반의 추론 비용이 병목 현상이 되고 있습니다.

• KV 캐시 메모리 제한: FA 는 시퀀스 길이에 비례하여 KV 캐시가 증가하여 메모리 바운드 (Memory-bound) 가 됩니다.
• 고정된 아키텍처의 한계: 기존 하이브리드 모델 (일부 레이어만 효율적 믹서 사용) 은 배포 전 설계 단계에서 레이어 배치 (Placement) 를 고정합니다. 이는 특정 작업 부하 (긴 컨텍스트 vs 짧은 프롬프트) 에만 최적화되며, 부하 변화나 다양한 품질 요구사항에 유연하게 대응할 수 없습니다.
• 해결 과제: 하나의 체크포인트에서 런타임에 속도와 품질의 균형을 조절할 수 있으면서도, 품질 저하 없이 효율적인 믹서를 적용할 수 있는 최적의 레이어 배치를 찾는 것이 핵심 과제였습니다.

2. 방법론 (Methodology)

2.1 아키텍처: 4 가지 믹서 서퍼넷

Super Apriel 은 48 개의 디코더 레이어를 가지며, 각 레이어는 다음 4 가지 훈련된 토큰 믹서 중 하나를 선택할 수 있습니다.

1. Full Attention (FA): 정확한 상호작용 제공 (비용 높음).
2. Sliding Window Attention (SWA): 로컬 윈도우 (4096 토큰) 내 어텐션 제한.
3. Kimi Delta Attention (KDA): 채널별 게이트가 적용된 델타 규칙 기반.
4. Gated DeltaNet (GDN): 스칼라 게이트가 적용된 델타 규칙 기반.

각 레이어는 이 중 하나를 선택하여 배치 (Placement) 를 구성하며, 총 $4^{48}$개의 가능한 아키텍처 조합을 가집니다.

2.2 훈련 파이프라인

1. 모델 수술 (Model Surgery): Apriel 1.6(15B, FA 기반) 을 기반으로 각 레이어에 4 가지 믹서 모두를 포함하도록 확장합니다. GDN 과 KDA 는 기존 어텐션 가중치에서 초기화 (DIL, KIL 레시피) 됩니다.
2. 확률적 증류 (Stochastic Distillation, S1): 고정된 Teacher 모델 (Apriel 1.6) 에서 증류합니다. 각 학습 단계에서 각 레이어의 믹서를 무작위로 선택하여 모든 믹서 조합을 동시에 훈련합니다.
3. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 증류 후, 최적의 배치 후보들을 대상으로 타겟팅된 SFT 를 수행하여 품질을 회복 및 향상시킵니다.

2.3 배치 최적화 (Placement Optimization)

48 레이어 × 4 가지 믹서라는 방대한 탐색 공간 ($4^{48}$) 을 효율적으로 탐색하기 위해 클러스터 확장 (Cluster Expansion) 기반의 대리 모델 (Surrogate) 을 사용합니다.

• 대리 모델: 통계 물리학의 클러스터 확장을 적용하여 레이어 간 상호작용 (단일, 쌍별, 3 중) 을 모델링합니다.
• 정확한 최적화: 대리 모델의 선형 구조를 이용해 동적 프로그래밍 (Dynamic Programming) 으로 비용 제약 하에서 정확히 최적의 배치를 찾습니다.
• 파레토 프론티어: 속도와 품질 간의 파레토 최적 해 집합을 사전에 식별하여 런타임에 선택 가능한 프리셋을 제공합니다.

2.4 추론 및 배포

• 런타임 전환: 하나의 체크포인트에서 요청마다 다른 배치를 선택할 수 있습니다. 가중치를 다시 로드할 필요 없이, 활성화된 믹서 블록만 전환합니다 (5~15 초 소요).
• Speculative Decoding: FA 배치 (Verifier) 와 효율적인 배치 (Draft) 를 동일한 체크포인트에서 사용하여 별도의 드래프트 모델 없이 추론 속도를 높일 수 있습니다.

3. 주요 기여 (Key Contributions)

1. Super Apriel 서퍼넷: 단일 체크포인트에서 FA, SWA, KDA, GDN 을 동적으로 전환하여 2.9 배10.7 배의 속도 향상과 77%96% 의 품질 유지율을 제공하는 최초의 토큰 믹서 서퍼넷입니다.
2. 훈련 레시피: 고정된 Teacher 모델로부터의 확률적 증류와 타겟팅된 SFT 를 결합하여 모든 믹서를 동시에 훈련하는 방법을 제시했습니다.
3. 배치 최적화 프레임워크: 클러스터 확장을 활용한 대리 모델로 파레토 프론티어를 효율적으로 탐색하고, 런타임에 최적의 프리셋을 선택할 수 있는 툴킷을 오픈소스화했습니다.
4. 배치 지형 역학 분석: 0.5B 와 15B 모델 간의 배치 순위 안정성을 분석했습니다. 순위는 초기에 안정화되지만, 15B 규모에서는 파레토 프론티어 영역에서 순위 변동성이 크다는 것을 발견하여 소규모 모델의 결과를 대규모로 외삽하는 것에 대한 경고를 보냈습니다.

4. 결과 (Results)

• 성능 vs 속도:
  • 전체 FA (All-FA): Teacher 모델 (Apriel 1.6) 과 동등한 성능 (평균 74.2 vs 73.9) 을 유지합니다.
  • 최고 효율 프리셋 (Reg|Lklhd–10): 32K 컨텍스트에서 10.7 배의 디코드 처리량 향상을 달성하며, 전체 작업 품질은 77% 유지합니다.
  • 균형 잡힌 프리셋 (Reg|Lklhd–26): 2.9 배 속도 향상과 96% 품질 유지를 제공합니다.
• 컨텍스트 길이 확장성:
  • 외부 하이브리드 모델들은 컨텍스트가 길어질수록 속도 향상 폭이 작아지지만 (16K→32K 에서 546% 증가), Super Apriel 은 **80155%**의 상대적 속도 향상 폭을 보입니다. 이는 효율적 믹서가 KV 캐시 메모리 의존성이 낮기 때문입니다.
• 비교 우위:
  • Apriel-H1(이전 버전) 및 Qwen-3.5, Nemotron 등 외부 하이브리드 모델들보다 15B 규모에서 더 넓은 품질 - 효율성 범위를 제공합니다. 특히 타겟팅된 SFT 를 통해 증류만 한 상태보다 수학 추론 능력에서 큰 개선을 보였습니다.

5. 의의 및 결론 (Significance)

Super Apriel 은 LLM 배포의 패러다임을 **"배포 시의 아키텍처 고정"**에서 **"런타임의 동적 구성"**으로 전환합니다.

• 운영 효율성: 하나의 모델 아티팩트로 다양한 부하 (고품질/저지연, 짧은/긴 컨텍스트) 에 대응할 수 있어 배포 및 버전 관리가 간소화됩니다.
• 적응형 서비스: 트래픽 상황에 따라 실시간으로 속도와 품질의 균형을 조절할 수 있습니다.
• 기술적 통찰: 대규모 모델에서 배치 순위의 변동성을 규명하고, 클러스터 확장을 통한 정확한 최적화가 가능함을 증명했습니다.

이 연구는 ServiceNow Research 에서 Fast-LLM, vLLM, 배치 최적화 툴킷과 함께 오픈소스로 공개되었으며, 향후 강화학습 (RL) 파인튜닝 및 더 넓은 믹서 어휘 확장 등을 통해 발전할 예정입니다.