기술 요약: MinT (MindLab 툴킷)

문제 정의

대규모 언어 모델 (LLM) 이 트릴리온 규모 파라미터와 경험을 통한 평생 학습을 향해 진화함에 따라, 사후 학습 (post-training) 에 필요한 인프라가 치명적인 병목 현상이 되었습니다. 기존 워크플로우는 모든 모델 변형, 작업 분기, 또는 특정 테넌트용 적응에 대해 전체 파인튜닝 체크포인트를 물리화 (materializing) 하는 방식에 의존합니다. 이 접근법은 다음과 같은 심각한 확장성 문제를 야기합니다:

• 자원 비효율성: 각 정책 변형에 대해 전체 체크포인트를 복사하거나 서비스하는 것은 과도한 저장소와 메모리를 소모하여, 에이전트 기능의 지속적인 학습과 배포를 어렵게 만듭니다.
• 학습 - 서비스 불일치: 학습 엔진과 추론 엔진 간에 전체 모델을 이동시키는 것은 지연 시간과 복잡성을 초래합니다. 특히 공유 기반 모델 위에서 버전 관리, 롤백 지점, 다양한 정책 군집을 관리할 때 두드러집니다.
• 확장성 한계: 모델이 1T(1 조) 개 이상의 파라미터 (밀집형 및 전문가 혼합/MoE) 로 성장함에 따라, 수천 개의 LoRA(저랭크 적응) 정책을 위한 전체 체크포인트를 관리하는 오버헤드는 감당하기 어렵습니다.

방법론: MinT 프레임워크

MindLab 툴킷 (MinT) 은 전체 모델 체크포인트 대신 내보낸 LoRA 어댑터 리비전을 정책 관리의 기본 단위로 취급하는 관리형 인프라 시스템을 제안합니다. 이 시스템은 기반 모델이 메모리에 상주하는 '상주 기반 (resident base)' 아키텍처를 중심으로 설계되었으며, 작업 행동, 제품 분기, 실험 버전은 경량 어댑터 리비전으로 표현됩니다.

핵심 아키텍처

MinT 는 정책 레코드(서비스 소유 수명 주기 상태) 와 어댑터 리비전(실행 가능한 페이로드) 을 분리합니다.

1. 어댑터 중심 수명 주기: 어댑터를 다시 기반 모델에 병합하는 대신, MinT 는 학습된 LoRA 파라미터를 서비스 호환 리비전으로 내보냅니다. 이러한 리비전은 상주 기반과의 호환성을 검사한 후, 이미 기반 가중치를 보유한 추론 엔진 (예: vLLM) 에 직접 로드됩니다.
2. 시간 분할 학습: MinT 는 공유 상주 기반에서 멀티 LoRA 학습을 지원합니다. 단일 학습기는 LoRA 텐서, 옵티마이저 상태, 롤아웃 레코드만 교체하여 다른 정책 레코드 간에 전환할 수 있으며, 고정된 기반 모델은 GPU 메모리에 상주합니다. 이는 단일 워크스트 PEFT 와 분산 Megatron 학습 경로를 모두 지원합니다.
3. 3 단계 서비스 캐시: 대규모 정책 군집을 관리하기 위해 MinT 는 주소 지정 가능성 (addressability) 과 상주성 (residency) 을 분리합니다:
   • 주소 지정 가능 카탈로그: 내보낸 모든 어댑터 리비전의 영구 저장소 (최대 $10^6$ 규모).
   • CPU 캐시: 서비스 에이전트 로컬에 위치하여 빠른 승격을 위해 수백 개의 어댑터를 보유합니다.
   • GPU 배치: 현재 디코딩 단계의 추론 슬롯에 상주하는 활성 어댑터 세트.
4. 서비스 작업으로서의 콜드 로딩: 첫 접촉 어댑터 로드는 예약된 서비스 작업으로 처리됩니다. MinT 는 동일한 누락 정책에 대한 로딩 요청을 중복 제거하고 패킹된 MoE LoRA 텐서를 사용하여 객체 팬아웃 (fanout) 을 줄여 실시간 엔진 로딩 속도를 크게 향상시킵니다.

확장 축

MinT 는 이 어댑터 리비전 경로를 세 가지 차원에서 확장합니다:

• Scale Up (상향 확장): 프런티어 규모의 밀집형 및 MoE 아키텍처에서 LoRA RL 을 지원합니다 (최대 1T 파라미터까지 검증됨). 모델 병렬 학습 (텐서/전문가 병렬성), 희소 라우팅 일관성 (MoE 라우터 재생), 동적 희소 어텐션 (DSA) 보정을 처리합니다.
• Scale Down (하향 축소): 어댑터만 이동함으로써 (종종 기반 모델 크기의 1% 미만) 학습 - 서비스 핸드오프를 최소화합니다. 이는 전체 체크포인트 물리화를 완전히 제거합니다.
• Scale Out (외향 확장): 엔진 로컬 실행을 제한하면서 정책 네임스페이스를 확장합니다. 영구 정책 주소 지정 가능성을 핫 워크셋에서 분리하여, 모든 어댑터가 동시에 상주할 필요 없이 대규모 카탈로그를 가능하게 합니다.

주요 기여

1. 어댑터 수명 주기 관리: MinT 는 샤드에서 서비스로의 변환, 호환성 검사, 롤아웃 레코드, 롤백 기능을 포함하여 업데이트부터 서비스까지의 완전한 수명 주기를 정의합니다. 어댑터 리비전은 시스템이 선택하는 고정된 행동이 됩니다.
2. 대규모 멀티 LoRA RL 학습: 이 시스템은 235B-A22B 규모 학습과 1T 급 MoE 카운트다운 작업 경로를 포함하여 대규모 밀집형 및 MoE 배포에서 엔드투엔드 LoRA RL 을 입증했습니다. 단일 워크스트와 분산 Megatron 학습을 모두 지원합니다.
3. 정책 군집 서비스: MinT 는 공유 기반 vLLM 엔진을 통해 내보낸 어댑터를 서비스하며, 영구 주소 지정 가능성을 CPU/GPU 핫셋에서 분리합니다. 작은 객체 팬아웃을 줄이는 패킹된 MoE LoRA 표현을 도입하여 실시간 엔진 로딩 속도를 향상시켰습니다.
4. 공개 재현성: MinT 는 Tinker 호환 API 를 제공하며, 'mint-cookbook' 레시피를 사용하여 동일한 어댑터 수명 주기를 통해 SFT, 선호도 최적화 (DPO), 롤아웃 기반 RL (GRPO), AutoResearch 예제를 재현합니다.

실험 결과

이 논문은 Qwen3(4B, 30B, 235B) 및 Kimi K2(1T) 모델에 대한 광범위한 측정을 통해 MinT 의 능력을 검증합니다:

• 핸드오프 효율성 (Scale Down):
  • 전체 체크포인트 병합에 비해 어댑터 전용 핸드오프는 4B 밀집형 모델에서 측정된 핸드오프 단계를 18.3 배, 30B MoE 모델에서 2.85 배 단축합니다.
  • 동시 멀티 정책 GRPO 는 피크 메모리를 증가시키지 않고 4B 에서 1.77 배, 30B 에서 1.45 배의 월 시간 (wall time) 을 단축합니다.
• 학습 성능:
  • MinT 는 235B-A22B MoE 모델과 1.04T 파라미터 Kimi K2 모델에서 LoRA 정책을 성공적으로 학습했으며, MoE 라우터 재생 및 DSA 보정에서 일관성을 유지했습니다.
  • 학습 트레이스는 어댑터 수명 주기가 전체 파인튜닝 베이스라인과 비교 가능한 성능으로 SFT, DPO, GRPO 패러다임을 지원함을 보여줍니다 (예: AIME24 에서 GRPO 정확도가 0.11 에서 0.47 로 상승).
• 서비스 확장성 (Scale Out):
  • 시스템은 단일 엔진 스윕에서 최대 100,000 개 항목의 주소 지정 가능 카탈로그를 지원하며, 플릿 수준에서는 $10^6$개 정책까지 확장 지원이 예상됩니다.
  • 콜드 로딩 최적화: 패킹된 MoE LoRA 텐서는 텐서 객체를 37,248 개에서 672 개로 줄여, 언패킹된 로드에 비해 실시간 엔진 로딩 속도를 8.5~8.7 배 향상시켰습니다 (중앙값 <0.2 초).
  • CPU 캐시는 수백 개의 어댑터를 성공적으로 보유했습니다 (예: 약한 지역성 하에서 550 개 로드된 어댑터), 반면 GPU 배치는 단계당 약 64 개의 고유 어댑터로 제한되었습니다.

중요성 및 주장

이 논문은 MinT 가 대규모 사후 학습을 위한 멀티 테넌트 학습 서비스를 실질적인 현실로 만든다고 주장합니다. 관리 단위를 전체 체크포인트에서 어댑터 리비전으로 전환함으로써 MinT 는 다음을 가능하게 합니다:

• 비용 절감: 전체 체크포인트 물리화를 제거하고 데이터 이동 오버헤드를 줄입니다.
• 재현성: 분산 복잡성을 숨기는 일관된 서비스 수준 인터페이스를 학습, 평가, 서비스에 제공합니다.
• 확장성: 모든 정책을 전체 모델 서버로 만들 필요 없이 공유 1T 급 기반 모델 위에 백만 규모 LoRA 정책 카탈로그를 관리할 수 있게 합니다.

저자들은 MinT 를 새로운 학습 알고리즘이 아닌, 프런티어 규모 밀집형 및 MoE 아키텍처에서 '어댑터 리비전 경로'를 사용 가능하게 만드는 인프라 계층으로 위치시킵니다. 이는 지속적인 학습, 배포, 에이전트 강화 학습의 특정 시스템적 과제를 해결합니다.