💬 NLP

Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy Distillation

이 논문은 30B MoE 구조의 오픈 소스 모델인 Nemotron-Cascade 2 를 소개하며, 이는 정교한 SFT 와 다양한 도메인을 아우르는 Cascade RL 및 온-폴리시 증류 기법을 통해 IMO, IOI, ICPC 등 최상위 수준의 수학·코딩·에이전트 능력을 달성했음을 보여줍니다.

원저자: Zhuolin Yang, Zihan Liu, Yang Chen, Wenliang Dai, Boxin Wang, Sheng-Chieh Lin, Chankyu Lee, Yangyi Chen, Dongfu Jiang, Jiafan He, Renjie Pi, Grace Lam, Nayeon Lee, Alexander Bukharin, Mohammad Shoeybi

게시일 2026-03-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuolin Yang, Zihan Liu, Yang Chen, Wenliang Dai, Boxin Wang, Sheng-Chieh Lin, Chankyu Lee, Yangyi Chen, Dongfu Jiang, Jiafan He, Renjie Pi, Grace Lam, Nayeon Lee, Alexander Bukharin, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 네모트론 캐스케이드 2: 작지만 똑똑한 '슈퍼 두뇌'의 탄생

안녕하세요! 오늘 소개해 드릴 논문은 NVIDIA에서 만든 최신 인공지능 모델, **'네모트론 캐스케이드 2 (Nemotron-Cascade 2)'**에 대한 이야기입니다.

이 모델은 단순히 "큰 모델"이 아니라, **"작은 몸집에 엄청난 지능을 담은 마법 같은 존재"**입니다. 마치 작은 방에 거대한 도서관을 숨겨둔 것과 같죠.

이 복잡한 기술 논문을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 이 모델은 누구인가요? (작은 몸, 거대한 능력)

이 모델은 **300 억 개의 파라미터 (지식 단위)**를 가지고 있습니다. 보통 최강의 AI 들은 수천 억, 심지어 수조 개의 파라미터를 쓰는데, 이 모델은 그중 30 억 개만 실제로 작동하는 '스마트한' 구조 (MoE) 를 썼습니다.

비유: 다른 거대 AI 들이 거대한 도서관 전체를背着 (메고) 다니는 반면, 이 모델은 작은 가방에 필요한 책만 골라 넣은 형태입니다.
성과: 이 작은 가방을 메고도, **수학 올림피아드 (IMO)**나 정보올림피아드 (IOI) 같은 세계 최고 수준의 시험에서 금메달을 땄습니다. 이는 2025 년 기준, 인간 최강자들과 어깨를 나란히 하는 수준입니다.

2. 어떻게 이렇게 똑똑해졌을까요? (3 단계 성장 과정)

이 모델이 이렇게 강력해진 비결은 **'캐스케이드 RL(연속 강화학습)'**과 **'다중 도메인 온-폴리시 증류'**라는 두 가지 핵심 기술 때문입니다. 이를 요리 과정에 비유해 볼까요?

1 단계: 기초 체력 다지기 (SFT - 지도 학습)

상황: AI 에게 수학, 코딩, 과학, 대화 등 다양한 분야의 **고급 요리 레시피 (데이터)**를 먹여 가르칩니다.
비유: 요리를 배우는 요리사가 명장들의 레시피북을 통째로 외우는 단계입니다. 이때부터 AI 는 기본적인 문제 해결 능력을 갖춥니다.

2 단계: 실전 훈련과 피드백 (Cascade RL - 연속 강화학습)

핵심: 여기서 중요한 건 **"한 번에 모든 걸 가르치지 않는다"**는 점입니다.
- 먼저 수학만 집중적으로 훈련합니다.
- 그다음 코딩을 배웁니다.
- 그다음 소프트웨어 엔지니어링을 배웁니다.
비유: 요리사가 먼저 국물 요리만 100 번, 그다음 구이 요리만 100 번 연습하는 식입니다. 한 번에 모든 요리를 섞어 연습하면 혼란스러워지지만, 분야별로 나누어 연습하면 실력이 훨씬 빨리 늡니다.
효과: 이전 단계에서 배운 실력을 잊어버리는 '망각' 현상을 막아주면서, 각 분야별로 최고의 실력을 끌어올립니다.

3 단계: 실수 수정과 통합 (MOPD - 다중 도메인 온-폴리시 증류)

문제: 각 분야를 따로따로 배우다 보면, "수학은 잘하는데 코딩을 배우니 수학 실수가 살짝 늘어난다"는 식의 실력 불균형이 생길 수 있습니다.
해결책: 이때 **가장 잘하는 '중간 교사 (Teacher)'**들을 불러모아 AI 를 다시 가르칩니다.
비유: 수학 선생님, 코딩 선생님, 영어 선생님이 한자리에 모여 **"너는 수학은 잘하는데 코딩할 때 실수하잖아? 이걸 고쳐보자"**라고 함께 지도하는 상황입니다.
결과: 각 분야의 실력이 골고루 잘 유지되면서, 전체적인 지능이 최고 수준으로 통합됩니다.

3. 이 모델이 뭘 할 수 있나요? (실제 능력)

이 모델은 단순히 시험 문제만 잘 푸는 게 아닙니다.

수학 천재: 2025 년 국제 수학 올림피아드 (IMO) 문제 중 5 개를 완벽하게 풀었습니다. (전체 6 문제 중 5 문제)
코딩 고수: 국제 정보올림피아드 (IOI) 에서 금메달을 땄고, 복잡한 소프트웨어 버그를 찾아서 고치는 능력도 탁월합니다.
긴 문맥 이해: 책 한 권 분량의 긴 글을 읽어도 핵심을 놓치지 않고 이해합니다. (100 만 토큰 이상의 문맥 처리 가능)
실생활 문제 해결: 사용자의 요청에 따라 직접 컴퓨터를 조작하거나, 복잡한 작업을 스스로 계획하고 수행하는 '에이전트' 역할도 잘합니다.

4. 왜 이 기술이 중요한가요? (지능의 밀도)

기존에는 "AI 가 똑똑해지려면 무조건 크기가 커져야 한다"는 생각이 지배적이었습니다. 하지만 이 논문은 **"작고 효율적인 구조 + 똑똑한 훈련 방법"**으로도 최강의 성능을 낼 수 있음을 증명했습니다.

비유: 거대한 코끼리 (기존 대형 모델) 가 힘은 세지만 먹이 (연산 자원) 를 많이 먹어야 하지만, 이 모델은 작은 호랑이처럼 적은 먹이로 더 빠르고 민첩하게 사냥을 합니다.
의의: 앞으로 더 많은 사람이 저렴하고 빠른 AI 를 사용할 수 있는 길이 열렸습니다.

5. 결론: "작지만 강한" 미래의 AI

Nemotron-Cascade 2는 AI 개발의 새로운 패러다임을 보여줍니다.

"단순히 모델을 키우는 것 (Scaling Up) 이 아니라, **어떻게 가르치느냐 (Training Strategy)**가 더 중요하다."

이 모델은 수학, 코딩, 논리 분야에서 인간 최강자와 대등하게 경쟁할 수 있는 가장 똑똑한 소형 AI로, 앞으로 우리가 접할 다양한 AI 서비스의 기반이 될 것입니다.

한 줄 요약:

"작은 몸집에 세계 최고 수준의 지능을 담기 위해, 분야별로 따로 훈련하고 다시 하나로 합쳐낸 'AI 의 명작'!"

Nemotron-Cascade 2 기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 사후 학습 (Post-training) 에서 강화 학습 (RL) 은 추론 능력과 에이전트 기능을 향상시키는 핵심 기술로 부상했습니다. 그러나 기존 접근 방식은 다음과 같은 한계가 있었습니다:

다양한 도메인의 통합 어려움: 수학, 코딩, 에이전트 작업 등 서로 다른 특성을 가진 다양한 RL 환경과 보상 신호를 하나의 모델에 통합할 때 학습이 불안정해지거나 이전 도메인의 성능이 급격히 저하되는 (Catastrophic Forgetting) 문제가 발생했습니다.
효율성 부족: 모든 도메인을 동시에 학습시키거나 무작위 순서로 학습시키는 것은 계산 비용이 많이 들고, 특정 도메인 (예: 수학 증명, 경쟁 코딩) 에서 최상위 성능을 내기 어렵습니다.
규모의 한계: 소규모 모델이 Frontier급 대형 모델 (수백 B 파라미터) 과 경쟁하는 수준의 고난도 추론 (IMO, IOI 등) 을 수행하는 것은 매우 어려웠습니다.

2. 방법론 (Methodology)

Nemotron-Cascade 2 는 30B MoE(Mixture-of-Experts) 모델 (활성화 파라미터 3B) 을 기반으로 하며, Cascade RL(연속 강화 학습) 과 다도메인 온-정책 증류 (Multi-Domain On-Policy Distillation, MOPD) 를 결합한 새로운 파이프라인을 제시합니다.

지도 미세 조정 (SFT):
- 수학, 코딩, 과학, 긴 문맥, 에이전트 작업 등 광범위한 도메인의 고품질 데이터로 모델을 초기화합니다.
- 256K 토큰 길이의 시퀀스를 처리할 수 있도록 학습하며, '생각 모드 (Thinking mode)'와 '비생각 모드'를 구분하는 템플릿을 사용합니다.
Cascade RL (연속 강화 학습):
- 단일 RL 단계가 아닌, 도메인별 순차적 학습을 수행합니다.
- 학습 순서 전략: 명령어 준수 (IF-RL) $\rightarrow$ 다도메인 RL (STEM, 도구 사용) $\rightarrow$ MOPD $\rightarrow$ RLHF $\rightarrow$ 긴 문맥 RL $\rightarrow$ 코드 RL $\rightarrow$ 소프트웨어 엔지니어링 (SWE) RL 순으로 진행됩니다.
- 이 순서는 도메인 간 간섭을 최소화하고, 기초적인 능력을 먼저 확립한 후 고난도 추론 능력을 점진적으로 확장하도록 설계되었습니다.
다도메인 온-정책 증류 (MOPD):
- Cascade RL 과정에서 특정 도메인 학습 시 발생할 수 있는 다른 도메인의 성능 저하 (Regression) 를 방지하기 위해 도입되었습니다.
- 각 도메인에서 가장 성능이 좋은 중간 Teacher 모델들을 선택하여, Student 모델이 해당 도메인의 토큰 수준 (Token-level) 지식을 증류받도록 합니다.
- 이는 희소한 결과 보상 (Outcome Reward) 에 의존하는 기존 GRPO 와 달리, 밀도 있는 토큰 수준 학습을 제공하여 학습 효율성과 안정성을 극대화합니다.
테스트 시간 확장 (Test-Time Scaling):
- IMO 및 IOI 와 같은 고난도 문제 해결을 위해 모델이 스스로 생성, 검증, 수정을 반복하는 'Generate-Verify-Refine' 파이프라인을 적용하여 추론 능력을 확장합니다.

3. 주요 기여 (Key Contributions)

소규모 모델의 최상위 성능 달성: 30B MoE 모델 (활성화 3B) 이면서도 Frontier급 대형 모델 (DeepSeek-V3.2-Speciale-671B 등) 과 경쟁하거나 능가하는 추론 능력을 입증했습니다.
올림픽 금메달 수준 달성: 2025 년 국제수학올림피아드 (IMO), 국제정보올림피아드 (IOI), ICPC 세계 결승전에서 금메달 수준의 성능을 기록한 두 번째 오픈 가중치 LLM 입니다.
MOPD 프레임워크 제안: Cascade RL 과정에서 발생하는 성능 저하를 효과적으로 복구하고 도메인 간 균형을 유지하는 새로운 증류 기법을 제시했습니다.
완전 오픈소스: 모델 가중치, SFT 데이터, RL 데이터, 학습 방법론을 모두 공개하여 연구 커뮤니티의 재현과 확장을 지원합니다.

4. 결과 (Results)

Nemotron-Cascade-2-30B-A3B 는 다양한 벤치마크에서 놀라운 성과를 보였습니다:

수학 (Math):
- IMO 2025: 35/42 점 (금메달 기준 충족).
- IMO ProofBench: 72.9 점 (DeepSeek-Math-V2 671B 모델과 유사한 성능, 활성 파라미터는 1/10).
- AIME 2025: 92.4 점 (도구 사용 시 98.6 점).
코딩 (Coding):
- IOI 2025: 439.28 점 (금메달).
- ICPC World Finals 2025: 12 문제 중 10 문제 해결 (금메달).
- LiveCodeBench v6: 88.4 점 (Qwen3.5-35B-A3B 보다 우위).
기타 능력:
- 긴 문맥 (Long Context): 1M 토큰 컨텍스트에서 NIAH@1M 99.0 점 달성.
- 에이전트 (Agentic): SWE Verified, Terminal Bench 등 다양한 에이전트 작업에서 강력한 성능을 보임.
- 정렬 (Alignment): ArenaHard v2 에서 83.5 점으로 Qwen3.5-35B-A3B 를 능가함.

5. 의의 및 중요성 (Significance)

지능 밀도 (Intelligence Density) 의 재정의: 20 배 적은 파라미터로 Frontier 모델과 대등한 성능을 내며, 모델의 '효율성'이 단순히 크기 (Scale) 에만 의존하지 않음을 증명했습니다.
학습 아키텍처의 진화: 단순한 RLHF 를 넘어, 도메인별 특화 학습과 증류를 결합한 Cascade RL이 복잡한 추론 능력을 안정적으로 확장하는 핵심 열쇠임을 보여줍니다.
오픈 생태계 활성화: 고난도 수학 및 코딩 문제 해결 능력을 갖춘 고품질 오픈 모델을 공개함으로써, 연구 및 산업 전반의 AI 추론 능력 발전에 기여할 것으로 기대됩니다.

이 논문은 소규모 MoE 모델이 체계적인 사후 학습 파이프라인 (Cascade RL + MOPD) 을 통해 어떻게 최첨단 추론 능력을 획득할 수 있는지에 대한 새로운 패러다임을 제시합니다.