💬 NLP

PCL-Reasoner-V1.5: Advancing Math Reasoning with Offline Reinforcement Learning

PCL-Reasoner-V1.5는 Qwen2.5-32B를 기반으로 구축된 320억 파라미터 규모의 수학적 추론 모델로, 온라인 RL 방식에 비해 우수한 훈련 안정성과 효율성을 갖추며 AIME 벤치마크에서 최첨단 성능을 달성하기 위해 새로운 오프라인 강화 학습 방법을 활용합니다.

원저자: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

게시일 2026-01-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 다이어트 중인 수학 천재

매우 똑똑한 학생(AI 모델)이 이미 수학을 잘하지만, 세계적인 챔피언이 되고 싶어 한다고 상상해 보세요. Peng Cheng Laboratory와 베이징 대학교의 연구진은 Qwen2.5-32B라는 강력한 학생을 데려와서, PCL-Reasoner-V1.5를 만들기 위한 특별한 훈련 캠프를 열어주었습니다.

그 결과는 어땠을까요? 이 새로운 모델은 현재 이 특정 "학생" 기반으로 만들어진 모델들 중에서 어려운 수학 문제를 해결하는 데 가장 뛰어난 성적을 보이고 있습니다. 이 모델은 2024년 수학 경시 대회에서 90.9%, 2025년 버전에서 **85.6%**를 기록했습니다.

비법: 2단계 훈련 과정

연구진은 단순히 모델에게 무작위로 연습 세션을 던져준 것이 아닙니다. 그들은 두 단계의 과정을 사용했습니다.

지도 미세 조정(SFT) – "교과서 단계":
먼저, 연구진은 고품질의 수학 문제와 그에 따른 단계별 풀이 과정(Chain-of-Thought라고 불리는)이 담긴 방대한 도서관을 사용하여 모델을 가르쳤습니다. 이것은 학생이 최고의 교과서를 읽고 문제를 올바르게 푸는 방법을 암기하는 것과 같습니다. 이를 통해 PCL-Reasoner-V1이라는 중간 단계 모델이 만들어졌습니다.
오프라인 강화 학습(Offline RL) – "연습 시험 단계":
이 부분이 이 논문의 혁신적인 부분입니다. 보통 AI 모델은 테스트를 보고, 즉시 채점을 받은 뒤, 선생님이 지켜보는 동안 실시간으로 다시 시도하며 배웁니다(이를 온라인 RL이라고 합니다). 이것은 학생이 시험을 보고 성적을 받은 뒤, 즉시 뇌를 수정하여 실수를 바로잡는 것과 같습니다. 이는 매우 혼란스럽고 느릴 수 있습니다.

PCL-Reasoner-V1.5는 대신 오프라인 RL을 사용했습니다. 여기에는 다음과 같은 비유가 있습니다:

기존 방식 (온라인 RL): 학생이 시험을 보면, 선생님이 채점하고, 학생은 뇌를 바꾸고, 그다음 즉시 다음 시험을 봅니다. 만약 선생님이 지치거나 채점 시스템에 오류가 생기면 전체 과정이 무너집니다.
새로운 방식 (오프라인 RL): 학생이 한꺼번에 엄청난 양의 연습 시험지를 풀고 모든 답안을 작성합니다. 선생님은 그 후에야 전체 뭉치를 채점하고 단 하나의 완벽한 "정답지" 책을 만듭니다. 학생은 오직 이 고정된 책만을 가지고 공부합니다. 그들은 공부하는 동안 새로운 시험을 치르지 않습니다. 그저 고정된 데이터로부터 배울 뿐입니다.

왜 "오프라인"이 더 나은가요?

논문은 이 "정답지" 접근 방식(Offline RL)이 세 가지 주요 이유로 더 우수하다고 주장합니다.

안정성 (롤러코스터 없음): 온라인 학습은 엔진을 재조립하면서 자동차를 운전하는 것과 같습니다. 불안정하고 충돌할 위험이 있습니다. 오프라인 학습은 조용한 도서관에서 공부하는 것과 같습니다. 데이터가 변하지 않으므로 학습 과정이 매끄럽고 예측 가능합니다.
효율성 (조립 라인): 온라인 방식에서는 컴퓨터가 끊임없이 멈추고, 생각하고, 채점하고, 업데이트해야 합니다. 오프라인 방식에서는 컴퓨터가 한 번에 거대한 효율적인 분출(마치 공장의 조립 라인처럼)을 통해 모든 답을 생성할 수 있고, 그 후 훈련이 별도로 진행됩니다. 이는 많은 시간과 컴퓨팅 자원을 절약해 줍니다.
단순성: 관리하기가 더 쉽습니다. 실시간 채점과 학습을 조율하기 위한 복잡한 시스템이 필요하지 않습니다. 데이터를 생성하고, 저장한 뒤, 나중에 훈련하면 됩니다.

모델은 실제로 무엇을 배웠나요?

연구진은 모델이 어떻게 개선되었는지에 대해 흥고로운 점을 발견했습니다.

이전 (PCL-Reasoner-V1): 모델은 문제를 빠르게 해결하려고 노력했습니다. 만약 문제가 매우 길고 복잡한 추론 과정(예: 30,000단어 분량의 사고 과정)을 요구한다면, 모델은 종종 포기하거나 실수를 저질렀습니다.
이후 (PCL-Reasoner-V1.5): 모델은 더 오래 생각하는 법을 배웠습니다. 모델은 훨씬 더 길고 상세한 추론 단계를 작성하기 시작했습니다. 모델은 어려운 문제일수록 서두를 수 없으며, 모든 경로를 신중하게 탐색해야 한다는 것을 배웠습니다.

결론

이 논문은 뛰어난 결과를 얻기 위해 모든 사람이 사용하는 복잡하고 불안정한 실시간 "온라인" 훈련 방식이 반드시 필요한 것은 아니라고 주장합니다. 고정된 정답 데이터셋을 생성하고 그것을 훈련하는 더 단순하고 안정적인 "오프라인" 방식을 사용함으로써, 모델은 수학 챔피언이 되었습니다.

핵심 요점: 때로는 선생님이 지켜보는 동안 계속 시험을 치르는 것보다, 엄청난 양의 연습 시험을 풀고, 완벽한 정답지를 얻은 뒤, 그 정답지를 철저하게 공부하는 것이 더 좋은 학습 방법이 될 수 있습니다. 이 접근 방식이 PCL-Reasoner-V1.5를 해당 분야의 새로운 최고 성능 모델로 만들었습니다.

기술 요약: PCL-Reasoner-V1.5

문제 정의

수학적 추론은 대규모 언어 모델(LLM)에 있어 정밀한 논리적 연역과 구조화된 문제 해결 능력을 요구하는 엄격한 벤치마크로 남아 있습니다. 최근 DeepSeek-R1과 같은 성과는 강화 학습(RL)이 사고 사슬(Chain-of-Thought, CoT)과 결합될 때 우수한 추론 능력을 이끌어낼 수 있음을 보여주었으나, 기존의 패러다임은 주로 온라인 RL(예: Group Relative Policy Optimization 또는 GRPO) 방식에 크게 의존하고 있습니다. 이러한 온라인 방식은 추론과 학습 루프의 긴밀한 결합으로 인해 발생하는 훈련 불안정성, 보상 붕괴(reward collapse), 높은 계산 오버헤드와 같은 상당한 기술적 과제를 야기합니다. 또한, 실시간 롤아웃(rollout)과 분산 그래디언트 업데이트를 위한 복잡한 오케스트레이션은 엔지니어링 복잡성과 실험 비용을 증가시킵니다.

방법론

저자들은 Qwen2.5-32B 아키텍처를 기반으로 구축된 320억 파라미터 규모의 LLM인 PCL-Reasoner-V1.5를 소개합니다. 이 모델은 지도 미세 조정(Supervised Fine-Tuning, SFT)에 이어 새로운 오프라인 RL 접근 방식을 통해 정교화됩니다.

1. 지도 미세 조정 (SFT)

베이스 모델: Qwen2.5-32B.
데이터: AM-DeepSeek-R1-0528-Distilled의 수학적 서브셋에서 추출한 666K 개의 샘플. 32K 토큰을 초과하는 시퀀스를 제거하기 위해 데이터를 필터링했습니다.
훈련 설정: 글로벌 배치 크기 128, 학습률 $6 \times 10^{-5}$ (코사인 감쇠), 4 에포크(epoch). 저자들은 가변 길이 샘플을 32K 시퀀스로 결합하여 패딩 중복을 제거하는 데이터 패킹(data packing) 기법을 활용했습니다.
프롬프팅: 특정 템플릿을 사용하여 모델이 <thought> 태그 내에 추론을 출력하고 <answer> 태그 내에 최종 답안을 출력하도록 CoT 구조를 강제했습니다.

2. 오프라인 강화 학습 (Offline Reinforcement Learning)

반복적으로 샘플링하고 학습하는 온라인 RL과 달리, 이 방식은 추론과 학습을 분리합니다.

데이터 큐레이션: 데이터셋은 Nemotron-Post-Training-Dataset-v1에서 유도되었습니다. 저자들은 평균 추론 답안 길이가 32K 토큰을 초과하고 8개의 후보 답안이 모두 정답이 아닌 질문들을 유지함으로써 고난도 작업을 선별했습니다. 그 결과 6,068개의 고난도 질문이 확보되었습니다.
추론 단계: SFT 모델(PCL-Reasoner-V1)은 Huawei Ascend 910C NPU 상에서 샘플링 기반 디코딩(top-k=40, top-p=0.95, temperature=0.6)을 사용하여 질문당 8개의 후보 답안을 생성했습니다.
검증 및 필터링: 별도의 검증 모델(Qwen3-32B)이 이진 보상( $R=1$ $R = 1$ 은 정답, $R=-1$ $R = - 1$ 은 오답)을 할당했습니다.
- GRPO의 내부 메커니즘을 모사하기 위해 보상 분산이 0인 질문(모두 정답이거나 모두 오답인 경우)은 제외했습니다.
- 길이 편향을 방지하기 위해 48K 토큰을 초과하는 양성 샘플은 폐기했습니다.
- 최종 데이터셋은 30,215개의 샘플(양성 14,512개, 음성 15,703개)을 포함했습니다.
훈련 목적 함수: 정책 모델은 $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ 를 최소화하도록 훈련되었으며, 여기서 $\pi_\theta$ 는 토큰 수준 확률의 기하 평균으로 정의됩니다. 이전 연구에서 중요도 샘플링(importance sampling)의 효과가 미비하다는 발견에 따라 이를 명시적으로 제외했습니다.
인프라: 훈련에는 8개의 컴퓨팅 노드(각 노드당 8개의 Ascend 910C NPU)가 사용되었으며, MindSpeed-LLM 프레임워크를 통해 텐서 병렬성(degree 8)과 파이프라인 병렬성(degree 4)을 적용했습니다.

주요 기여

오프라인 RL 패러다임: 본 논문은 추론 작업에 있어 온라인 RL(GRPO)의 안정적이고 효율적인 대안으로서 오프라인 RL을 제안하고 검증합니다. 추론과 학습을 분리함으로써 피드백 루프로 인한 불안정성을 제거하고 "한 번 추론하고 여러 번 학습하는(infer once, train many)" 워크플로우를 가능하게 하여 실험 비용을 크게 줄일 수 있다고 주장합니다.
최첨단 성능 (SOTA): PCL-Reasoner-V1.5는 Qwen2.5-32B를 사후 학습(post-trained)한 모델들 중 새로운 최첨단 성능을 달 achieves 합니다.
하드웨어 효율성: 모든 실험이 Huawei Ascend 910C NPU에서 성공적으로 수행되어, 대규모 추론 모델 훈련을 위한 이 하드웨어의 생존 가능성을 입증했습니다.
오픈 릴리스: 저자들은 재현성을 촉진하기 위해 모델, 훈련 데이터 및 코드(데이터 처리 및 평가 스크립트 포함)를 공개했습니다.

실험 결과

모델은 AIME 2024 및 AIME 2025 벤치마크(각 30문제)로 평가되었습니다.

정확도 (pass@1):
- AIME 2024: 90.9%
- AIME 2025: 85.6%
- 이 결과는 다른 Qwen2.5-32B 파생 모델(예: AIME 2024에서 72.6%를 기록한 DeepSeek-R1-Distill-Qwen-32B)을 능가하며, OpenAI-o3 (91.6%) 및 DeepSeek-R1-0528 (91.4%)과 같은 훨씬 더 큰 모델들과 경쟁합니다.
행동 분석:
- 응답 길이: RL 훈련은 평균 응답 길이를 (AIME 2024 기준 약 22.5K에서 약 30.5K 토큰으로) 유의미하게 증가시켰으며, 이는 모델이 더 광범위한 추론을 수행함을 시사합니다.
- Long-CoT 능력: 분리 분석 결과, SFT 모델은 긴 CoT(≥ 32K 토큰)를 요구하는 문제에서 어려움을 겪는 반면, RL로 훈련된 모델은 이 범위에서 특히 극적인 정확도 향상을 보여, 지속적이고 복잡한 추론을 위한 향상된 능력을 입증했습니다.

의의 및 주장

저자들은 오프라인 RL이 LLM 추론을 발전시키는 강력한 패러다임이며, 온라인 방식에 비해 뚜렷한 장점을 제공한다고 주장합니다.

안정성: 고정된 정적 데이터셋을 사용하여 훈련함으로써, 동적인 추론-학습 상호작용으로 인해 흔히 발생하는 보상 붕괴 및 발산을 방지합니다.
효율성: 분리된 구조를 통해 추론(vLLM과 같은 고처리량 프레임워크 사용)과 학습을 독립적으로 최적화할 수 있어, 하드웨어 활용도를 극대화하고 동기화로 인한 지연 오버헤드를 줄일 수 있습니다.
단순성: 복잡한 실시간 오케스트레이션 프레임워크의 필요성을 제거하여 엔지니어링 과정을 단순화합니다.

본 논문은 오프라인 RL이 정적 데이터셋의 품질에 제한을 받으며 "R1-Zero" 스타일의 자기 수정(self-correction)처럼 새로운 추론 경로를 반복적으로 발견할 수는 없지만, 강력한 베이스라인을 가진 모델을 정교화하는 데 매우 효과적이라고 결론짓습니다. 이 연구는 고성능 추론을 위해 온라인 RL이 반드시 필요하다는 통념에 도전하며, 안정적이고 계산 효율적인 오프라인 접근 방식이 경쟁력 있는 최첨단 결과를 낼 수 있음을 보여줍니다.