🤖 machine learning

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

이 논문은 고품질 소량의 데이터와 정확도 필터링 없는 난이도 높은 샘플을 활용한 SFT, 그리고 잘라진 토큰으로부터의 그래디언트를 보존하여 탐색 능력을 향상시킨 새로운 GPPO 알고리즘을 통해 수학 및 프로그래밍 추론 성능을 획기적으로 개선한 'Klear-Reasoner' 모델을 제안합니다.

원저자: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

Klear-Reasoner: 머리가 좋은 AI 를 만드는 새로운 비법

이 논문은 **'Klear-Reasoner'**라는 이름의 새로운 인공지능 (AI) 모델을 소개합니다. 이 모델은 수학 문제나 코딩 문제를 풀 때, 단순히 정답만 외우는 게 아니라 천천히, 꼼꼼하게, 그리고 논리적으로 생각할 수 있는 능력을 갖췄습니다.

기존에도 똑똑한 AI 들이 많았지만, 어떻게 훈련시켰는지 비공개라 따라 하기 어려웠습니다. 이 논문은 그 '비밀 레시피'를 모두 공개하면서, 어떻게 하면 더 똑똑한 AI 를 만들 수 있는지 알려줍니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

1. 공부 방법의 변화: "양보다 질" (SFT 단계)

AI 를 가르칠 때 (SFT 단계), 보통 많은 양의 문제를 풀게 하죠. 하지만 연구팀은 **"많은 양의 문제집보다는, 아주 좋은 문제집 몇 권이 더 효과적이다"**라는 사실을 발견했습니다.

비유: imagine 하세요. 학생이 1,000 권의 잡다한 참고서를 두루뭉술 읽는 것보다, 최고의 명강사 (DeepSeek-R1) 가 쓴 10 권의 정통 교재를 깊이 있게 공부하는 것이 훨씬 실력이 느는 것과 같습니다.
발견: 특히, 어려운 문제는 정답이 맞지 않아도 (틀린 풀이 과정이라도) 버리지 않는 게 좋았습니다. 왜냐하면 틀린 풀이를 보며 "아, 여기서 실수하면 안 되구나"라고 배우는 과정이 오히려 사고력을 키워주기 때문이죠.

2. 훈련의 핵심 기술: "GPPO" (강화학습 단계)

AI 가 스스로 문제를 풀며 실력을 늘리는 과정 (강화학습) 에서 기존에는 '잘못된 답'이나 '너무 큰 변화'를 두려워해서 일부러 무시하는 (Clipping) 기술이 쓰였습니다. 하지만 연구팀은 이것이 문제라고 지적합니다.

기존 방식의 문제점:
- 호기심 차단: AI 가 새로운 아이디어를 시도하다가 (탐험) 점수가 조금 낮게 나오면, 그 아이디어를 "아니야, 무시해"라고 잘라버립니다. AI 가 새로운 것을 시도할 기회를 잃는 거죠.
- 실수 학습 지연: AI 가 틀린 답을 냈을 때, 그 실수를 가르쳐주지 않고 무시하면 AI 가 같은 실수를 반복하게 됩니다.
새로운 해결책 (GPPO): "조용한 피드백"
- 연구팀은 **"아무리 틀린 답이나 큰 변화라도, 그 안에는 배울 점이 있다"**고 생각했습니다.
- 비유: 선생님이 학생의 답을 볼 때, 틀렸다고 "0 점! 무시해!"라고 외치는 대신, **"이 부분은 틀렸지만, 그 과정에서 네가 생각한 아이디어는 가치가 있어. 다음엔 이렇게 고쳐보자"**라고 조용히 (Gradient-Preserving) 가르쳐주는 방식입니다.
- 이렇게 하면 AI 는 실수를 두려워하지 않고 **더 많이 시도 (탐험)**하게 되고, 틀린 답에서도 빠르게 배우게 되어 훨씬 빨리 성장합니다.

3. 채점 시스템의 변화: "하드코어 vs 소프트 코어"

코딩 문제를 풀 때, 기존에는 "모든 테스트를 통과해야 1 점, 하나라도 틀리면 0 점"이라는 하드코어 (Hard) 방식이었습니다.

문제점: 16 개 테스트 중 15 개를 맞췄는데 1 개만 틀려도 0 점이라면, AI 는 "아, 15 개는 잘했는데 1 개 때문에 0 점이라니, 그냥 포기해야지"라고 생각할 수 있습니다.
새로운 방식 (Soft Reward): 16 개 중 15 개를 맞췄다면 15/16 점을 줍니다.
효과: AI 는 "내가 거의 다 맞췄네! 저 1 개만 고치면 돼!"라고 단계적으로 발전할 동기를 얻게 됩니다.

4. 결과: 얼마나 똑똑해졌나요?

이 새로운 방법론을 적용한 Klear-Reasoner는 기존에 가장 잘하던 모델들보다 더 뛰어난 성적을 냈습니다.

수학 (AIME): 2024 년과 2025 년 수학 올림피아드 문제에서 90% 이상의 정답률을 기록했습니다. (일반적인 고등학생이 풀기 어려운 문제들입니다!)
코딩 (LiveCodeBench): 코딩 대회 문제에서도 최상위권 성적을 냈습니다.

요약: 이 논문이 우리에게 알려주는 것

데이터는 양보다 질: 좋은 선생님의 교재를 깊이 있게 공부하세요.
실수는 기회: 틀린 답을 무시하지 말고, 그 안에서 배울 점을 찾아 조용히 가르치세요 (GPPO).
점수는 정직하게: 완벽하지 않아도, 조금이라도 잘한 부분에 점수를 주면 더 빨리 성장합니다.

이 논문은 **"AI 를 가르칠 때, 무조건적인 통제보다는 유연한 지도와 정직한 피드백이 더 큰 성장을 이끈다"**는 교훈을 줍니다. 마치 아이를 키울 때, 실수를 무조건 나무라기보다 "왜 그런 생각을 했지? 다음엔 이렇게 해보자"라고 대화하는 것이 더 큰 성장을 돕는 것과 같습니다.

1. 문제 정의 (Problem)

현재 커뮤니티에는 DeepScaleR, Light-R1 등 7~8B 파라미터 규모의 우수한 추론 모델 재현 사례가 많지만, DeepSeek-R1 이나 Qwen3 와 같은 최첨단 모델의 성능을 따라잡는 데는 한계가 있습니다. 주요 문제는 다음과 같습니다:

훈련 세부 사항의 불투명성: 고성능 모델의 재현을 방해하는 핵심 장벽입니다.
기존 강화 학습 (RL) 의 한계:
- Clipping(클리핑) 메커니즘의 부작용: 기존 PPO/GRPO 의 클리핑 기법은 확률 비율 (importance ratio) 이 임계값을 초과하는 토큰의 그라디언트를 완전히 차단합니다. 이는 고엔트로피 토큰(중요한 탐색 신호) 을 억제하여 모델의 탐색 능력을 저하시키고, 하위 최적 경로(부정적 샘플) 의 그라디언트를 차단하여 수렴 속도를 늦춥니다.
- 데이터 품질과 다양성의 트레이드오프: 다양한 데이터 소스를 무작정 늘리는 것이 항상 좋은 것은 아니며, 오히려 노이즈를 유발할 수 있습니다.

2. 방법론 (Methodology)

2.1. 장기 Chain-of-Thought (CoT) 지도 미세 조정 (SFT)

고품질 데이터 중심 전략: 다양한 데이터 소스보다 소수의 고품질 데이터 소스 (OpenThoughts, NuminaMath 등) 를 집중적으로 사용하는 것이 더 효과적임을 발견했습니다.
정확도 필터링 배제: 쉬운 샘플은 정답만 필터링해야 하지만, 어려운 샘플 (Hard samples) 의 경우 정답 여부와 상관없이 모두 포함하는 것이 모델 성능에 도움이 된다는 인사이트를 도출했습니다. 어려운 오답 샘플은 모델의 탐색 능력을 촉진하고 잘못된 추론 경로를 구별하는 데 기여합니다.
교사 모델: DeepSeek-R1-0528 을 사용하여 각 프롬프트당 최대 16 개의 응답을 생성하여 고품질 데이터를 구축했습니다.

2.2. 그라디언트 보존 클리핑 정책 최적화 (GPPO)

기존 클리핑 메커니즘의 한계를 해결하기 위해 제안된 핵심 알고리즘입니다.

기존 방식의 문제: 클리핑된 토큰의 그라디언트를 0 으로 처리하여 학습 신호를 잃음.
GPPO 의 혁신: 클리핑 임계값을 벗어난 토큰의 그라디언트를 완전히 폐기하지 않고, 계산 그래프에 포함시켜 그라디언트를 보존합니다.
- 작동 원리: 클리핑된 토큰의 그라디언트는 0 이 되지 않지만, 임계값 내에서 제한된 값 (예: $1-\epsilon$ 또는 $1+\epsilon$ ) 으로 조정되어 전달됩니다.
- 효과:
  1. 탐색 능력 향상: 고엔트로피 토큰 (중요한 결정 지점) 의 그라디언트를 보존하여 모델이 다양한 해결책을 탐색할 수 있게 합니다.
  2. 부정적 샘플 학습 가속: 하위 최적 경로의 그라디언트 차단으로 인한 수렴 지연을 해결하여, 모델이 실수에서 더 빠르게 학습하도록 돕습니다.
  3. 안정성 유지: 그라디언트가 무제한으로 커지는 것을 방지하여 훈련 안정성을 확보합니다.

2.3. 기타 최적화 기법

SFT 손실 결합: RL 훈련 시 정답 샘플에 대한 SFT 손실을 함께 적용하여 ( $\alpha$ 하이퍼파라미터 조절), 정책 모델의 출력 분포를 안정화하고 보상 해킹 (Reward Hacking) 을 방지합니다.
소프트 리워드 (Soft Reward): 코드 생성 태스크에서 테스트 케이스 통과율에 비례하는 리워드를 부여하여 희소 보상 (Sparse Reward) 문제를 해결하고 부분적으로 정확한 솔루션으로부터 학습합니다.
데이터 필터링: 테스트 케이스의 결함으로 인한 오검출을 줄이기 위해 pass@16이 0.5 이상인 프롬프트만 선별하여 RL 데이터를 구성합니다.

3. 주요 기여 (Key Contributions)

GPPO 알고리즘 제안: 클리핑 메커니즘의 근본적인 한계 (그라디언트 차단) 를 해결하고, 탐색과 안정성을 동시에 확보하는 새로운 RL 최적화 기법을 제시했습니다.
데이터 전략의 재정의:
- 질 > 다양성: 소수의 고품질 데이터 소스가 대규모 다양성 데이터보다 효과적입니다.
- 어려운 오답의 가치: 어려운 난이도의 데이터에서는 정답 필터링을 하지 않고 오답 샘플을 포함시키는 것이 모델의 탐색 능력을 향상시킵니다.
종합적인 파이프라인 공개: 데이터 준비, SFT, RL, 그리고 각 구성 요소에 대한 상세한 애블레이션 (Ablation) 연구를 통해 재현 가능한 고품질 추론 모델 훈련 방법을 공개했습니다.

4. 실험 결과 (Results)

Klear-Reasoner-8B 모델은 여러 벤치마크에서 동급 규모의 최첨단 모델들을 능가하는 성능을 보였습니다.

주요 벤치마크 점수 (Avg@64/8):
- AIME 2024: 90.5% (64K 추론 예산 시) / 83.2% (32K 예산 시)
- AIME 2025: 83.2% (64K 예산 시) / 75.6% (32K 예산 시)
- LiveCodeBench V5: 66.0%
- LiveCodeBench V6: 58.1%
비교 대상: DeepSeek-R1-0528-Distill-8B, Qwen3-8B, OpenReasoning-Nemotron-7B 등.
의의: 32K 길이로만 훈련된 모델이 64K/96K 추론 예산을 사용하는 다른 모델들의 성능을 능가하거나 견줄 만큼 뛰어난 성능을 발휘했습니다. 특히 RL 미세 조정을 통해 데이터 양이 적은 SFT 모델의 한계를 극복하고 성능을 비약적으로 향상시켰습니다.

5. 의의 및 결론 (Significance)

이 연구는 원칙적인 데이터 선별 (Quality-centric Data Curation), 정교한 SFT, 그리고 신뢰할 수 있는 RL 최적화 (GPPO) 가 결합될 때 장기 추론 성능이 극대화될 수 있음을 증명했습니다.

특히, 기존 RL 알고리즘이 간과했던 "클리핑된 토큰의 그라디언트 보존"과 "어려운 오답 데이터의 활용"이라는 두 가지 핵심 인사이트는 추론 모델 훈련의 새로운 패러다임을 제시합니다. Klear-Reasoner 는 제한된 파라미터 규모로도 최상위 수준의 추론 능력을 달성할 수 있음을 보여주며, 향후 오픈소스 기반의 고성능 추론 모델 개발에 중요한 길잡이가 될 것입니다.