🤖 AI

DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes

DenoiseRL 는 약한 모델의 잘못된 추론 궤적에서 직접 학습하여 노이즈가 포함된 접두사로부터 복구함으로써 대규모 언어 모델의 추론 능력을 향상시키는 확장 가능한 강화 학습 프레임워크로, 이는 고비용의 교사 감독이나 정제된 데이터셋의 필요성을 제거하면서도 강력한 온-정책 기준선보다 우수한 성능을 발휘합니다.

원저자: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Yixin Cao

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Yixin Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 학생이 복잡한 수학 문제를 푸는 법을 가르치려 한다고 상상해 보세요. 보통은 완벽한 단계를 보여줄 천재 튜터를 고용하겠죠. 하지만 천재 튜터가 없다면 어떨까요? 수학이 매우 서툰 학생만 있다면요?

대부분의 현재 AI 학습 방법은 "천재가 없으면 더 나아질 수 없다"고 말합니다. 하지만 이 새로운 논문인 DenoiseRL은 "실제로는 그 서툰 학생의 실수를 이용해 똑똑한 학생이 더욱 똑똑해지는 법을 가르칠 수 있다"고 말합니다.

간단한 비유를 통해 이것이 어떻게 작동하는지 살펴보겠습니다:

1. 문제: "완벽한 튜터" 병목 현상

현재 AI 가 추론 능력 (예: 수학 문제 해결) 을 향상시키기 위해서는 보통 더 강력한 AI 를 교사 역할을 하게 해야 합니다. 마치 교수님에게 고급 미적분을 배우려는 것과 같습니다. 하지만 교수님이 없다면 어떨까요? 당신은 막히게 됩니다.

2. 해결책: "우회로" 학습

DenoiseRL은 게임의 규칙을 바꿉니다. 완벽한 교사를 찾는 대신, "약한" AI(서툰 학생) 를 가져와 문제 해결을 시킵니다. 약한 AI 는 길을 잃고, 잘못된 방향으로 나아가며, 막다른 길에 부딪히게 될 것입니다.

그런데 DenoiseRL 은 그 잘못된 답들을 버리는 대신, 이를 학습 장애물 코스로 활용합니다.

비유: 산 정상 (정답) 에 도달하려는 등산가 (AI) 를 상상해 보세요.
- 일반 학습: 등산가는 산기슭에서 시작해 길을 찾습니다.
- DenoiseRL 학습: 등산가는 마법처럼 산 halfway 지점으로 순간이동하지만, 그곳은 진흙탕 (약한 AI 가 생성한 잘못된 추론 단계) 에 서 있습니다.
- 목표: 등산가는 그냥 앞으로 걷는 것이 허용되지 않습니다. "잠깐, 나는 진흙탕에 갇혔어. 이 난처한 상황으로부터 어떻게 빠져나와 정상으로 가는 올바른 길로 다시 돌아갈 수 있을까?"라고 생각해야 합니다.

3. 작동 원리: 경로의 "잡음 제거"

이 논문은 이를 **"잡음 제거 (Denoising)"**라고 부릅니다. 약한 AI 의 잘못된 단계를 라디오 신호의 잡음이나 정전기라고 생각하세요.

시스템은 약한 AI 의 잘못된 답의 일부 ("잡음이 섞인 접두어") 를 가져옵니다.
그런 다음 똑똑한 AI 에게 그 잘못된 지점으로부터 답을 시작하도록 강요합니다.
똑똑한 AI 는 "아, 이 첫 부분은 틀렸어. 이를 수정하고, 경로를 바꾸어 올바른 해결책으로 가는 길을 찾아야 해"라고 깨달아야 합니다.

이는 AI 에게 회복이라는 초능력을 가르칩니다. 잘못된 길로 시작하더라도 실수를 발견하고, 수정하며, 여전히 올바른 답에 도달할 수 있음을 배우게 되는 것입니다.

4. 적정 지점: 진흙이 너무 깊지 않게 하기

연구자들은 그 "진흙"(잘못된 단계) 이 적절한 깊이를 가져야 함을 발견했습니다.

너무 얕으면: 잘못된 단계가 미미하다면 AI 는 많이 배우지 못합니다.
너무 깊으면: 잘못된 단계가 너무 크면 AI 는 혼란을 겪고 "과도한 사고"를 시작합니다. 스스로를 의심하는 루프에 빠지고, 작업을 반복해서 점검하며 결코 끝내지 못하게 됩니다.
적당하면: 적당한 양의 잘못된 단계는 AI 가 마비되지 않고 실수 수정을 연습하게 합니다.

5. 결과

수학 및 논리 퍼즐로 이를 테스트했을 때:

DenoiseRL로 학습된 AI 는 표준 방법으로 학습된 AI 보다 더 높은 점수를 받았습니다.
"천재" 교사가 필요하지 않았습니다. 자신의 "약한" 버전의 실수를 수정함으로써 학습했습니다.
자신의 실수를 발견하고 즉석에서 수정하는 능력이 향상되었습니다.

요약

DenoiseRL은 AI 두뇌를 위한 운동실과 같습니다. 단순히 웨이트를 들어 올리는 것 (처음부터 문제를 해결하는 것) 대신, AI 가 자신이 파지 않은 구덩이에서 기어오르는 상황에 놓이게 합니다. 실수에서 회복하는 법을 연습함으로써 AI 는 더욱 견고해지고, 똑똑해지며, 자신을 안내할 완벽한 교사가 있어야 한다는 의존성이 줄어듭니다.

기술 요약: DenoiseRL

문제 제기

강화 학습 (RL) 은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 주된 패러다임이 되었습니다. 그러나 현재 최첨단 접근법들은 구조적 병목 현상에 직면해 있습니다: 그들은 종종 더 강력한 교사 모델로부터의 감독이나 엄격하게 선별된 난이도 높은 데이터셋에 의존하여 개선을 이끌어냅니다. 이러한 의존성은 확장성 문제를 야기합니다; 충분히 유능한 오프더셸 (off-the-shelf) 교사 모델이 이용 불가능할 때, 추가적인 능력 향상은 어려워집니다. 또한, 표준 온-폴리시 (on-policy) RL 방법들은 종종 탐험 병목 현상에 시달리는데, 이는 정책이 대부분 올바른 롤아웃을 생성하거나 좁게 제한된 실패 모드에 갇히면서 정책이 포화 상태에 도달하게 되어, 의미 있는 경사 갱신을 위한 "정보성 실패 (informative failures)"가 너무 희소하게 남는 현상입니다. 이를 해결하려는 기존 시도들, 예를 들어 약한 모델에서 강한 모델로의 일반화 (Weak-to-Strong Generalization, W2SG) 는 약한 교사 모델의 노이즈와 용량에 의해 제한받으며, 데이터 합성 접근법들은 복잡하고 수동적인 엔지니어링을 요구합니다.

방법론: DenoiseRL

본 논문은 DenoiseRL을 제안합니다. 이는 추론 개선을 노이즈 제거 및 복구 문제로 재정의하는 강화 학습 프레임워크입니다. DenoiseRL 은 약한 모델을 사용하여 올바른 의사레이블이나 어려운 데이터를 생성하는 대신, 약한 모델을 구조화된 교란 (structured perturbations) (잘못된 추론 접두사) 을 생성하는 데 활용하여 이를 학습 신호로 사용합니다.

핵심 메커니즘

노이즈 접두사 주입: 프레임워크는 약한 모델 (예: Qwen2.5-1.5B) 로부터 잘못된 추론 궤적을 샘플링합니다. 이 잘못된 궤적의 접두사를 접두사 비율 $\rho$ 에 따라 선택하여 정책 모델의 입력 앞에 붙입니다.
복구 목표: 정책 모델은 약한 모델을 모방하는 것이 아니라, 오류 상태로부터 복구하도록 훈련됩니다. 모델은 손상을 인식하고, 추론을 수정하며, 올바른 경로로 전환하여 검증된 답에 도달해야 합니다.
학습 분포: 학습 과정은 각 문제당 두 가지 유형의 롤아웃을 혼합합니다:
- 메인 롤아웃 ( $N$ ): 질문에서 시작하는 표준 온-폴리시 롤아웃.
- Denoise 롤아웃 ( $K$ ): 약한 모델이 생성한 노이즈 접두사에서 시작하는 롤아웃.
출력 예산 공정성: 공정한 비교를 위해 전체 응답 길이는 제한됩니다. 노이즈 접두사가 토큰 예산의 일부를 소모하므로, 모델의 이어짐은 이에 상응하여 잘립니다. 역전파 중에는 정책이 생성한 토큰 (이어짐) 만이 갱신되며, 불안정을 방지하기 위해 노이즈 접두사는 손실 계산에서 마스킹됩니다.
최적화: 프레임워크는 그룹 상대 정책 최적화 (Group-Relative Policy Optimization, GRPO) 를 사용합니다. 주어진 문제에 대한 모든 $N+K$ 개의 궤적에 대해 단일 이점 기준 (advantage baseline) 이 공유됩니다. 이를 통해 복구 실패로 이어지는 경우가 많은 Denoise 롤아웃은 음의 샘플로 작용할 수 있는 반면, 성공적인 복구는 그룹에 대한 양의 학습 신호를 제공합니다.

주요 기여

새로운 RL 패러다임: 약한 모델에서 강한 모델로의 학습과 난이도 기반 데이터 합성을 통합하는 DenoiseRL 의 도입. 약한 모델의 오류를 학습 신호가 아닌 구조화된 노이즈로 재사용하여 외부 감독 없이 확장 가능한 개선을 가능하게 합니다.
향상된 자기 수정: 이 방법은 모델을 손상된 중간 상태로부터 복구하도록 명시적으로 훈련시켜, 자기 수정을 부수적인 행동에서 직접적인 학습 목표로 격상시킵니다.
실증적 검증: 논문은 DenoiseRL 이 4B 및 8B 파라미터 모델 모두에서 경쟁력 있는 수학 및 일반 추론 벤치마크 (MATH500, AMC23, AIME2024/2025, BBEH) 에서 강력한 온-폴리시 RL 베이스라인 (GRPO 및 DAPO) 보다 일관되게 우월한 성능을 보임을 입증합니다.
설계 분석: 저자들은 주요 하이퍼파라미터에 대한 상세한 분석을 제공하며, 다음을 확인했습니다:
- 접두사 비율 ( $\rho$ ): 적절한 노이즈 ( $\rho=0.2$ ) 가 최적이며, 과도한 노이즈 ( $\rho=0.8$ ) 는 "과도한 사고 (overthinking)"와 끝없는 자기 의심 루프를 유발합니다.
- 복구 강도 ( $K$ ): Denoise 롤아웃의 균형 잡힌 혼합 ( $K=4$ , 총 16 개 중) 이 가장 좋은 균형을 제공합니다. 너무 적으면 ( $K=1$ ) 신호가 부족하고, 너무 많으면 ( $K=8$ ) 처음부터 문제를 해결하는 핵심 목표에서 주의가 분산됩니다.
- 오프-폴리시 업데이트: 노이즈 접두사 토큰에 대해 정책을 업데이트하면 학습 붕괴가 발생하므로, 경사는 모델 자체의 이어짐을 통해서만 흐르도록 해야 함이 확인되었습니다.

결과

Qwen3-4B 및 Qwen3-8B 모델에서 수행된 실험은 일관된 개선을 보여줍니다:

성능 향상: DenoiseRL-GRPO 는 Qwen3-4B 의 평균 점수를 GRPO 베이스라인인 39.6% 에서 42.0% 로 향상시켰습니다. DenoiseRL-DAPO 는 8B 모델에서 전체적으로 가장 좋은 결과를 달성하여, DAPO 베이스라인인 42.8% 대비 평균 44.8% 에 도달했습니다.
벤치마크 세부 사항: AIME2024 및 AIME2025 와 같은 더 어려운 벤치마크에서 주목할 만한 향상이 관찰되었으며, 여기서 8B 모델의 DenoiseRL-DAPO 는 각각 27.0% 와 24.8% 를 기록하여 다른 모든 구성을 능가했습니다.
행동 변화: 사례 연구는 모델이 접두사에서 유용한 구조적 정보는 유지하면서 결함이 있는 논리는 폐기하여, 올바른 답을 복구하기 위해 전략을 효과적으로 전환 (예: 명시적 루트 검색에서 비에타의 정리로 전환) 하는 법을 학습함을 보여줍니다.

중요성 및 주장

본 논문은 DenoiseRL 이 LLM 의 추론 능력을 향상시키기 위한 확장 가능하고 효과적인 대안 경로를 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

의존성 감소: 비싼 데이터 선별이나 더 강력한 교사 모델의 필요성을 제거하고, 대신 모델 자신의 (그리고 약한 모델의) 실패로부터 학습하는 능력에 의존합니다.
확장성: 약한 모델의 오류를 구조화된 교란으로 변환함으로써, 새로운 데이터를 생성하지 않고도 학습 난이도를 자동으로 증가시킵니다.
견고성: 이 프레임워크는 특히 학습 난이도가 증가함에 따라 더 강력한 자기 수정 행동을 촉진하며, 복구 훈련이 단순한 성능 지표를 넘어 더 깊은 추론 역학에 영향을 미친다는 것을 시사합니다.

저자들은 모델의 실수 자체가 강력한 학습 신호의 원천이 될 수 있으며, 추론 모델에 대한 사후 학습에 대한 새로운 관점을 제공한다고 결론지었습니다. 그들은 한계를 인정하며, 복구 신호의 품질은 약한 모델 오류의 특성에 의존하며 과도한 손상은 비효율적이고 지나치게 긴 추론 궤적으로 이어질 수 있음을 지적합니다.