🤖 machine learning

Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification

이 논문은 강화 학습 기반 추론에서 방해가 되는 프롬프트 토큰을 식별하고 제거하여 효율성을 높이는 'LENS' 프레임워크를 제안하며, 이를 통해 기존 GRPO 대비 수학 및 과학 추론 성능과 수렴 속도를 크게 향상시켰음을 보여줍니다.

원저자: Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiju Guo, Tianyi Hu, Zexu Sun, Yankai Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification"**이라는 제목의 연구로, 한국어로 쉽게 풀어서 설명해 드리겠습니다.

🎧 핵심 비유: "시끄러운 라디오를 청정 모드로 바꾸기"

이 연구의 핵심 아이디어를 한 마디로 요약하면, **"AI 가 문제를 풀 때 방해가 되는 '잡음'을 제거하면 훨씬 더 똑똑해진다"**는 것입니다.

지금까지 AI(대형 언어 모델) 가 수학이나 논리 문제를 풀려고 할 때, 실패하는 이유는 대부분 "문제가 너무 어려워서"가 아니라, **"문제 지문에 섞여 있는 헷갈리는 단어 (잡음) 때문"**이라는 놀라운 사실을 발견했습니다.

🧐 문제 상황: 왜 AI 는 자꾸 틀릴까?

AI 를 학습시키는 방법 중 하나인 '강화 학습 (RL)'은 AI 가 문제를 여러 번 풀고, 정답을 맞출 때마다 칭찬 (보상) 을 주는 방식입니다. 하지만 복잡한 문제에서는 AI 가 정답을 맞추기까지 수많은 시도를 해야 합니다.

기존 연구들은 "시도를 더 많이 해보자 (더 많은 돈과 시간을 써보자)"거나 "실패한 문제는 아예 제외하자"는 접근을 했습니다. 하지만 이 논문은 **"아니요, 문제는 시도 횟수가 아니라 문제 지문 자체에 숨겨진 '방해꾼' 때문입니다"**라고 말합니다.

비유: 마치 라디오를 듣는데, 정답을 알려주는 목소리 대신 "으악, 소음!", "이건 틀렸어!" 같은 잡음이 섞여 있다면, 아무리 라디오를 크게 해도 소리가 들리지 않는 것과 같습니다.

💡 해결책: LENS (Less Noise Sampling Framework)

저자들은 이 문제를 해결하기 위해 **LENS(렌즈)**라는 새로운 방법을 개발했습니다. 렌즈처럼 잡음을 걸러내고 진짜 목소리만 듣게 해주는 장치죠.

LENS 는 두 단계로 작동합니다:

1 단계: 방해꾼 찾기 (잡음 제거)

AI 가 문제를 풀다가 실패했을 때, 그 실패 원인을 분석합니다.

방해꾼 (Interference Token): 문제 지문 속에 섞여 있어 AI 를 혼란스럽게 만드는 몇 개의 단어 (토큰) 를 찾아냅니다. 보통 전체 단어의 5% 미만이 이런 역할을 합니다.
청소: 이 방해꾼 단어들을 지문에서 지워버립니다. (예: "어떤 숫자가 3 을 곱하면 12 가 되는데, 아이고 머리가 아파 4 가 될까요?" → '아이고 머리가 아파'를 지우면)

2 단계: 깨끗한 답으로 배우기 (교차 학습)

지문을 깨끗하게 정리한 뒤, AI 에게 다시 문제를 풀게 합니다.

성공 경험: 깨끗한 지문에서 AI 가 정답을 맞췄다면, 그 '성공 경험'을 기록합니다.
원래 지문으로 적용: 이제 AI 에게 "너가 깨끗한 지문에서 정답을 맞췄잖아? 원래 지문 (잡음이 섞인 것) 을 봐도 그걸 기억해서 정답을 맞춰봐!"라고 가르칩니다.
결과: AI 는 잡음이 섞인 원래 문제에서도 "아, 저 방해꾼 단어는 무시하고 핵심만 봐야겠다"라고 배우게 됩니다.

🚀 성과: 왜 이것이 중요한가?

이 방법을 적용한 결과, 기존 방식 (GRPO) 보다 훨씬 뛰어난 성과를 보였습니다.

더 빠른 학습: 같은 시간 안에 더 많은 것을 배웠습니다. (약 1.6 배 빠른 속도)
더 높은 정확도: 수학 문제 풀이 정확도가 평균 3.88% 향상되었고, 과학이나 일반 논리 문제에서도 1.83% 향상되었습니다.
비용 절감: 더 많은 컴퓨터 자원을 쓰는 대신, '질 좋은 학습'을 통해 효율을 높였습니다.

🌟 한 줄 요약

이 연구는 **"AI 를 더 똑똑하게 만드는 비법은 더 많은 문제를 푸는 게 아니라, 문제를 풀 때 방해가 되는 '잡음'을 찾아내어 제거하고, 그 깨끗한 상태에서 성공한 경험을 원래 문제로 옮겨 배우는 것"**임을 증명했습니다.

마치 시끄러운 카페에서 공부할 때, 귀마개를 하고 집중하면 훨씬 더 잘 공부할 수 있는 것과 같은 원리입니다. 이제 AI 도 잡음 없는 환경에서 자신의 '목소리 (추론 능력)'를 더 잘 낼 수 있게 되었습니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 검증 가능한 보상을 활용한 강화 학습 (RLVR, 예: GRPO) 이 널리 사용되고 있습니다. 그러나 복잡한 추론 작업에서 RLVR 은 다음과 같은 근본적인 한계에 직면해 있습니다.

비효율적인 탐색 (Inefficient Exploration): 제한된 롤아웃 (rollout) 예산 하에서 정답을 찾는 시도가 실패하는 경우가 많습니다.
희소 보상 (Reward Sparsity): 긴 시간의 의사결정과 지연된 이진 (Binary) 피드백으로 인해 정답 샘플이 극히 드뭅니다.
기존 접근법의 한계:
- 탐색 확장 (Scaling Exploration): 롤아웃 수를 늘리는 것은 계산 비용만 증가시킬 뿐 효율성을 높이지 못합니다.
- 프롬프트 필터링 (Prompt Filtering): 실패 확률이 높은 프롬프트를 아예 제거하면 모델이 어려운 문제를 해결할 기회를 잃게 됩니다.
핵심 발견: 저자들은 많은 실패가 문제의 난이도 때문이 아니라, 소수의 '간섭 토큰 (Interference Tokens)' 이 프롬프트에 포함되어 모델을 혼란스럽게 하기 때문임을 발견했습니다. 이러한 토큰들은 모델의 학습 신호를 왜곡시키고 탐색을 방해합니다.

2. 방법론 (Methodology: LENS Framework)

저자는 LENS (Less Noise Sampling Framework) 을 제안하여, 간섭 토큰을 식별하고 제거함으로써 학습 효율성을 극대화합니다. LENS 는 두 가지 주요 단계로 구성됩니다.

2.1 간섭 토큰 식별 및 정제 (Interference Token Identification and Purification)

간섭 점수 (Interference Score) 정의: 현재 정책 ( $\pi_\theta$ ) 과 참조 모델 ( $\pi_{ref}$ ) 간의 토큰 수준 편차를 측정합니다.
$S_I(s, a) = |\log \pi_\theta(a | s) - \log \pi_{ref}(a | s)|$
이 값이 큰 토큰은 참조 분포에서 크게 벗어나 있어 노이즈나 과도한 최적화 (over-optimization) 를 유발하는 '간섭 토큰'으로 간주됩니다.
프롬프트 정제: 낮은 성공률을 가진 프롬프트에서 간섭 점수가 높은 토큰 (전체 토큰의 약 1~5%) 을 식별하여 제거합니다. 이를 통해 원래의 의미는 유지하되, 모델이 올바른 추론을 할 수 있는 '청정 (Denoised)' 프롬프트를 생성합니다.

2.2 보정된 롤아웃 정책 최적화 (Calibrated Rollout Policy Optimization, CRPO)

단순히 간섭 토큰을 제거하는 것만으로는 부족할 수 있으므로, 학습 신호의 전이 (Transfer) 를 통해 원래의 노이즈가 있는 프롬프트에서도 학습하도록 합니다.

샘플 재가중치 (Sample Reweighting):
1. 원래 프롬프트 ( $x_i$ ) 로부터 롤아웃을 수행합니다.
2. 성공률이 임계값 ( $\tau$ ) 미만일 경우, 정제된 프롬프트 ( $x'_i$ ) 로 다시 롤아웃을 수행합니다.
3. 정제된 프롬프트에서 성공한 샘플 ( $P_i$ ) 을 확보하면, 이를 원래 프롬프트의 실패 샘플 ( $Y^-_i$ ) 일부를 대체하는 데 사용합니다.
목적 함수: 원래 프롬프트와 정제된 프롬프트 간의 분포 불일치를 보정하기 위해 중요도 비율 (Importance Ratio) 을 적용한 PPO 스타일의 목적 함수를 최적화합니다. 이를 통해 모델은 노이즈가 있는 실제 환경에서도 간섭을 무시하고 올바른 추론을 학습하게 됩니다.

3. 주요 기여 (Key Contributions)

새로운 통찰: RLVR 실패의 주원인이 문제 난이도가 아닌 '간섭 토큰'에 있음을 발견하고, 이를 제거함으로써 성공률을 획기적으로 높일 수 있음을 증명했습니다.
LENS 프레임워크 제안: 간섭 토큰을 식별하여 프롬프트를 정제하고, 이를 통해 얻은 고품질 학습 신호를 원래의 노이즈가 있는 프롬프트 최적화에 전이하는 새로운 온라인 선택적 롤아웃 프레임워크를 개발했습니다.
효율성과 성능의 동시 달성: 추가적인 계산 비용 (롤아웃 수 증가) 없이도 기존 방법론보다 높은 성능과 빠른 수렴을 달성했습니다.

4. 실험 결과 (Results)

다양한 모델 (Qwen2.5, Qwen3, Llama3.2) 과 벤치마크 (수학, 과학, 일반 추론) 에서 실험이 수행되었습니다.

수학 추론 성능: 7 개의 수학 추론 벤치마크에서 GRPO 대비 평균 3.88% 의 성능 향상을 기록했습니다.
학습 효율성: 동일한 성능에 도달하는 데 필요한 그래디언트 스텝 수를 1.6 배 이상 단축했습니다 (약 1.67 배 빠른 수렴).
범용성: 수학 데이터로만 학습되었음에도 과학 추론 (SuperGPQA, GPQA-Diamond) 및 일반 복잡한 추론 (BBEH, MMLU-Pro) 에서 평균 1.83% 의 성능 향상을 보이며 과적합되지 않고 일반화 능력을 입증했습니다.
기타 비교: 롤아웃 수를 늘린 GRPOextended 나 프롬프트 필터링 기반의 DAPO, GRESO 보다 더 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 RLVR 연구에 다음과 같은 중요한 시사점을 제공합니다:

새로운 관점: 복잡한 추론 문제에서 '노이즈 제거 (Pruning Interference Tokens)'가 샘플 효율성을 높이는 핵심 열쇠임을 밝혔습니다.
비용 효율성: 계산 자원을 추가로 투입하는 대신, 기존 데이터의 질을 높이는 '지능적인 정제'를 통해 모델의 학습 능력을 극대화하는 새로운 패러다임을 제시했습니다.
실용성: 실제 세계의 불완전하고 노이즈가 많은 프롬프트 환경에서도 모델이 강건하게 추론할 수 있도록 하는 방법을 제공하여, RL 기반 LLM 의 실용성을 높였습니다.

요약하자면, LENS는 모델이 혼란스러운 프롬프트에서 핵심 정보를 파악하고 간섭을 제거하도록 돕는 메커니즘을 통해, 더 적은 노력으로 더 높은 추론 능력을 달성하는 혁신적인 강화 학습 프레임워크입니다.