DRPO: Efficient Reasoning via Decoupled Reward Policy Optimization

이 논문은 강화학습 기반 대형 추론 모델의 과도한 추론 문제를 해결하기 위해 정답 샘플의 길이 기반 학습 신호를 오답 샘플과 분리하여 성능 저하 없이 추론 길이를 획기적으로 단축하는 'DRPO'라는 새로운 최적화 프레임워크를 제안합니다.

핵심

DRPO: "지나친 생각"을 멈추게 하는 지능형 비서

이 논문은 최근 화제가 되고 있는 **거대 추론 모델 **(LRM)의 한 가지 치명적인 단점을 해결하는 새로운 방법을 소개합니다.

🤔 문제: "너무 많이 생각하는" AI

최근 AI 는 복잡한 수학 문제나 코딩을 풀 때, 마치 인간이 고민하듯이 "생각의 과정 (Chain of Thought)"을 길게 늘어놓으며 답을 찾습니다. 덕분에 어려운 문제는 잘 풀지만, **매우 간단한 문제 **(예: "2 더하기 3 은?")에서도 AI 는 수천 토큰 (단어) 분량의 긴 설명을 늘어놓습니다.

• 비유: 친구가 "오늘 날씨가 어때?"라고 물었을 때, AI 는 "대기권 분석부터 시작해서..."라며 10 분 동안 기상학 강의를 하는 꼴입니다.
• 결과: 계산 비용이 너무 많이 들고, 답변이 늦게 나옵니다.

기존 연구자들은 "답이 맞으면 짧을수록 점수를 더 줘라"라고 AI 에게 가르쳤습니다. 하지만 이 방법은 AI 가 "짧게 말하면 틀릴까 봐" 두려워하게 만들어, 오히려 성능이 떨어지는 부작용을 낳았습니다.

---

💡 해결책: DRPO (분리된 보상 최적화)

이 논문은 DRPO라는 새로운 방법을 제안합니다. 핵심 아이디어는 "옳은 답"과 "틀린 답"을 완전히 분리해서 평가하는 것입니다.

🍎 사과와 오렌지 나누기 (비유)

기존 방법 (GRPO) 은 다음과 같은 문제를 겪었습니다:

• 상황: 6 명의 학생이 문제를 풀었습니다. 3 명은 정답을 냈지만 (긴 설명), 3 명은 오답을 냈습니다.
• 기존 방식: "정답 중에서도 설명이 긴 학생"에게 "짧은 정답"보다 점수를 낮게 주려고 했습니다.
• 문제: 점수 계산 방식이 "전체 학생 (정답 + 오답) 의 평균"과 비교되다 보니, 설명이 긴 정답 학생의 점수가 '오답 학생'보다도 낮아져서 마이너스 (-) 점수를 받았습니다.
• 결과: AI 는 "아, 설명을 길게 쓰면 정답이라도 감점당하는구나!"라고 오해하고, 아예 정답을 못 찾거나 엉뚱한 답을 내놓게 됩니다.

DRPO 의 방식:

• 새로운 규칙: "정답을 맞춘 학생들끼리만 점수를 비교해라. 오답 학생들과 섞지 마라."
• 효과: 설명이 긴 정답 학생은 "짧은 정답 학생"보다 점수가 조금 낮아지지만, 절대 마이너스 점수를 받지 않습니다.
• 비유: "정답을 맞춘 사람들끼리만 모여서 '누가 더 간결하게 말했나'를 경쟁하게 하고, 틀린 사람들은 그 경쟁에서 아예 제외시키는 것"입니다.

---

🚀 DRPO 가 가져온 변화

이 방법을 적용한 실험 결과는 놀라웠습니다.

1. 효율성 극대화: 15 억 개 파라미터 (1.5B) 모델이 GSM8k(초등 수학) 같은 쉬운 문제를 풀 때, 답변 길이를 77% 줄였습니다. (예: 1,000 단어를 쓰던 것을 230 단어로 줄임)
2. 성능 유지: 길이를 이렇게 줄였음에도, 정답률은 거의 떨어지지 않았습니다 (1.1% 감소).
3. 대조군과의 비교: 기존 방법들은 길이를 68% 줄였을 때 정답률이 4.3% 나 떨어졌습니다. DRPO 는 "짧게 말하되, 정확함은 지키는" 완벽한 균형을 찾았습니다.

📝 결론

DRPO 는 AI 에게 **"생각할 때는 깊이 있게, 하지만 말할 때는 간결하게"**라는 새로운 철학을 심어줍니다.

• 기존 AI: "정답을 찾으려면 무조건 길게 설명해야 해! 짧으면 틀릴 거야!" (과도한 생각)
• DRPO AI: "정답을 맞췄으면, 그중에서도 가장 간결한 설명을 골라내자. 틀린 답과 섞어서 비교하지 말고!" (효율적인 생각)

이 기술은 AI 가 더 빠르고, 저렴하며, 똑똑하게 작동할 수 있는 길을 열어주었습니다. 마치 지나친 수다를 줄이되, 핵심은 정확히 전달하는 명쾌한 비서가 된 셈입니다.

기술 요약

DRPO: 효율적 추론을 위한 분리된 보상 정책 최적화 (Decoupled Reward Policy Optimization)

이 논문은 최근 강화학습 (RL) 기반의 대형 추론 모델 (LRMs) 이 직면한 '과도한 사고 (Overthinking)' 문제를 해결하기 위해 제안된 DRPO (Decoupled Reward Policy Optimization) 프레임워크에 대한 연구입니다. ICLR 2026 에 발표된 이 논문은 효율적인 추론을 달성하면서도 모델의 정확도를 유지하는 새로운 접근법을 제시합니다.

1. 문제 정의 (Problem)

최근 GRPO(Group Relative Policy Optimization) 와 같은 강화학습 알고리즘을 기반으로 한 대형 추론 모델 (예: DeepSeek-R1) 은 복잡한 수학 및 논리 문제 해결에서 뛰어난 성능을 보여주고 있습니다. 그러나 이러한 모델들은 간단한 질문에도 불필요하게 길고 중복된 추론 경로를 생성하는 '과도한 사고 (Overthinking)' 현상을 겪고 있습니다.

• 현황: 간단한 질문 (예: "2 더하기 3 은?") 에 대해 비추론 모델은 약 10 토큰으로 답변하지만, 추론 모델은 약 1,000 토큰을 생성합니다.
• 기존 방법의 한계: 기존 연구들은 길이를 줄이기 위해 정답에 대한 보상에 길이 페널티 (Length Penalty) 를 적용했습니다. 하지만 이는 GRPO 의 그룹 상대적 이득 (Group Relative Advantage) 함수와 결합될 때 심각한 부작용을 초래합니다.
  • 핵심 원인: GRPO 는 그룹 내 모든 샘플 (정답과 오답 포함) 의 평균 보상을 기준으로 이득을 계산합니다. 길이에 따른 페널티가 적용되면, **길이가 긴 정답의 보상이 그룹 평균보다 낮아져 이득 (Advantage) 이 음수 (-)**가 되는 경우가 발생합니다.
  • 결과: 모델은 유효한 정답 (비록 길지만) 을 '부정적인 샘플'로 인식하게 되어 학습이 방해받고, 성능이 급격히 저하됩니다.

2. 제안 방법: DRPO (Methodology)

저자들은 GRPO 의 근본적인 한계를 극복하기 위해 DRPO를 제안했습니다. DRPO 의 핵심 아이디어는 **정답 (Positive) 과 오답 (Negative) 샘플의 학습 신호를 분리 (Decouple)**하는 것입니다.

2.1. 핵심 메커니즘

1. 학습 신호의 분리:

   • 기존 GRPO 는 정답과 오답을 섞어 평균을 내지만, DRPO 는 정답 그룹 내에서만 길이에 따른 보상을 정규화합니다.
   • 이를 통해 길이가 긴 정답의 보상은 줄어들 수 있지만, 절대 음수 영역으로 떨어지지 않도록 보장합니다. 즉, "효율적인 정답"은 강한 양의 신호를, "비효율적인 정답"은 약한 양의 신호를 받으며, "오답"은 억제됩니다.

2. 분별적 최적화 프레임워크 (Discriminative Framework) 기반:

   • DRPO 는 최근 제안된 DisCO (Discriminative Constrained Policy Optimization) 프레임워크를 기반으로 합니다.
   • 목적 함수는 정답의 생성 확률을 높이고 오답의 생성 확률을 낮추는 분별적 (Discriminative) 목적을 따릅니다.

3. 최적화된 긍정 데이터 분포 도출:

   • 길이 보상을 최대화하는 이상적인 정답 데이터 분포 ($P^*_q$) 를 KL 정규화 하에서 수학적으로 유도했습니다.
   • 폐쇄형 해 (Closed-form Solution): 이 분포는 다음과 같은 폐쇄형 해를 가집니다.
     $$P^*_q(o) = \frac{\pi^+_{old}(o|q) \exp(r_l(o)/\lambda)}{\mathbb{E}_{o \sim \pi^+_{old}}[\exp(r_l(o)/\lambda)]}$$
     여기서 $r_l(o)$는 길이 보상, $\lambda$는 정규화 파라미터입니다.
   • 이 수식을 목적 함수에 대입하면, 추가 데이터 수집 없이 온-폴리시 (On-policy) 데이터와 중요도 샘플링 (Importance Weighting) 만으로 효율적으로 목적 함수와 그라디언트를 계산할 수 있게 됩니다.

3. 주요 기여 (Key Contributions)

1. GRPO 의 근본적 결함 규명: 널리 사용되는 GRPO 프레임워크가 '정확성 - 길이' 복합 보상을 처리할 때 학습 신호를 왜곡하여 오히려 학습을 해친다는 것을 최초로 진단했습니다.
2. DRPO 프레임워크 제안: 정답과 오답의 학습 신호를 분리하여, 다중 보상 (정확성 + 효율성) 최적화 시 일관되고 오염되지 않은 정책 그라디언트를 제공합니다.
3. 수학적 유도 및 효율성: KL 정규화 하에서 보상 최대화 분포에 대한 폐쇄형 해를 유도하여, 추가 데이터 수집 없이 온-폴리시 데이터만으로 실용적인 알고리즘을 구현했습니다.
4. 범용성: 이 수식은 길이 외에도 과정 보상 (Process Rewards) 이나 다른 선호도 보상을 긍정 데이터에 통합할 수 있도록 일반화되어 있습니다.

4. 실험 결과 (Results)

수학적 추론 작업 (GSM8k, MATH-500, OlympiadBench, AIME 등) 에서 DRPO 는 6 가지 최신 효율적 추론 베이스라인 (RLOO-LP, ALP, HAPO 등) 과 비교 평가되었습니다.

• 성능 - 효율성 트레이드오프:
  • 1.5B 모델: GSM8k(쉬운 문제) 에서 길이 77% 단축을 달성하면서도 성능 저하는 **1.1%**에 불과했습니다.
  • 비교: 기존 베이스라인 (예: ALP) 은 68% 길이 단축을 위해 4.3% 의 성능 손실을 겪었습니다.
  • 7B 모델: 추론 길이를 3,053 에서 1,502 로 51% 줄였을 때 성능 손실은 2.6% 에 그쳤습니다.
• 정확도 - 효율성 점수 (AES):
  • 대부분의 베이스라인은 길이 단축 시 성능 저하로 인해 음수 (Negative) AES 점수를 기록했습니다.
  • 반면, DRPO 는 모든 모델 크기 (1.5B, 7B, 8B) 에서 양수 (Positive) AES 점수를 기록하여, 효율성을 높이면서도 성능을 유지하거나 향상시켰음을 증명했습니다.
• 학습 동역학: DRPO 는 $\lambda$ 파라미터를 조절하여 길이와 정확도 사이의 균형을 유연하게 제어할 수 있으며, 훈련 초기부터 긴 응답을 빠르게 줄이는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 RL 기반 추론 모델의 '과도한 사고' 문제를 해결하는 데 있어 기존 방법론이 가진 구조적 한계를 명확히 지적하고, 이를 수학적으로 엄밀하게 해결하는 새로운 패러다임을 제시했습니다.

• 실용적 가치: 계산 비용과 응답 지연 시간을 획기적으로 줄이면서도 모델의 추론 능력을 유지할 수 있어, 실제 서비스 환경에서의 LLM 배포에 매우 중요합니다.
• 이론적 확장: 단순한 길이 제약을 넘어, 과정 보상 (Process Reward) 이나 다른 선호도 기반 보안을 통합할 수 있는 일반적인 프레임워크를 제공함으로써 향후 연구의 방향성을 제시합니다.
• 결론: DRPO 는 효율적인 추론을 위한 새로운 표준이 될 수 있으며, 특히 작은 모델 (1.5B) 에서도 큰 모델에 버금가는 효율성을 달성할 수 있음을 보여주었습니다.

요약하자면, DRPO 는 "길이가 긴 정답을 오답처럼 취급하는" 기존 RL 의 오류를 수정하고, 정답 내부에서만 효율성을 최적화함으로써 효율성과 정확도의 완벽한 균형을 이룬 획기적인 방법론입니다.