DRA-GRPO: Your GRPO Needs to Know Diverse Reasoning Paths for Mathematical Reasoning

이 논문은 수학 추론을 위한 GRPO 의 성능을 향상시키기 위해, 유사한 추론 경로에 대한 보상을 보정하여 다양성을 확보하는 '다양성 인식 보상 조정 (DRA)' 프레임워크를 제안하고, 이를 통해 적은 데이터와 비용으로도 강력한 성능을 달성했음을 보여줍니다.

핵심

🧠 핵심 비유: "똑같은 점수를 받은 두 학생"

상상해 보세요. 수학 시험에서 두 학생이 정답을 맞췄습니다.

• 학생 A: 문제를 풀면서 "어? 이거 저거 같네? 아, 아니야. 다시 생각해 보자. 오! 맞았다!"라고 혼잣말을 하며 실수하고 수정하는 과정을 길게 적었습니다. (탐구형)
• 학생 B: 처음부터 끝까지 완벽한 공식과 논리로 깔끔하게 풀어서 정답을 냈습니다. (직관형)

기존의 AI 학습 방식 (GRPO) 은 **정답이 맞으면 두 학생 모두에게 똑같은 '만점'**을 줍니다.
하지만 여기서 문제가 생깁니다. AI 는 "어떤 방식이든 정답만 나오면 OK"라고 생각하게 되어, 가장 쉽게, 가장 많이 나오는 방식 (학생 B 스타일) 만 반복해서 배우게 됩니다.

이런 현상을 논문에서는 **"다양성과 품질의 불일치 (Diversity-Quality Inconsistency)"**라고 부릅니다.

비유: 마치 선생님이 "정답만 맞으면 뭐든 다 100 점"이라고 해서, 학생들은 창의적인 사고를 멈추고 가장 쉬운 길 (암기) 만 반복하게 되는 것과 같습니다. 결국 AI 는 다양한 해결책을 찾아내는 능력을 잃어버리고, 한 가지 방식에 갇히게 됩니다.

---

🚀 이 논문이 제안한 해결책: "DRA-GRPO"

이 논문은 **"정답이 맞더라도, 남들과 다르게 독특한 사고를 한 AI 에게는 더 큰 점수를 주자!"**라고 제안합니다.

이를 위해 DRA-GRPO라는 새로운 방법을 개발했습니다.

1. "복제된 답"은 점수를 깎고, "새로운 답"은 점수를 올려라!

AI 가 같은 문제를 풀 때 여러 가지 답안 (생각의 경로) 을 만들어낸다고 가정해 봅시다.

• 만약 10 개의 답안 중 9 개가 서로 매우 비슷하다면 (중복)? → 그 답들은 점수를 조금 깎아줍니다. (왜? 이미 많이 배웠으니까.)
• 만약 10 개 중 1 개는 완전히 새로운 방식으로 문제를 풀었다면? → 그 답은 점수를 더 올려줍니다. (왜? 이건 새로운 지식이니까!)

2. 어떻게 구분할까? (SMI 기술)

AI 가 쓴 글이 서로 얼마나 비슷한지, 혹은 얼마나 독특한지를 수학적으로 계산하는 기술 (서브모듈러 상호정보량, SMI) 을 사용합니다.

• 비유: 마치 도서관 사서가 책을 정리할 때, "이미 책장에 100 권이나 있는 똑같은 책"은 덜 중요하게 여기고, **"아직 책장에 없는 희귀한 책"**은 더 귀하게 여기는 것과 같습니다.

---

💡 왜 이것이 중요한가? (결과)

이 방법을 적용한 AI 는 다음과 같은 변화를 겪습니다.

1. 다양한 사고방식 확보: AI 는 정답을 내기 위해 단 하나의 길만 고집하지 않고, 다양한 각도에서 문제를 바라보게 됩니다.
2. 적은 데이터로 더 큰 효과: 기존에는 엄청난 양의 데이터와 비용이 들었지만, 이 방법은 **적은 데이터 (7,000 개)**로도 기존 최고의 모델들보다 더 좋은 성적을 냈습니다.
   • 비유: "많은 양의 밥을 억지로 먹이는 것보다, 영양가 높은 특별한 식단을 먹여야 건강이 좋아진다"는 것과 같습니다.
3. 비용 절감: 학습에 드는 비용이 매우 저렴해졌습니다. (약 55 달러, 즉 커피 몇 잔 값!)

---

📝 한 줄 요약

**"정답이 맞으면 무조건 칭찬하는 게 아니라, '어떻게' 그 정답에 도달했는지 (사고의 다양성) 를 평가해 주는 새로운 AI 학습법"**을 개발했습니다.

이 방법은 AI 가 단순한 암기 기계가 아니라, 창의적인 문제 해결사로 성장하도록 돕는 핵심 열쇠입니다. 마치 학생들에게 "정답만 맞으면 100 점"이 아니라, **"독창적인 풀이법을 찾으면 보너스 점수"**를 주는 시스템을 도입한 것과 같습니다.

기술 요약

1. 문제 정의: 다양성 - 품질 불일치 (Diversity-Quality Inconsistency)

최근 대규모 언어 모델 (LLM) 의 수학적 추론 능력을 향상시키기 위해 그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO) 가 새로운 표준으로 자리 잡았습니다. 그러나 기존 GRPO 는 다음과 같은 근본적인 한계를 가지고 있습니다.

• 스칼라 보상 (Scalar Reward) 의 비단사성 (Non-injective): 기존 방법은 정답 여부 (Correctness) 만을 기반으로 이진 또는 스칼라 보상을 부여합니다. 즉, 정답에 도달하는 서로 다른 추론 경로 (Reasoning Paths) 가 모두 동일한 높은 보상을 받습니다.
• 모드 붕괴 (Mode Collapse): 보상 신호가 의미적 내용 (Semantic Content) 을 구분하지 못하기 때문에, 모델은 생성하기 쉬운 '주류 모드 (Dominant Mode)'로만 확률 질량이 집중되는 경향이 있습니다. 이는 다양한 논리적 구조를 가진 유효한 해법들을 무시하게 만듭니다.
• 탐색 - 활용의 불균형: 모델은 정답이라는 결과에만 집중하여, 정답에 도달하는 과정의 다양성 (예: 직관적 발견 vs 체계적 검증) 을 학습하지 못합니다. 이는 데이터 효율성이 낮은 환경에서 최적의 정책 수렴을 방해합니다.

2. 방법론: 다양성 인식 보상 조정 (DRA-GRPO)

저자들은 이 문제를 해결하기 위해 다양성 인식 보상 조정 (Diversity-aware Reward Adjustment, DRA) 프레임워크를 제안합니다. 이 방법은 GRPO 의 보상을 재조정하여 의미적 중복을 억제하고 새로운 추론 경로를 장려합니다.

핵심 메커니즘

1. 서브모듈러 상호 정보 (Submodular Mutual Information, SMI) 활용:

   • 그룹 내에서 샘플링된 각 응답 ($o_i$) 과 나머지 응답들 ($C \setminus \{o_i\}$) 간의 상호 정보량을 계산합니다.
   • 이를 위해 그래프 컷 (Graph-Cut) 함수를 기반으로 한 유사도 커널을 사용하여 SMI 를 구현합니다.
   • $SMI(\{o_i\}, C \setminus \{o_i\}) = \sum_{j \in C \setminus \{o_i\}} s(o_i, j)$
   • 여기서 $s(\cdot, \cdot)$는 임베딩 모델 (예: Jina Embeddings) 을 통해 계산된 코사인 유사도입니다.

2. 역적성도 점수 (Inverse Propensity Scoring, IPS) 구현:

   • 기존 보상을 SMI 값으로 조정하여 중복된 (Redundant) 응답은 보상을 낮추고, 독창적인 (Novel) 응답은 보상을 높이는 가중치를 부여합니다.
   • 조정된 보상 공식:
     $$\tilde{R}(q, o_i) = \frac{R(q, o_i)}{1 + SMI(\{o_i\}, C \setminus \{o_i\})}$$
   • 이는 모델이 생성한 분포의 밀도 (Density) 를 추정하여 편향을 보정하는 Kernel Density Estimator (KDE) 역할을 하며, 그래디언트 추정을 편향 없이 (De-biased) 만듭니다.

3. 계산 효율성:

   • SMI 계산은 $O(G^2)$ 복잡도를 가지며 (여기서 $G$는 그룹 크기), PyTorch 텐서 연산을 통해 효율적으로 구현됩니다. 이는 다른 다양성 기반 방법 (예: Logdet SMI 의 $O(G^3)$) 에 비해 확장성이 뛰어납니다.

3. 주요 기여 (Key Contributions)

1. 이론적 근거: 기존 GRPO 의 한계를 '샘플링 편향 (Sampling Bias)' 문제로 정의하고, DRA 가 IPS 를 통해 이 편향을 보정하여 고보상 영역의 전체 지지 (Support) 를 탐색하도록 유도함을 이론적으로 증명했습니다.
2. 플러그 - 앤 - 플레이 (Plug-and-Play) 아키텍처: DRA 는 기존 GRPO 나 DR. GRPO 와 호환되며, 별도의 추가 학습 단계나 복잡한 구조 변경 없이 보상 신호 단계에서 즉시 적용 가능합니다.
3. 데이터 효율성 증대: 소량의 데이터로도 강력한 성능을 발휘함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 5 가지 수학 추론 벤치마크 (AIME24, MATH-500, AMC23, Minerva, OlympiadBench) 에서 실험을 수행했습니다.

• 성능 향상:
  • DeepSeek-R1-Distill-Qwen-1.5B 모델을 기반으로 한 실험에서, DRA-DR. GRPO는 평균 정확도 **58.2%**를 기록했습니다.
  • 이는 기존 최첨단 모델인 DeepScaleR-1.5B-Preview (57.0%) 를 능가하며, 특히 AMC23 (85.0%) 및 OlympiadBench (53.8%) 에서 높은 점수를 기록했습니다.
  • DR. GRPO만 사용한 경우 (56.0%) 대비 2.2%p의 성능 향상을 보였습니다.
• 데이터 효율성:
  • 약 7,000 개의 학습 샘플만으로 위와 같은 성과를 거두었습니다. (기존 DeepScaleR 은 약 40,000 개 샘플 사용).
  • 학습 비용은 약 55 달러 (4xA100 GPU, 12.5 시간) 로 매우 경제적입니다.
• 범용성:
  • Qwen3-4B와 같은 더 강력한 모델에서도 일관된 성능 향상 (약 0.8~0.9%p) 을 확인하여 모델 크기에 구애받지 않는 효과를 입증했습니다.
• 다양성 모델링의 중요성:
  • 다양한 임베딩 모델 (Jina, Nomic) 을 사용해도 성능 향상이 유지되어, 방법론이 특정 임베딩 공간에 의존하지 않음을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 강화학습 (RL) 기반 정렬 과정에서 보상 신호의 '질 (Quality)'뿐만 아니라 '다양성 (Diversity)'을 명시적으로 고려해야 함을 강조합니다.

• 탐색의 체계화: 기존 GRPO 가 무작위성 (Temperature 등) 에 의존한 탐색을 수행했다면, DRA-GRPO 는 **구조화된 '반발력 (Repulsive Force)'**을 통해 모델이 의미적으로 중복되지 않는 고보상 영역을 체계적으로 탐색하도록 유도합니다.
• 자원 제약 환경 해결: 제한된 샘플 수와 컴퓨팅 자원 하에서도 모델이 다양한 추론 전략을 학습할 수 있게 하여, 데이터 효율적인 정렬 (Data-efficient Alignment) 의 새로운 패러다임을 제시합니다.
• 미래 방향: 단순한 정답 맞추기를 넘어, 모델이 다양한 논리적 경로를 이해하고 생성할 수 있도록 하는 것은 복잡한 추론 작업에서 모델의 견고성 (Robustness) 을 높이는 핵심 요소임을 시사합니다.

요약하자면, DRA-GRPO는 수학적 추론에서 발생하는 '다양성 - 품질 불일치' 문제를 해결하기 위해, **서브모듈러 상호 정보 (SMI)**를 기반으로 보상을 재조정함으로써 모델이 더 넓은 해 공간 (Solution Space) 을 탐색하도록 유도하는 혁신적인 방법론입니다.