기술 요약: 변환 증강 GRPO (TA-GRPO)

문제 제기

그룹 상대적 정책 최적화 (GRPO) 는 대규모 언어 모델 (LLM) 에서 검증 가능한 보상을 활용한 강화 학습 (RLVR) 을 위한 주류 방법으로 부상했으며, 특히 복잡한 추론 작업에서 두각을 나타내고 있습니다. 그러나 해당 논문은 효과적인 탐색을 방해하는 표준 GRPO 의 두 가지 치명적인 구조적 한계를 지적합니다:

1. 기울기 소실 (Gradient Vanishing): 학습 질문이 너무 쉬워 (모든 샘플링된 응답이 정답) 혹은 너무 어려워 (모든 응답이 오답) 인식될 때, $G$개의 응답 그룹은 동일한 보상을 받습니다. 결과적으로 보상 표준편차가 0 이 되어 이득 (advantage) 이 0 이 되며, 모델 업데이트를 위한 기울기 신호가 소실됩니다. 동적 샘플링 (DAPO) 은 이러한 질문을 제거함으로써 이를 완화하려 시도하지만, 이는 상당한 데이터 낭비로 이어집니다.
2. 다양성 붕괴 (Diversity Collapse): 모델은 $G$개의 샘플링된 응답 전반에 걸쳐 단일 추론 패턴으로 수렴하는 경향이 있습니다. LLM 의 방대한 행동 공간으로 인해 고전적인 엔트로피 정규화는 이를 방지하지 못합니다. 정책이 좁은 범위의 추론 궤적에 집중하게 되면, 샘플링 분포도 이러한 집중을 물려받아 목적 함수가 지원 범위 (support) 를 넓히는 것을 보상할 메커니즘이 부재하게 되며, 이로 인해 탐색 가능한 해 공간이 단조롭게 축소됩니다.

기존 GRPO 개선 방안들은 종종 이러한 문제들을 부분적으로 해결하거나 데이터를 폐기하는 방식에 의존할 뿐, 최적화 프레임워크 내에서 근본 원인을 공동으로 해결하지는 못합니다.

방법론: 변환 증강 GRPO (TA-GRPO)

저자들은 **질문 재구성 (question rephrasing)**을 통해 기울기 소실과 다양성 붕괴 모두를 해결하는 정책 최적화 방법인 TA-GRPO 를 제안합니다. 핵심 통찰은 언어적 교란 (문구, 형식, 정보 순서의 변경) 이 모델이 인식하는 난이도를 변화시키고 근본적인 문제의 의미는 유지한 채 고유한 해결 전략을 유도할 수 있다는 점입니다.

TA-GRPO 파이프라인은 표준 GRPO 과정을 다음과 같이 수정합니다:

1. 질문 변환: 각 원본 학습 질문 $q_0$에 대해 시스템은 GPT-4-Turbo 를 사용하여 $N$개의 문제 동등 재구성 $\{q_n\}_{n=1}^N$(이를 "이웃"이라 함) 을 자동으로 생성합니다. 이러한 재구성은 근본적인 의미는 유지하지만 표면적 형태는 변경합니다.
2. 확장된 응답 그룹: $q_0$에 대해서만 $G$개의 응답을 샘플링하는 대신, 모델은 원본 질문에 대해 $G$개의 응답을 샘플링하고 $N$개의 이웃 각각에 대해서도 $G$개의 응답을 샘플링합니다. 이는 $(N+1) \times G$개의 응답으로 구성된 확장된 그룹을 생성합니다.
3. 공동 이득 계산: 이득 (Advantages) 은 각 재구성에 대해 별도로 정규화하는 대신, 전체 확장된 $(N+1) \times G$개의 응답 집합에 대해 그룹 상대적 정규화를 통해 계산됩니다.
   • 기울기 소실 완화: 원본 질문이 균일한 보상을 산출하더라도, 재구성된 이웃들은 인식된 난이도의 변화로 인해 종종 혼합된 보상 (일부는 정답, 일부는 오답) 을 산출합니다. 공동 정규화는 표준편차가 0 이 아니도록 보장하여 기울기 신호를 유지합니다.
   • 다양성 붕괴 완화: 다양한 재구성은 동일한 그룹 내에서 서로 다른 추론 패턴을 유발하여 정책이 단일 모드로 붕괴하는 것을 방지합니다.
4. 고정된 중요도 비율: 모델이 원본 질문을 해결하도록 학습하기 위해, 특정 응답을 생성한 재구성이 ($q_n$) 무엇이든 모든 중요도 비율은 원본 질문 $q_0$에 조건부로 설정됩니다. 이는 문제 동등 재구성이 유사한 추론 궤적을 산출한다는 가정 하에, 재구성을 $q_0$에 대한 대리 샘플링 분포로 간주하는 것입니다.

목적 함수는 확장된 그룹에 대한 클리핑된 대리 손실 (clipped surrogate loss) 을 최대화하며, 이득은 공동 정규화에서 유도되고 중요도 비율은 원본 프롬프트에 고정됩니다.

주요 기여

논문은 네 가지 주요 기여를 제시합니다:

• 간과된 문제의 식별: 기존 GRPO 개선 방안들이 종종 이를 별도로 해결하거나 데이터 필터링을 통해 처리하는 반면, 기울기 소실과 다양성 붕괴가 크게 간과되고 있음을 강조합니다.
• TA-GRPO 알고리즘: 질문과 그 재구성된 이웃 간의 응답을 풀링하고, 공동 이득을 계산하며, 업데이트를 원본 질문에 고정함으로써 두 가지 문제를 동시에 해결하는 간단한 확장입니다.
• 실증적 효과성: 네 가지 LLM(Qwen3-1.7B/4B, Llama-3.2-1B/3B) 에 대한 광범위한 실험을 통해 경쟁 수준 벤치마크 (AMC, OlympiadBench, AIME24/25) 와 분포 외 벤치마크 (Minerva, GPQA-Diamond) 모두에서 pass@k 일관된 개선을 입증했습니다.
• 데이터 효율성: TA-GRPO 는 추가적인 고품질 학습 데이터 수집 없이 2.5 배 더 많은 데이터로 학습된 베이스라인과 비교 가능한 성능을 달성하여, 데이터 확장 대안으로서 경제적 가치를 제공합니다.

실험 결과

저자들은 MATH 데이터셋 (7,498 개 질문) 을 학습 세트로 사용하여 TA-GRPO 를 평가했습니다.

• 학습 신호 진단: 학습 체크포인트 분석 결과, 표준 GRPO 는 학습이 진행됨에 따라 기울기 소실 (93.2% 의 질문이 균일한 보상을 산출) 과 다양성 붕괴 (집중된 임베딩 거리) 로 점차 고통받는 반면, TA-GRPO 는 학습 전반에 걸쳐 혼합된 보상과 다양한 추론 경로의 안정적인 마진을 유지했습니다.
• 성능 향상:
  • 경쟁 수준 벤치마크에서 TA-GRPO 는 Qwen3-1.7B 와 Qwen3-4B 에 대해 평균 pass@32 를 각각 5.09점과 5.01점 향상시켰으며, Llama-3.2-1B 와 Llama-3.2-3B 에 대해서는 3.50점과 5.25점 향상시켰습니다.
  • 주목할 만한 최고 향상치는 AIME24 에서 Qwen3-4B 기준 +9.98, GPQA-Diamond 에서 Qwen3-1.7B 기준 +8.58이었습니다.
• 대조 실험:
  • 매칭 샘플링: 재구성 없이 TA-GRPO 의 예산과 일치하도록 샘플링된 응답 총수만 증가시킨 베이스라인과 비교했을 때, TA-GRPO 는 여전히 명확한 마진을 유지했습니다 (예: Qwen3-4B 의 AIME24 에서 +6.86). 이는 성취가 단순히 샘플 크기가 아닌 샘플링 공간의 다양성과 공동 정규화에서 비롯됨을 확인시켜 줍니다.
  • 데이터 확장: 1 배 데이터로 학습된 TA-GRPO 는 2.5 배 데이터로 학습된 GRPO 베이스라인과 동등한 성능을 달성하여 상당한 데이터 효율성을 입증했습니다.

의의 및 주장

논문은 TA-GRPO 를 RL 사후 학습의 패러다임을 전환하는 방법으로 위치시킵니다. 이전 연구들이 손실 함수나 보상 축을 최적화하는 데 집중했다면, TA-GRPO 는 탐색을 강화하기 위한 세 번째 레버로 입력 분포를 도입합니다. 문제 동등 재구성을 활용함으로써, 이 방법은 데이터를 폐기하거나 엔트로피 정규화에 의존하지 않고도 모델이 더 풍부한 해결 시도 집합에서 학습할 수 있게 합니다. 저자들은 이 접근 방식이 데이터 수집이 비용이 많이 들거나 표준 GRPO 가 충분한 기울기 신호를 제공하지 못하는 시나리오에서 LLM 의 추론 능력을 향상시키기 위한 견고하고 데이터 효율적인 경로라고 주장합니다.