기술 요약: 잡음 보정 GRPO: 잡음 있는 보상에서 편향 없는 기울기로

1. 문제 제기

이 논문은 수학 및 프로그래밍과 같은 엄격한 분야에서 대규모 언어 모델 (LLM) 정렬을 위해 점점 더 많이 사용되는 검증 가능 보상 강화 학습 (RLVR) 패러다임의 치명적인 취약점을 다룹니다. RLVR 은 주관적인 인간 피드백을 자동화된 객관적 신호 (예: 코드 실행, 정확한 일치 확인) 로 대체하지만, 이러한 검증기는 불완전합니다. 이들은 다음과 같은 체계적 잡음에 시달립니다:

• 거짓 긍정 (False Positives): "LLM 을 심사자 (LLM-as-a-judge)" 시스템의 설득력 있는 문구나 편향으로 인해 잘못된 솔루션을 수용하는 경우.
• 거짓 부정 (False Negatives): 포맷 변형이나 파서 제한으로 인해 수학적으로 동등한 답변을 거부하는 경우.

저자들은 이를 관찰된 보상 $\tilde{r}$이 쿼리에 의존하는 베르누이 잡음 채널에 의해 손상된 잠재적 기준 참값 보상 $r^*$의 잡음 있는 관측치인 시나리오로 형식화합니다. 핵심 문제는 표준 그룹 상대 정책 최적화 (GRPO) 와 그 변형인 Dr.GRPO 가 이러한 잡음 있는 보상에 직접 적용될 때 다음과 같은 문제를 겪는다는 점입니다:

1. 신호 감쇠: 학습 신호 (이점) 가 잡음 유지 계수 $(1 - \rho_+ - \rho_-)$에 의해 곱셈적으로 축소됩니다.
2. 비최적 수렴: 이론적 분석에 따르면, 보정 없이 정책은 깨끗한 보상으로 달성 가능한 최적 정책보다 엄격히 열등한 고정점으로 수렴합니다.
3. 분산 불일치: GRPO 에서 표준 편차로 나누는 표준화는 잡음과 부적절하게 상호작용하여 성능을 더욱 저하시키는 "난이도 편향"을 도입합니다.

2. 방법론

제안된 솔루션은 보상 손상을 명시적으로 모델링하고 지도 학습의 잡음 있는 레이블 학습에서 영감을 받은 편향 제거 메커니즘을 적용하는 잡음 보정 GRPO/Dr.GRPO 프레임워크입니다.

A. 이론적 모델링

저자들은 관찰된 보상 $\tilde{r}$을 참 보상 $r^*$과 다음으로 특징지어지는 잡음 채널의 함수로 모델링합니다:

• $\rho_+(q)$: 거짓 긍정률 ($r^*=0$일 때 1 을 관찰할 확률).
• $\rho_-(q)$: 거짓 부정률 ($r^*=1$일 때 0 을 관찰할 확률).

그들은 잡음 있는 이점의 기대값이 $(1 - \rho_+ - \rho_-)$ 계수에 의해 감쇠되어 잡음이 없는 경우에 비해 더 약한 기울기 신호와 더 낮은 수렴 천장을 초래함을 유도합니다.

B. 보정 메커니즘

편향 없는 기울기를 복원하기 위해 이 방법은 두 단계 보정 전략을 사용합니다:

1. 평균 편향 제거 (Natarajan 보정):
   관찰된 보상을 참 보상 $r^*$의 편향 없는 추정치 $\hat{r}$로 변환합니다:
   $$\hat{r} = \begin{cases} \frac{1 - \rho_+}{1 - \rho_+ - \rho_-} & \text{if } \tilde{r} = 1 \\ \frac{-\rho_+}{1 - \rho_+ - \rho_-} & \text{if } \tilde{r} = 0 \end{cases}$$
   이 단계는 평균 보상 신호의 편향을 보정합니다.

2. 분산/정규화 조정:
   저자들은 표준화 (표준 편차로 나누기) 가 잡음과 상호작용하기 때문에 단순한 선형 재매개변수화는 GRPO 에게 불충분함을 보여줍니다.

   • Dr.GRPO 의 경우: Dr.GRPO 는 분산除數를 제거하므로, 평균 편향 제거만 적용해도 깨끗한 집단 기울기를 복원하기에 충분합니다.
   • GRPO 의 경우: 이 방법은 표준 편차 정규화 $\sigma_k(q)$를 추정치 $M_k(q)$로 대체하는 일반화된 목적 함수를 도입합니다. 저자들은 편향 제거된 보상의 분산을 계산하고 확률적 보정 과정 자체에서 도입된 추가 분산을 빼서 깨끗한 보상의 참 분산을 추정할 것을 제안합니다.

C. 실제 구현 (알고리즘 1)

실제 알고리즘은 두 단계로 작동합니다:

1. 잡음률 추정: 알려진 기준 참값 (예: 정답을 인위적으로 손상시키거나 검증된 데이터셋 사용) 에 대해 보상 모델의 출력을 비교하여 전역 플립률 ($\rho_+, \rho_-$) 을 추정하기 위해 작은 홀드아웃 데이터 하위 집합을 사용합니다.
2. 강건한 학습: 주요 학습 루프 동안 추정된 비율을 사용하여 이점 계산 및 정책 업데이트 전에 편향 제거된 보상 $\hat{r}$과 조정된 정규화 항 $M_k(q)$를 계산합니다.

3. 주요 기여

1. GRPO 내 잡음에 대한 형식적 분석: 이 논문은 보상 손상이 학습 신호를 감쇠시키고 엄격히 열등한 고정점 ($p^*_{noisy} < p^*_{noiseless}$) 에서 수렴하게 된다는 것을 증명하는 엄격한 이론적 연구를 제공합니다. 이는 잡음 하의 기울기 역학을 특징짓고, 잡음이 그룹 상대 이점 계산과 어떻게 상호작용하는지 보여줍니다.
2. 원칙적인 잡음 보정: 저자들은 RLVR 맥락에 레이블 잡음 보정 이론을 적용하는 탈잡음 알고리즘을 제안합니다. 그들은 폐쇄형 업데이트 규칙과 단조 개선 상한을 제공하여 보정된 알고리즘이 깨끗한 목적 함수의 편향 없는 기울기를 복원하도록 보장합니다.
3. 샘플 복잡성 보장: 이 논문은 플립률 추정 오차에 대한 명시적 상한을 유도하여, 균형 잡힌 교정 세트를 사용한다면 유한 데이터에서 비율이 추정되더라도 보정이 효과적으로 유지됨을 보여줍니다.
4. 실증적 검증: 이 방법은 다양한 모델 규모 (Qwen, Llama) 를 사용하여 수학 (GSM8K, MATH) 및 코드 (APPS) 생성 작업 전반에 걸쳐 검증되었습니다.

4. 실험 결과

저자들은 두 가지 조건 하에서 방법을 평가했습니다:

• 합성 잡음 (완벽한 가정 유효성):

  • 기준 참값 보상은 알려진 플립률로 인위적으로 손상되었습니다.
  • 결과: 잡음 보정 모델은 일관되게 표준 GRPO/Dr.GRPO 베이스라인을 능가했습니다. 일부 경우 (예: 경미한 잡음 하의 Llama-3.2-1B) 에는 보정된 모델이 잡음이 없는 베이스라인보다 더 높은 성능을 보여 잠재적 정규화 이점을 시사했습니다.
  • 애블레이션: 실험은 클리핑만으로는 (일반적인 안정화 기법) 체계적 편향을 보정하지 못하며, 평균 편향 제거와 분산 조정이 모두 필요함을 확인했습니다.

• 실제 추정 (알려지지 않은 잡음):

  • 사전 훈련된 보상 모델 (예: AceMath-7B-RM, RM-Mistral-7B) 을 사용했고, 플립률은 홀드아웃 교정 세트를 통해 추정되었습니다.
  • 수학 작업 (GSM8K): 이 방법은 상당한 정확도 개선을 가져왔습니다. 예를 들어, AceMath-7B-RM 에 의해 안내된 Llama-3.2-1B 는 **52.52% 에서 59.21%**로 향상되었습니다 (+6.7 퍼센트 포인트). Qwen3-0.6B 는 다양한 보상 모델에서 2 포인트 이상의 개선을 보였습니다.
  • 코드 작업 (APPS): 코드 보상 모델의 매우 높은 거짓 긍정률 ($\rho_+ \approx 0.53$) 이었음에도 불구하고, 보정은 일관되지만 modest 한 개선을 제공했습니다 (예: Qwen3-0.6B 는 9.01% 에서 10.50% 로 향상).

5. 중요성과 주장

이 논문은 지도 학습의 레이블 잡음 보정과 현대 RLHF/RLVR 사이의 간극을 연결한다고 주장합니다. 주요 중요성은 다음과 같습니다:

• 이론적 통찰: 그룹 기반 방법은 본질적으로 일부 잡음을 완화하지만, 깨끗한 최적점에 도달하기 위해서는 특정 보정 메커니즘이 필요함을 입증합니다.
• 실용적 유용성: 불완전하고 잡음 있는 보상 모델이 있더라도 RL 학습이 효과적으로 진행될 수 있도록 하는 간단하고 플러그인 형태의 알고리즘을 제공하여 완벽하게 큐레이션된 검증 데이터셋에 대한 의존도를 줄입니다.
• 확장성: 작은 교정 세트를 통해 잡음률을 추정함으로써, 보상 모델이 본질적으로 결함이 있는 실제 배포 환경에서 확장 가능하고 자동화된 피드백 루프를 가능하게 합니다.

저자들은 미래 영향에 대해 겸손하게 언급하며, 이 방법이 성능을 개선하지만 더 큰 모델과 더 넓은 도메인을 통한 대규모 연구가 생산 파이프라인에서의 유용성을 완전히 특징짓기 위해 필요하다고 지적합니다. 또한 쿼리 의존적 플립률 추정 및 잡음 인식 정규화 스케줄과 같은 향후 작업 방향도 식별했습니다.