🤖 machine learning

AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback

본 논문은 표준 PPO 및 GRPO 방법보다 수학 및 STEM 벤치마크에서 LLM 추론 성능을 향상시키기 위해 그룹 수준의 통계를 활용하여 클리핑 경계와 디코딩 온도를 동적으로 조정하는 비평가 기반 강화 학습 프레임워크인 적응형 그룹 정책 최적화 (AGPO) 를 제안합니다.

원저자: Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

게시일 2026-05-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 학생(대규모 언어 모델)에게 어려운 수학 문제를 푸는 법을 가르친다고 상상해 보세요. 여러분이 질문을 주고, 학생이 답을 시도하면, 맞았는지 틀렸는지 알려줍니다. 목표는 학생들이 실수에서 배우고 시간이 지남에 따라 더 나아지도록 돕는 것입니다.

이 논문은 AGPO(적응형 그룹 정책 최적화)라는 새로운 교수법을 소개합니다. 이것이 왜 특별한지 이해하려면, 구식 방식과 새 방식을 비교해 보겠습니다.

구식 방식: 경직된 코치

과거 PPO 나 GRPO 와 같은 방법들은 "고정된" 규칙 세트를 사용했습니다. 학생의 수행 상태와 상관없이 항상 동일한 두 가지 설정을 사용하는 코치를 상상해 보세요:

"안전망"(클리핑): 학생이 생각에서 너무 위험할 수 있는 거대한 도약을 시도할 때, 코치는 이를 잘라냅니다. 하지만 코치는 학생이 막 시작했을 때든 거의 마스터가 되었을 때든 매번 동일한 크기의 안전망을 사용합니다.
"창의성 다이얼"(온도): 학생이 답을 생성할 때, 매우 엄격하게(단 하나의 가능한 답만) 또는 매우 창의적으로(많은 엉뚱한 아이디어를 시도) 할 수 있습니다. 코치는 이 다이얼을 고정된 숫자로 설정하고 절대 변경하지 않습니다.

문제점: 이 경직된 접근 방식은 깨지기 쉽습니다.

초기 단계: 학생은 혼란스럽고 올바른 경로를 찾기 위해 엉뚱하고 창의적인 아이디어를 많이 시도해야 합니다. 고정된 엄격한 설정은 탐색을 충분히 하지 못하게 막습니다.
후기 단계: 학생은 답에 가까워지고 있지만 불안정합니다. 고정된 느슨한 설정은 그들이 너무 많이 뛰어다니게 하여 방금 배운 것을 잊게 만들 수 있습니다.
결과: 코치는 이를 올바르게 만들기 위해 이 다이얼들을 수동으로 조정하는 데 많은 시간을 보내야 하며, 그렇게 하더라도 학생이 막히거나 충돌할 수 있습니다.

새 방식: 적응형 코치 (AGPO)

AGPO 는 학생의 수행을 실시간으로 관찰하고 즉석에서 규칙을 조정하는 코치와 같습니다. 무엇을 해야 하는지 알려줄 또 다른 "심판"(비평가) 이 필요하지 않습니다. 대신 학생이 지금 생성하는 답들의 그룹만 살펴보면 됩니다.

코치는 서로 대화하는 두 가지 주요 도구를 사용합니다:

1. "스마트 안전망"(적응형 클리핑)

고정된 안전망 대신, 코치는 학생의 답들이 얼마나 변하는지 살펴봅니다.

답들이 제각각일 때(불일치가 높음) 또는 보상이 혼란스러울 때, 코치는 학생이 불확실하다는 것을 압니다. 그들은 학생이 더 큰 위험을 감수하고 더 빠르게 배우도록 안전망을 넓힙니다.
답들이 혼란스럽거나 학생이 격렬하게 뛰어다닐 때(불안정성이 높음), 코치는 학생이 진전을 망칠 수 있는 거대한 실수를 하지 않도록 안전망을 조입니다.
비유: 이는 서퍼가 자세를 조정하는 것과 같습니다. 파도가 잔잔하면 멀리 몸을 기울일 수 있지만, 파도가 치면 안정성을 유지하기 위해 몸을 낮춥니다.

2. "동적 창의성 다이얼"(적응형 온도)

코치는 또한 학생이 얼마나 "창의적"일 수 있는지도 조정합니다.

학생이 혼란스러울 때(불확실성이 높음), 코치는 다이얼을 높은 창의성으로 올립니다. 이는 학생이 해결책을 찾기 위해 다양한 접근 방식을 시도하도록 장려합니다.
학생이 자신감이 있을 때(불확실성이 낮음), 코치는 다이얼을 낮은 창의성으로 내립니다. 이는 학생이 집중하여 찾은 최선의 답에 머무르게 하고, 헤매지 않도록 돕습니다.
비유: 이를 온도 조절 장치로 생각하세요. 방 (문제) 이 춥고 혼란스러우면, 코치는 열을 높여 (탐색) 상황을 따뜻하게 만듭니다. 방이 이미 뜨겁고 명확하면, 열을 낮춰 상황을 안정적으로 유지합니다.

실제 작동 방식

이 논문은 이 "적응형 코치"를 GSM8K 와 MATH 벤치마크와 같은 9 가지 다른 수학 및 과학 테스트에서 테스트했습니다. 그들은 Qwen2.5-14B 라는 강력한 모델을 사용했습니다.

결과:

더 높은 점수: AGPO 로 훈련된 학생은 구식 경직된 방법 (PPO 및 GRPO) 으로 훈련된 학생들보다 훨씬 높은 점수를 받았습니다. 예를 들어, GSM8K 수학 테스트에서 **67.3%**의 정확도에 도달하여 이전 최고 기록을 깨뜨렸습니다.
더 빠른 학습: 동일한 양의 "생각 시간"(토큰) 을 사용했음에도 불구하고, 실시간으로 높은 정확도 수준에 도달하는 속도가 구식 방법보다 약 1.6 배 빠릅니다.
다른 모델에도 적용 가능: 그들은 이 방법을 다른 학생 모델 (Llama-3 및 Gemma-2) 에 시도했고, 마찬가지로 잘 작동했습니다. 이는 특정 모델만을 위한 트릭이 아니라 일반적인 개선임을 증명합니다.

결론

AGPO 는 AI 가 추론하도록 훈련시키는 더 똑똑한 방법입니다. 일률적인 규칙서를 사용하는 대신, 학생의 자신감과 문제의 난이도를 지속적으로 확인하며 "위험 제한"과 "창의성 수준"을 즉시 조정하는 반응형 코치처럼 작동합니다. 이는 더 빠르고 안정적인 학습으로 이어지며, 어려운 수학 및 과학 문제에서 더 나은 결과를 가져옵니다.

기술 요약: AGPO – 이중 통계 피드백을 활용한 적응형 그룹 정책 최적화

1. 문제 제기

강화 학습 (RL) 은 Proximal Policy Optimization(PPO) 및 Group Relative Policy Optimization(GRPO) 과 같은 알고리즘을 통해 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 데 효과적임이 입증되었습니다. 그러나 기존 접근 방식은 두 가지 핵심 구성 요소에 대해 고정된 하이퍼파라미터에 의존하는 경향이 있습니다:

클리핑 반경 ( $\epsilon$ ): 정책 업데이트의 신뢰 영역 크기가 고정되어 있어 학습 배치의 진화하는 불확실성을 반영하지 못합니다.
디코딩 온도 ( $\tau$ ): 궤적 생성에 사용되는 샘플링 온도가 고정되어 변화하는 보상 지형에 적응하지 못합니다.

저자들은 이러한 고정된 설정이 인간 피드백을 통한 강화 학습 (RLHF) 에서 세 가지 반복적인 문제를 야기한다고 주장합니다:

과도한 튜닝: 신뢰 영역 및 디코딩 하이퍼파라미터 설정에 상당한 수동 노력이 필요합니다.
탐색 - 활용 불일치: 단일 설정으로는 초기 단계의 탐색과 후기 단계의 안정성을 동시에 지원할 수 없습니다.
취약한 수렴: 고정된 파라미터는 보상 분산, 답변 불일치, KL 드리프트의 변화로 인해 초기 단계에서는 업데이트가 부족하거나 후기 단계에서는 정책을 불안정하게 급변시키는 결과를 초래할 수 있습니다.

2. 방법론: AGPO

저자들은 **Adaptive Group Policy Optimization(AGPO)**을 제안합니다. 이는 GRPO 의 경량화된 크리틱 (critic) 없는 개선 버전입니다. AGPO 는 고정된 하이퍼파라미터를 공유된 프로브 (probe) 에서 파생된 통계 상태에 의해 구동되는 두 가지 적응형 컨트롤러로 대체합니다.

핵심 아키텍처: 하나의 프로브, 두 개의 컨트롤러

AGPO 는 단일 프롬프트에 대해 샘플링된 $G$ 개의 롤아웃 그룹을 기반으로 작동합니다. 주요 정책 업데이트 전에 프로브 단계가 기본 온도 ( $\tau_{base}$ ) 에서 실행되어 그룹 수준의 통계를 추출합니다. 이러한 통계는 두 가지 다른 컨트롤러를 구동합니다:

A. 적응형 클리핑 (업데이트 크기 제어)

고정된 $\epsilon$ 대신 AGPO 는 탐색과 안정성을 균형 있게 조절하는 공식을 사용하여 적응형 클리핑 반경 ( $\epsilon_{adaptive}$ ) 을 계산합니다:
$\epsilon_{adaptive} = \text{clip}\left( \epsilon_{base} \frac{H(\pi_{old}) (1 + \delta E_{probe})}{1 + \alpha \hat{\sigma} + \zeta |\tilde{\kappa}_3(r)| + \gamma \hat{D}^{step}_{KL}}, \epsilon_{min}, \epsilon_{max} \right)$

확장 신호 ( $\epsilon$ 증가): 높은 정책 엔트로피 ( $H(\pi)$ ) 와 높은 프로브 투표 엔트로피 ( $E_{probe}$ ) 는 인식적 불확실성 또는 미탐색을 나타내어 더 큰 신뢰 영역을 요구합니다.
수축 신호 ( $\epsilon$ 감소): 높은 보상 분산 ( $\hat{\sigma}$ ), 보상 왜도 ( $|\tilde{\kappa}_3(r)|$ ), 그리고 단계별 KL 드리프트 ( $\hat{D}^{step}_{KL}$ ) 는 최적화 위험을 나타내어 불안정한 점프를 방지하기 위해 더 좁은 신뢰 영역을 요구합니다.
메커니즘: 이를 통해 알고리즘은 배치가 불확실할 때는 더 큰 단계를, 보상 신호가 노이즈가 많거나 정책이 너무 빠르게 드리프트할 때는 작은 단계를 취할 수 있습니다.

B. 양방향 적응형 온도 샘플링 (ATS)

AGPO 는 롤아웃 수집 중 궤적 다양성을 제어하기 위해 **Adaptive Temperature Sampling(ATS)**을 도입합니다.

불확실성 추정: 보상 분산, 프로브 불일치, 왜도로부터 불확실성 점수 $U_t$ 를 계산합니다.
중앙화: 이 점수는 지수 이동 평균 (EMA) 을 통해 유지되는 실행 기준선 ( $\bar{U}_t$ ) 에 대해 중앙화됩니다.
온도 조정: 샘플링 온도 $\tau_t$ $τ_{t}$ 는 $\tau_{base}$ $τ_{ba se}$ 에 대해 조정됩니다:
$\tau_t = \text{clip}\left( \tau_{base} (1 + \lambda \tilde{U}_t), \tau_{min}, \tau_{max} \right)$
- 가열: 현재 배치가 기준선보다 더 불확실한 경우 ( $\tilde{U}_t > 0$ ), $\tau_t$ 가 증가하여 탐색을 장려합니다.
- 냉각: 배치가 더 확신할 수 있는 경우 ( $\tilde{U}_t < 0$ ), $\tau_t$ 가 감소하여 활용을 장려합니다.

학습 절차

학습 루프는 프로브–학습 구조를 따릅니다:

$\tau_{base}$ 에서 프로브 그룹을 샘플링합니다.
그룹 통계를 계산하고 컨트롤러 상태 ( $\epsilon_{adaptive}$ 및 $\tau_t$ ) 를 업데이트합니다.
새로운 $\tau_t$ 를 사용하여 학습 롤아웃을 재샘플링합니다.
적응형 $\epsilon_{adaptive}$ 를 사용하여 GRPO 대리 목적함수로 정책을 업데이트합니다.
측정된 단계별 KL 드리프트를 다음 단계로 전달합니다.

3. 주요 기여

적응형 클리핑: 보상 분산, 왜도, 프로브 불일치, 정책 엔트로피, KL 드리프트에 기반하여 신뢰 영역을 동적으로 조정하는 통계 인식형 $\epsilon$ 으로, 고정된 클리핑 반경의 필요성을 제거합니다.
공유 프로브 이중 제어: 단일 프로브 단계가 업데이트 크기 (클리핑) 와 탐색 전략 (온도) 을 모두 구동하는 혁신적인 설계로, 가치 크리틱 없이도 더 나은 탐색/안정성 균형을 달성합니다.
일관된 성과 향상: 동등한 생성 토큰 예산 하에 9 개의 영어 및 중국어 수학/STEM 벤치마크에서 개선된 성과를 입증했으며, 다른 모델 계열 (Llama-3-8B, Gemma-2-9B) 로도 성공적으로 이전되었습니다.

4. 실증 결과

저자들은 9 개의 벤치마크 (GSM8K, MATH, OCW, SAT, MMLUSTEM, CodeContests, CMATH, GaokaoMath-Cloze, GaokaoMath-QA) 에서 Qwen2.5-14B, Llama-3-8B, Gemma-2-9B에 대해 AGPO 를 평가했습니다.

성능: Qwen2.5-14B 에서 AGPO 는 GSM8K 에서 67.3%, MATH 에서 **40.5%**를 달성했습니다.
- 이는 표준 PPO 대비 **+8.3 퍼센트 포인트 (pp)**의 향상이며, 가장 강력한 제거 실험 (적응형 클리핑만 있는 AGPO) 대비 +1.4 pp의 향상입니다.
- AGPO 는 9 개 벤치마크 모두에서 모든 베이스라인 (PPO, Adaptive-KL PPO, DPO, 고정 클립 GRPO) 을 능가했습니다.
효율성: AGPO 는 GRPO 대비 무시할 수 있는 오버헤드 (약 3% 처리량 감소) 를 발생시켰지만, 목표 정확도 (GSM8K 에서 65%) 에 도달하는 데 PPO 대비 약 1.5 배 빠른 처리량과 약 1.6 배 빠른 월클락 시간을 기록했습니다.
모델 간 이전: Llama-3-8B 와 Gemma-2-9B 에서 일관된 향상이 확인되어 이 방법이 단일 모델 계열에 국한되지 않음을 입증했습니다.
제거 실험 (Ablation Studies):
- 적응형 클리핑과 ATS 모두 긍정적인 기여를 했으며, 어느 하나를 제거하면 성능이 저하되었습니다.
- 강건성: 표준 편차 대신 강건한 분산 추정기 (MAD, IQR) 를 사용할 때, 특히 이진 또는 heavy-tailed 보상의 경우 방법이 안정적으로 유지되었습니다.
- 신호 중요성: Leave-one-out 제거 실험을 통해 네 가지 신호 (분산, 왜도, 프로브 엔트로피, 단계 KL) 가 모두 정확도와 학습 안정성에 기여함이 확인되었습니다.

5. 의의 및 한계

의의:
이 논문은 AGPO 를 RLHF 의 "튜닝 의존적" 성격을 줄이는 중요한 단계로 위치시킵니다. 관찰 가능한 그룹 수준 통계를 사용하여 업데이트 크기와 탐색을 자동 제어함으로써, AGPO 는 계산적으로 효율적이고 강건한 크리틱 없는 대안을 제공합니다. 저자들은 이 접근 방식이 탐색과 안정성의 균형이 중요한 추론 벤치마크를 대상으로 한다고 강조합니다.

한계:
저자들은 AGPO 가 상당히 안정적인 그룹 수준 통계에 의존한다고 겸손하게 지적합니다. 이 방법은 다음과 같은 시나리오에서 어려움을 겪을 수 있습니다:

보상 오지정 (Reward misspecification).
보상 해킹 (Reward hacking).
극도로 희소하거나 적대적으로 노이즈가 많은 보상.

이 논문은 현재 구현이 효과적이지만, 이러한 극단적인 보상 조건을 처리하는 것은 향후 연구의 열린 과제로 남아있다고 결론지었습니다.