💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

이 논문은 성공적인 궤적에 대해서는 완전한 그래디언트 신호를 보존하면서 음의 어드밴티지(negative-advantage) 롤아웃에는 엔트로피 기반 할인을 비대칭적으로 적용함으로써, 표준 GRPO에 비해 학습을 크게 안정화하고 수학적 추론 벤치마크에서 성능을 향상시키는 강화 학습 알고리즘인 Selective-Advantage Entropy-Adaptive Horizon GRPO (SA-AH-GRPO)를 소개한다.

원저자: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생(AI 언어 모델)에게 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 이 학생은 연습하고, 피드백을 받고, 자신의 학습 습방을 조정하며 배우려고 노력 중입니다. 이 논문은 더 나은 방식의 피드백을 제공하여 학습 과정을 더 빠르고, 안정적이며, 덜 혼란스럽게 만드는 방법을 소개합니다.

다음은 이 논문의 아이디어들을 쉬운 비유를 사용하여 정리한 내용입니다.

문제점: "일률적인" 튜터

현재 이러한 AI 모델을 가르치는 표준 방식은 GRPO라고 불립니다. GRPO를 학생이 쓰는 모든 단어를 똑같은 방식으로 대하는 엄격한 튜터라고 생각해 보세요.

문제점: 만약 학생이 자신감 있게 명확하고 올바른 문장을 쓴다면, 튜터는 하이파이브를 해줍니다. 하지만 학생이 혼란스러워하거나, 말을 더듬거나, 무작정 추측하고 있다면(높은 "엔트로피" 또는 불확실성), 튜터는 똑같은 양의 주의를 기울입니다. 때로는 확신을 가지고 틀렸을 때와 마찬가지로 똑같이 엄하게 처벌하기도 합니다.
결과: 이는 학생을 혼란스럽게 합니다. 학생이 이미 추측하고 있는 상황에서 가혹한 벌을 받으면, 당황하여 잘못된 것을 배울 수 있습니다. 반대로, 학생이 문제를 맞혔더라도 그 과정에서 몇 번의 불안정한 추측이 있었다면, 튜터는 실수로 그 불안정한 추측들을 처벌하여 "이 경로가 정답으로 이어진다"라는 교훈을 약화시킬 수 있습니다.

해결책: 두 가지 새로운 교수 전략

저자들은 이 튜터링 시스템에 AH-GRPO와 SA-AH-GRPO라고 불리는 두 가지 업그레이드를 제안합니다.

1. "불확실성 할인" (AH-GRPO)

튜터가 특별한 규칙을 가지고 있다고 상상해 보세요: "학생이 명확히 혼란스러워한다면, 피드백의 볼륨을 줄인다."

작동 방식: 튜터는 매 단어마다 학생이 얼마나 불확실한지 확인합니다. 만약 학생이 무작정 추측하고 있다면(높은 엔트로피), 튜터는 "알았어, 이 부분은 엉망이니까, 너에게 아주 크게 책임을 묻지는 않을게"라고 말합니다.
이점: 이는 학생이 어려움을 겪을 때 노이즈(소음) 때문에 압도당하는 것을 방지합니다. 이는 "학습 지평(learning horizon)"을 단축하여, 답변 중 명확한 부분에만 집중하게 합니다.

2. "선택적 이득" 규칙 (SA-AH-GRPO) — 주인공

이것은 위 규칙에 결정적인 반전을 더한 이 논문의 핵심 혁신입니다: "학생이 전체 답을 틀렸을 때만 볼륨을 줄인다."

시나리오 A: 학생이 정답을 맞혔을 때 (긍정적 이득)
설령 학생이 도중에 비틀거리거나 몇 단어를 추측했더라도, 결국 문제를 올바르게 해결했다면 튜터는 이렇게 말합니다: "잘했어! 네가 쓴 모든 단어, 심지어 그 불안정했던 단어들까지도 정답에 도령했어. 우리는 그것들을 모두 카운트할 거야!"
- 이유: 최종 결과가 성공적이었기 때문입니다. 우리는 승리로 이끈 전체 경로를 강화하고 싶습니다.
시나리오 B: 학생이 오답을 냈을 때 (부정적 이득)
만약 학생이 문제를 해결하지 못했다면, 튜터는 이렇게 말합니다: "틀렸어. 이제 네가 어디서 혼란스러워했는지 보자. 네가 그냥 무작정 추측했던 부분들은 무시할 거야. 그래야 네가 그 추측들로부터 잘못된 교훈을 얻지 않도록 할 수 있으니까. 우리는 명확한 실수에만 집중할 거야."
- 이유: 틀렸는데 동시에 혼란스러운 상태라면, 그 추측들은 그저 노이즈일 뿐입니다. 노이즈를 너무 강하게 처벌하면 학습 신호가 혼란스러워집니다.

결과: 더 부드러운 여정

저자들은 이 새로운 방법을 두 가지 크기의 AI 모델(작은 1.5B 모델과 큰 3B 모델)을 사용하여 수학 문제에 테스트했습니다.

더 큰 모델 (3B)의 경우: 새로운 방법이 기존 방법보다 모델을 더 똑똑하게 만들지는 않았지만(이미 충분히 똑똑했기 때문), 학습을 훨씬 더 안정적으로 만들었습니다. 자동차 운전에 비유하자면, 기존 방법은 차가 왼쪽 오른쪽으로 휘청거리는 울퉁불퉁한 도로를 달리는 것과 같았습니다. 새로운 방법은 도로를 평탄하게 만들었습니다. "휘청거림(분산)"이 3.6배 감소했습니다. 차는 같은 목적지에 도착했지만, 훨씬 더 부드러운 승차감을 제공했습니다.
더 작은 모델 (1.5B)의 경우: 새로운 방법은 실제로 모델이 더 잘 배우도록 도왔습니다. 처음부터 시작했을 때보다 점수를 거의 5%포인트 향상시켰습니다. 작은 모델은 효과적으로 발을 내디디기 위해 그 추가적인 안정성이 필요했던 것으로 보입니다.

"비법": 왜 작동하는가

이 논문은 이 접근 방식이 **탐색(exploration)**과 **활용(exploitation)**의 차이를 존중한다고 주장합니다.

모델이 탐색 중일 때(추측할 때), 불확실한 것은 괜찮습니다.
모델이 성공했을 때, 우리는 불확식한 부분을 포함한 전체 여정을 보상해야 합니다.
모델이 실패했을 때, 불확실성의 "노이즈"를 너무 가혹하게 처벌하여 학습 신호를 혼란스럽게 만들지 않도록 주의해야 합니다.

요약

SA-AH-GRPO를 엄격할 때와 관대할 때를 아는 현명한 코치라고 생각하세요.

게임에서 이기면, 코치는 네가 했던 모든 움직이, 심지어 위험했던 움직임까지도 칭찬합니다.
게임에서 지면, 코치는 네가 그냥 추측했던 순간들은 무시하고 명확한 실수에만 집중하여, 네가 낙담하거나 혼란에 빠지지 않게 합니다.

피드백의 가중치를 조절하는 이 간단한 변화는 AI 학습 과정을 더 빠르고, 안정적이며, 효과적으로 만듭니다. 특히 스스로 자리를 잡는 데 도움이 필요한 작은 모델들에게 더욱 그렇습니다.

기술 요약: 선택적 이점 엔트로피 적응형 호라이즌 GRPO (Selective-Advantage Entropy-Adaptive Horizon GRPO)

문제 정의

그룹 상대 정책 최적화(Group Relative Policy Optimisation, GRPO)는 언어 모델, 특히 추론 작업에 대한 검증 가능한 보상 기반 강화 학습(RLVR)에서 지배적인 알고리즘으로 부상했습니다. 그러나 표준 GRPO는 그래디언트 가중치와 관련하여 두 가지 주요 한계를 가집니다:

대칭적 토큰 가중치: 모델의 국소적 불확실성(엔트로피)과 관계없이 모든 토큰 위치를 동일하게 취급합니다. 모델이 여러 가능한 연속성을 탐색하는 고엔트로피 위치에서는 그래디언트 신호 자체가 본질적으로 노이즈가 많습니다. 이러한 위치에 균등한 가중치를 적용하는 것은 노이즈가 많은 업데이트를 확신이 있는 저엔트로피 업데이트와 동일한 크기로 처리함으로써 학습을 불안정하게 만들 수 있습니다.
대칭적 롤아웃 처리: 성공적인(양의 이점) 궤적과 실패한(음의 이점) 궤적 모두에 동일한 그래디언트 가중치를 적용합니다. 불확실한 토큰 위치를 가진 성공적인 궤적을 억제하는 것은 역효로, 해당 토큰들이 정답 도출에 기여했으므로 온전한 신용을 받아야 하기 때문입니다. 반대로, 실패한 궤적에서 불확실한 위치를 공격적으로 억제하는 것은 상충하는 그래디언트 신호를 유발할 수 있습니다.

기존의 토큰 수준 가중치 접근 방식은 보조 보상 모델이나 고정된 휴리스틱에 의존하는 경우가 많습니다. 본 논문은 추가적인 감독 없이 모델 자체의 예측 불확실성으로부터 직접 가중치를 도출하는 방법을 제안합니다.

방법론

저자들은 GRPO에 두 가지 계층적 확장인 적응형 호라이즌 GRPO (AH-GRPO) 및 **선택적 이점 AH-GRPO (SA-AH-GRPO)**를 도입합니다.

1. 엔트로피 적응형 호라이즌 할인 (Entropy-Adaptive Horizon Discount)

핵적인 메커니즘은 해당 시점까지의 궤적에 대한 누적 정규화 엔트로피로부터 도출된 토큰별 가중치입니다.

정규화된 엔트로피: 롤아웃 $i$ 내의 토큰 $t$ 에 대해, 정규화된 엔트로피 $\tilde{H}^{(i)}_t$ 는 효율성을 위해 상위- $K$ 로짓( $K=500$ )을 사용하여 추정한 정책 분포의 샤논 엔트로피를 어휘 사전 크기 $\log V$ 로 나눈 값으로 계산됩니다.
할인 계수: 매 단계마다 적용되는 할인 계수 $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ 가 적용됩니다.
누적 가중치: 토큰 $t$ 에 대한 가중치는 이전의 모든 할인 계수의 곱입니다: $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ .
효과: $\alpha > 0$ 일 때, 고엔트로피 접두사는 더 강한 할인을 유발하며, 이는 불확실한 시퀀스를 통해 그래디언트가 전파되는 "유효 호라이즌"을 효과적으로 단축시킵니다.

2. AH-GRPO (균등 적용)

AH-GRPO에서는 궤적이 성공적이든 실패했는지와 관계없이 모든 롤아웃의 모든 토큰에 엔트로피 기반 가중치 $w^{(i)}_t$ 를 균등하게 적용합니다. 이는 불확실한 위치에서의 노이즈 섞인 그래디언트 영향을 줄이지만, 불확실한 단계를 포함하는 정답 솔루션의 신호를 약화시킬 위험이 있습니다.

3. SA-AH-GRPO (선택적 적용)

SA-AH-GRPO는 그룹 정규화된 이점 $\hat{A}_i$ 에 따라 비대칭성을 도입합니다:

양의 이점 ( $\hat{A}_i \geq 0$ ): 해당 궤적은 성공적인 것으로 간정됩니다. 고엔트로피 위치의 토큰을 포함한 모든 토큰은 가중치 $1$(할인 없음)을 받습니다. 이는 정답 솔루션에 대한 전체 그래디언트 신호를 보존합니다.
음의 이점 ( $\hat{A}_i < 0$ ): 해당 궤적은 실패한 것으로 간정됩니다. 엔트로피 적응형 가중치 $w^{(i)}_t$ 가 적용됩니다. 이는 실패한 궤적 내의 구조적으로 모호한(고엔트로피) 위치에서의 그래디언트 업데이트를 억제하여, 모델이 노이즈 섞인 신호에 기반해 과도하게 교정되는 것을 방지합니다.

손실 함수는 원시 토큰 수가 아닌 유효(가중치 적용) 토큰 수로 정규화되도록 수정되었습니다.

실험 설정

모델: Qwen 2.5-1.5B-Instruct 및 Qwen 2.5-3B-Instruct.
데이터셋: 수학적 추론을 위한 GSM8K (800개의 훈련 예시와 500개의 평가 예시 사용).
미세 조정: Low-Rank Adaptation (LoRA), 랭크 $r=16$ .
보상 함수: 정답 여부, 형식 준수(특정 XML 태그), 솔루션 태그 존재 여부, 추론 단계 밀도를 결합한 복합 보상 ( $r_{max}=7.5$ ).
베이스라인: 표준 GRPO ( $\alpha=0$ ) 및 AH-GRPO ( $\alpha=0.5$ ).
절제 연구 (Ablation): 1.5B 모델에 대해 $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ 범위를 탐색.

주요 결과

1. 정확도 및 안정성 (3B 모델)

Qwen 2.5-3B-Instruct 모델의 제로샷 베이스라인은 강력합니다 (Pass@1 $\approx$ 0.831).

최고 정확도: SA-AH-GRPO는 (단계 30에서) 0.858의 최고 Pass@1을 달성하였으며, 이는 표준 GRPO(0.852) 및 AH-GRPO(0.862)의 최고 성능과 일치합니다.
훈련 분산: SA-AH-GRPO는 훈련 분산을 0.0246으로 크게 낮추었으며, 이는 표준 GRPO(0.0885) 대비 3.6배, AH-GRPO(0.0630) 대비 2.6배 감소한 수치입니다.
결론: 3B 규모에서 주요 이점은 최고 정확도를 희생하지 않으면서 훈련을 실질적으로 안정화한다는 점입니다.

2. 정확도 및 안정성 (1.5B 모델)

Qwen 2.5-1.5B-Instruct 모델의 제로샷 베이스라인은 더 낮습니다 (Pass@1 $\approx$ 0.637).

최고 정확도: SA-AH-GRPO는 0.686의 최고 및 최종 Pass@1을 달성하여, 제로샷 베이스라인보다 +4.9 퍼센트 포인트 향상되었습니다. 이는 표준 GRPO(최고 0.668) 및 AH-GRPO(최고 0.676)를 능가했습니다.
분산: 흥미롭게도, 1.5B 모델은 SA-AH-GRPO 적용 시 다른 방법들보다 높은 훈련 분산(0.1718)을 보였습니다. 저자들은 이를 모델이 개선될 수 있는 "여지(headroom)"가 더 많아 학습 과정 중 보상 변동이 커졌기 때문이며, 동시에 양의 롤아웃에 대해서는 제한 없는 그래디언트 신호를 얻었기 때문이라고 설명합니다.

3. 절제 연구 ( $\alpha$ )

1.5B 모델에 대한 탐색 결과, 양의 $\alpha$ 값(엔트로피 할인)이 음의 $\alpha$ 값(엔트로피 증폭)보다 일관되게 우수한 성능을 보임을 확인했습니다.

$\alpha = -0.25$ 는 성능을 베이스라인 이하로 떨어뜨렸습니다.
양의 값들 중에서는 $\alpha=0.10$ 이 가장 높은 피크를 보였으나 최종 안정성은 낮았고, $\alpha=0.50$ 이 더 나은 균형을 제공했습니다.
결정적으로, $\alpha=0.50$ 에서의 SA-AH-GRPO(0.686)는 동일한 $\alpha$ 에서의 대칭적 AH-GRPO(0.676)를 유의미하게 능가하여, 선택적 적용 전략의 타당성을 입증했습니다.

4. 훈련 역학 (Training Dynamics)

암묵적 커리큘럼: 훈련이 진행됨에 따라 평균 정규화 엔트로피가 감소합니다 (3B 모델에서 ~0.029에서 ~0.009로). 결과적으로 할인 계수는 자연스럽게 1에 가까워지며, 모델이 확신을 가짐에 따라 엔트로피 필터에 대한 의존도가 낮아지는 암묵적 어닐링 스케줄 역할을 합니다.
응답 길이: 훈련 과정 동안 평균 생성 길이가 감소했습니다 (예: 3B 모델에서 243개에서 171개 토큰으로). 이는 이 방법이 더 간결한 추론 체인을 장려함을 시사합니다.

의의 및 주장

본 논문은 토큰별, 롤아웃별 엔트로피 적응형 할인을 RLVR 환경에 도입한 최초의 연구이며, 이를 이점의 부호에 따라 비대칭적으로 적용한 최초의 연구라고 주장합니다.

저자들은 SA-AH-GRPO가 다음과 같은 이유로 구조화된 생성 작업에 대한 RLVR에 원칙적인 귀납적 편향(inductive bias)을 제공한다고 주장합니다:

그래디언트 신호 보존: 불확실한 단계를 포함하더라도 정답 솔션이 온전한 신용을 받도록 보장하여 유효한 학습 신호가 억제되는 것을 방지합니다.
훈련 안정화: 실패한 궤적의 불확실한 위치에서만 그래디언트를 선택적으로 억제함으로써, 상충하는 그래디언트 방향과 훈련 분산을 줄입니다.
보조 모델 제거: 가중치 메커니즘이 정책 자체의 예측 불확실성에만 의존하므로, 추가적인 보상 모델이나 고정된 휴리스틱이 필요하지 않습니다.

결과적으로, 비대칭 엔트로피 할인은 GRPO 기반 미세 조정에 있어 실질적인 개선책이며, 더 큰 모델에서는 탁월한 안정성을, 더 작은 모델에서는 일관된 정확도 향상을 제공합니다. 향-후 연구로는 더 큰 규모(7B, 70B) 및 다양한 작업 도메인에서의 검증이 제안되었습니다.