🤖 machine learning

AAPO: Enhancing the Reasoning Capabilities of LLMs with Advantage Margin

이 논문은 기존 그룹 상대적 이득 추정 방법의 훈련 비효율성을 해결하고 수학적 추론 능력을 향상시키기 위해 마진 기반 추정 방식을 도입한 새로운 강화 학습 알고리즘인 AAPO(Advantage-Augmented Policy Optimization) 를 제안합니다.

원저자: Jian Xiong, Jingbo Zhou, Jingyong Ye, Qiang Huang, Dejing Dou

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jian Xiong, Jingbo Zhou, Jingyong Ye, Qiang Huang, Dejing Dou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AAPO: AI 의 '추리력'을 깨우는 새로운 비법

이 논문은 거대 언어 모델 (LLM, 즉 AI) 이 복잡한 수학 문제를 풀거나 논리적 추론을 할 때, 기존 방법보다 훨씬 더 잘하도록 돕는 새로운 학습 방법인 AAPO(Advantage-Augmented Policy Optimization) 를 소개합니다.

너무 어렵게 들리시나요? 쉽게 비유해서 설명해 드릴게요.

1. 문제: "왜 AI 는 똑똑해지다가 멈추는 걸까?"

AI 를 가르칠 때, 보통 GRPO라는 방법을 많이 씁니다. 이 방법은 AI 가 같은 문제를 여러 번 풀게 한 뒤, "어떤 답이 가장 좋았나?"를 비교해서 학습시킵니다.

비유: 선생님이 학생 5 명에게 같은 문제를 풀게 하고, 점수가 가장 높은 학생을 칭찬하고 나머지를 가르치는 방식입니다.

하지만 여기서 큰 문제가 생깁니다.
학습이 어느 정도 진전되면, 5 명 학생 모두의 점수가 거의 비슷하게 높아집니다.

"아, 다들 90 점 넘네? 그럼 누가 더 잘했는지 구분하기 어렵구나."
이럴 때 AI 는 "누가 더 잘했는지"를 판단할 수 없게 되어(기울기 0), 더 이상 배우지 않고 멈춰버립니다.
반대로, 점수 차이가 너무 크면 AI 가 "저 학생이 무조건 최고야!"라고 과하게 반응해서 엉뚱한 방향으로 날아가버리기도 합니다.

이것은 마치 모든 학생이 똑같이 잘할 때, 선생님이 더 이상 가르칠 방법을 잃어버린 상황과 같습니다.

2. 해결책: AAPO(새로운 학습법)

저자들은 이 문제를 해결하기 위해 AAPO라는 새로운 방법을 제안했습니다. 핵심 아이디어는 **"과거의 나 **(참고 모델)를 보는 것입니다.

비유:
- **기존 방법 **(GRPO) 오늘 수업에서 친구 5 명끼리만 비교해서 "누가 제일 잘했나?"를 봅니다. (친구들이 다 잘하면 비교가 안 됨)
- **새로운 방법 **(AAPO) 오늘 수업에서 친구 5 명을 비교할 뿐만 아니라, **"어제까지의 나 **(참고 모델)와도 비교합니다.
- "오늘 친구들은 다 90 점인데, 어제 나는 60 점이었어! 그럼 오늘 친구들은 어제보다 훨씬 잘한 거야!"

이렇게 **과거의 나 **(참고 모델)를 '마진 (Margin)'이라고 부릅니다. 이 마진을 추가하면, 친구들끼리의 점수 차이가 없어도 "어제보다 나아졌으니 잘한 거야!"라고 AI 에게 확실한 신호를 보낼 수 있습니다.

3. AAPO 의 핵심 장점

학습이 멈추지 않음: 친구들끼리 점수가 비슷해도, 과거의 나보다 나아졌다면 계속 학습할 수 있습니다. (기울기가 0 이 되는 현상 방지)
안정적인 성장: 점수 차이가 너무 커서 AI 가 미쳐 날뛰는 것을 막아줍니다.
더 빠른 추리 능력: 수학 문제나 논리 문제를 풀 때, AI 가 더 깊이 생각하고 정확한 답을 내놓는 능력을 키웠습니다.

4. 실험 결과: 실제로 효과가 있을까?

논문에서는 다양한 수학 문제 (AIME, MATH 등) 를 풀게 해보았습니다.

결과: 기존 방법 (GRPO, GPG 등) 보다 AAPO 를 쓴 AI 가 훨씬 더 높은 점수를 받았습니다.
특이점: 적은 양의 데이터로도 더 좋은 성과를 냈습니다. 즉, "더 많이 공부한 것"이 아니라 "더 똑똑하게 공부한 것"의 효과입니다.

5. 결론

이 논문은 AI 를 가르칠 때, "친구끼리만 비교하는 것"만으로는 부족하다는 것을 지적합니다. 대신 **"과거의 나 **(참고 모델)를 함께 비교하면, AI 가 계속해서 성장할 수 있는 동력을 얻을 수 있다는 것을 증명했습니다.

한 줄 요약:

"AI 가 똑똑해지다가 멈출 때, 과거의 나와 비교하게 해줘서 다시 성장하게 만든 새로운 비법 (AAPO)!"

이 방법은 AI 가 복잡한 문제를 해결하는 능력을 획기적으로 향상시켜, 앞으로 더 똑똑한 AI 를 만드는 데 큰 기여를 할 것으로 기대됩니다.

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 강화 학습 (RL) 이 널리 사용되고 있으며, 특히 GRPO(Group Relative Policy Optimization) 와 같은 방법은 가치 모델 (Value Model) 없이 그룹 내 응답 간 상대적 우위 (Advantage) 를 추정하여 학습 효율성을 높였습니다. 그러나 기존 그룹 상대적 우위 추정 (Group Relative Advantage Estimation) 방법에는 다음과 같은 근본적인 한계가 존재합니다.

영 (Zero) 우위 현상: 그룹 내 모든 응답의 보상이 비슷할 경우 (모두 훌륭하거나 모두 부실할 때), 상대적 우위 값이 0 에 수렴하게 됩니다.
- 영향: 우위가 0 이 되면 그래디언트 (Gradient) 도 0 이 되어 파라미터 업데이트가 일어나지 않습니다. 이는 RL 학습 후반부에서 모델이 이미 높은 품질의 응답을 생성할 때 학습 효율이 급격히 떨어지는 원인이 됩니다.
높은 분산 (High Variance): 그룹 내 응답 간 보상 차이가 극단적일 경우, 우위 값의 분산이 커져 불안정한 그래디언트 상승을 유발할 수 있습니다.
최적화 경로 이탈: 위 두 가지 상황은 모두 모델이 이상적인 최적화 경로를 벗어나게 만들어, 복잡한 추론 작업 (예: 수학 문제 해결) 에서 성능 향상을 저해합니다.

2. 제안 방법: AAPO (Advantage-Augmented Policy Optimization)

저자들은 위 문제를 해결하기 위해 Advantage Margin(우위 마진) 개념을 도입한 새로운 RL 알고리즘인 AAPO를 제안합니다.

핵심 아이디어: 기존 그룹 내 상대적 비교뿐만 아니라, 고정된 참조 모델 (Reference Model, $\pi_{ref}$ ) 과의 비교를 통해 '우위 마진'을 계산하여 우위 추정치를 보강합니다.
수식적 정의:
기존 GRPO 의 우위 추정치 ( $\hat{A}_{GRPO}$ $\hat{A}_{GR P O}$ ) 에 참조 모델 응답의 보상 ( $r_{ref}$ $r_{r e f}$ ) 과 정책 모델 응답의 보상 ( $r_{\theta}$ $r_{θ}$ ) 의 차이를 '마진'으로 추가합니다.
$\hat{A}^*_{i,t} = \underbrace{\frac{r_{\theta i} - \text{mean}(r_{\theta})}{\text{std}(r_{\theta})}}_{\text{기존 그룹 상대 우위}} + \underbrace{\text{clip}(r_{\theta i} - r_{ref i}, \delta_{low}, \delta_{high})}_{\text{Advantage Margin}}$
- 여기서 $r_{ref i}$ 는 참조 모델이 생성한 응답에 대한 보상입니다.
- 참조 모델은 학습 중 파라미터가 고정되므로, 정책 모델이 발전함에 따라 $r_{\theta}$ 와 $r_{ref}$ 의 격차는 자연스럽게 벌어집니다.
작동 원리:
- 그룹 내 응답들이 모두 비슷하여 기존 우위가 0 에 가까워지더라도, 정책 모델이 참조 모델보다 나은 응답을 생성한다면 Advantage Margin이 양수 값을 유지하게 됩니다.
- 이로 인해 0 이 아닌 의미 있는 그래디언트가 계속 생성되어 학습이 효율적으로 진행됩니다.
- 또한, 이 방법은 보상 해킹 (Reward Hacking) 위험을 줄이고 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

심층 분석: RL 기반 후학습 (Post-training) 에서 그룹 상대적 우위 추정 방법이 유발하는 '영 우위 (Zero Advantage)' 및 '불안정한 그래디언트' 문제를 이론적, 실험적으로 심층 분석했습니다.
새로운 알고리즘 (AAPO) 제안: 참조 모델과의 비교를 통해 'Advantage Margin'을 도입하여 기존 방법의 한계를 극복하는 새로운 RL 알고리즘을 개발했습니다. 이는 크로스 엔트로피 (CE) 손실을 최적화하는 방식으로 구현됩니다.
이론적 보장: AAPO 의 학습 안정성 (Stability) 과 수렴성 (Convergence) 을 수학적으로 증명했습니다. (보상과 그래디언트가 유계임을 가정할 때, 목적 함수가 발산하지 않고 정상 점에 수렴함을 보임)
범용적인 성능 향상: 다양한 모델 시리즈 (Llama, Qwen 등) 와 수학 추론 벤치마크에서 기존 GRPO, GPG, DAPO 등 최첨단 방법론보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

논문은 여러 수학 추론 벤치마크 (AIME24, MATH-500, AMC23, Minerva, OlympiadBench) 에서 AAPO 의 성능을 평가했습니다.

성능 우위:
- Llama 1B/3B 모델: GRPO 및 GPG 대비 평균 점수에서 2.5%~4.6% 의 절대적 개선을 보였습니다.
- Qwen 1.5B 모델: DeepSeek-R1-Distill-Qwen-1.5B 기반 모델에서 GRPO 대비 2.7%, GPG 대비 2.0% 향상되었으며, 더 많은 데이터로 학습된 'Still-3-1.5B-Preview' 모델보다도 우수한 성능을 기록했습니다.
- Qwen 7B 모델: SimpleRL-Zero-7B 대비 12.2%, GPG-7B 대비 10.3% 의 큰 폭의 성능 향상을 보이며 모든 벤치마크에서 SOTA(State-of-the-Art) 수준을 달성했습니다.
학습 동역학:
- Zero Advantage 감소: 학습 후기로 갈수록 기존 방법은 0% 우위 비율이 급증하는 반면, AAPO 는 거의 0% 우위 현상이 발생하지 않아 학습 효율이 유지됨을 확인했습니다.
- 안정성: 학습 손실 (Loss) 의 분산을 분석한 결과, AAPO 가 GRPO 및 GPG 보다 더 낮은 분산을 보여 학습 과정이 훨씬 안정적임을 입증했습니다.
계산 효율성:
- 참조 모델 샘플링으로 인한 추가 오버헤드가 있지만, GPU 메모리 사용량은 GRPO 와 유사하게 유지됩니다. (1.5B 모델 기준 52.2GiB, 7B 모델 기준 약 79GiB)
- 학습 시간은 참조 모델 추론으로 인해 다소 증가하지만, 고급 추론 엔진 (vLLM 등) 을 사용하면 최적화 가능하다고 언급했습니다.

5. 의의 및 결론 (Significance)

이 논문은 RL 기반 LLM 학습에서 가치 모델 의존성을 제거한 GRPO 계열 방법론의 근본적인 한계 (학습 후반부 효율 저하) 를 명확히 지적하고, 이를 해결할 수 있는 실용적인 대안을 제시했습니다.

데이터 효율성: AAPO 는 방대한 양의 고품질 CoT(Chain-of-Thought) 데이터 없이도, 참조 모델과의 비교를 통해 모델의 추론 능력을 효과적으로 향상시킵니다.
안정적인 최적화: '영 우위' 문제를 해결함으로써 RL 학습이 수렴하는 단계에서도 지속적인 학습이 가능하게 하여, 모델이 더 복잡한 추론 능력을 습득할 수 있는 토대를 마련했습니다.
확장성: 다양한 크기의 모델 (1B~7B) 과 아키텍처에서 일관된 성능 향상을 보여주어, 향후 LLM 의 추론 능력 강화에 표준적인 기법으로 자리 잡을 잠재력을 가지고 있습니다.

결론적으로, AAPO 는 Advantage Margin이라는 간단한 아이디어를 통해 RL 학습의 안정성과 효율성을 동시에 개선한 획기적인 방법론으로 평가됩니다.