🤖 machine learning

Leveraging Error Diversity in Group Rollouts for Reinforcement Learning

본 논문은 반복된 실패를 억제하고 탐색적 추론을 장려하기 위해 그룹 내 오류 다양성에 기반하여 이득 신호를 조절함으로써 검증 가능 보상 기반 강화 학습 (RLVR) 을 개선하는 경량 사후 기법인 오류 다양성 이득 형성 (EDAS) 을 소개하며, 이를 통해 여러 벤치마크에서 일관된 성능 향상을 달성합니다.

원저자: Wenpu Liu, Yuqi Xu, Weichu Xie, Yongfu Zhu, Shuai Dong, Ziyue Wang, Wenqi Shao, Xiaoying Zhang, Tong Yang, Nan Duan, Jiaqi Wang

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenpu Liu, Yuqi Xu, Weichu Xie, Yongfu Zhu, Shuai Dong, Ziyue Wang, Wenqi Shao, Xiaoying Zhang, Tong Yang, Nan Duan, Jiaqi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 학생에게 매우 어려운 수학 문제를 풀도록 가르친다고 상상해 보세요. 그 학생에게 같은 문제를 10 번 연속으로 풀어보라고 요청합니다.

과거의 방식 (기존 강화 학습) 에서는 학생이 정답을 틀리면 단순히 "틀렸어, 다시 해봐"라고 말합니다. 학생이 어떻게 틀렸는지에 관계없이 모든 실수를 동일하게 취급합니다.

하지만 이 논문의 저자들은 흥미로운 점을 발견했습니다: 모든 실수가 똑같은 것은 아닙니다.

큰 발견: "실수 파티" 대 "고장 난 레코드"

연구자들은 동일한 문제에 대한 10 번의 시도 그룹을 분석했습니다. 그리고 두 가지 매우 다른 시나리오를 발견했습니다:

고장 난 레코드 (동질적 오류): 학생이 10 번 시도하지만, 매번 정확히 같은 실수를 합니다. 아마도 모두 1 을 올리는 것을 잊거나, 모두 같은 방식으로 문제를 잘못 읽었을 것입니다.
- 결과: 학생은 막히게 됩니다. 같은 벽을 계속 부딪히기 때문에, 새로운 실패 방식을 탐구하지 않으므로 별로 배우지 못합니다.
실수 파티 (다양한 오류): 학생이 10 번 시도하지만, 10 가지 서로 다른 방식으로 실패합니다. 한 번은 단계를 잊어버리고, 다른 한 번은 잘못된 공식을 사용하며, 또 다른 한 번은 계산 실수를 합니다.
- 결과: 이는 학습에 있어 금광입니다! 학생이 옳든 그르든 많은 다른 경로를 시도했기 때문에, 교사 (AI 학습 시스템) 는 논리가 어디서 무너지는지 정확히 파악하고 학생을 훨씬 더 잘 안내할 수 있습니다.

이 논문의 주요 주장: 시도 그룹이 다양한 잘못된 답을 포함하고 있다면 AI 는 훨씬 더 빠르게 학습합니다. 반면, 모두가 같은 실수를 한다면 학습은 멈춥니다.

해결책: EDAS ("스마트 코치")

이를 해결하기 위해 저자들은 **Error Diversity Advantage Shaping(오류 다양성 우위 형성, EDAS)**이라는 새로운 기법을 개발했습니다. EDAS 를 학생의 10 번 시도를 지켜보고 실수의 다양성에 따라 피드백을 조정하는 초지능 코치로 생각하세요.

간단한 비유를 들어 EDAS 가 어떻게 작동하는지 살펴보겠습니다:

"고장 난 레코드" 페널티: 학생이 10 번 연속으로 같은 실수를 하면 (고장 난 레코드처럼), EDAS 는 "좋아, 너는 루프에 갇혔구나. 이 고리를 끊어내도록 이걸 강력하게 처벌해야 해"라고 말합니다. 그 특정 반복 오류에 큰 '부정 점수'를 부여하여 학생을 그 오류에서 멀어지게 합니다.
"실수 파티" 보상: 학생이 10 가지 서로 다른 종류의 실수를 하면, EDAS 는 "좋아! 너는 탐구하고 있구나. 비록 정답은 아니었지만 새로운 것을 시도했어"라고 말합니다. 이러한 드물고 독특한 오류에 대한 처벌은 완화합니다. 학생에게 "이 특정 드문 실수에 너무 걱정하지 말고 새로운 것들을 계속 시도해 봐"라고 말합니다.

왜 이것이 중요한가

이 논문은 수학 경시대회(AIME 및 AMC 등) 와 코딩(컴퓨터 프로그램 작성) 이라는 두 가지 매우 어려운 작업에서 이를 테스트했습니다.

그들은 인기 있는 AI 모델 (Qwen3) 을 사용하여 기존 학습 방식과 새로운 EDAS 방법을 비교했습니다.

수학에서: EDAS 방법은 AI 가 훨씬 더 어려운 문제를 풀도록 도왔습니다. 평균적으로 100 점 만점에 약 6 점만큼 AI 의 점수가 향상되었는데, 이는 이 분야에서 매우 큰 도약입니다.
코딩에서: 이 방법은 AI 가 더 나은 코드를 작성하도록 도왔으며, 특히 AI 가 종종 같은 오류 루프에 갇히곤 하는 까다로운 문제에서 두드러졌습니다.

"비밀 소스"

이 논문의 가장 멋진 점은 EDAS 가 AI 의 사고방식이나 학습의 근본적인 방식을 변경할 필요가 없다는 것입니다. 이는 경기 후 조정과 같습니다.

스포츠 팀이 경기를 한다고 상상해 보세요. 코치는 선수들의 근육이나 경기 규칙을 바꾸지 않습니다. 대신 경기 후 통계를 보고 "야, 너는 계속 같은 수비 실수를 했으니 그 부분에 집중해서 더 열심히 훈련할 거야. 하지만 실패한 새로운 공격 플레이를 시도했으니, 그 용기 있는 시도에는 조금 점수를 줘야겠어"라고 말합니다.

이 간단한 조정으로 AI 는 같은 실수를 반복하는 "바보 같은 루프"에 갇히는 것을 멈추고, 정답을 찾을 때까지 더 다양한 경로를 시도하도록 장려받게 됩니다.

요약

문제: AI 는 종종 정확히 같은 실수를 반복하며 갇히곤 합니다.
통찰: 서로 다른 종류의 실수를 포함하는 시도 그룹은 모두 같은 실수를 하는 그룹보다 학습에 훨씬 더 유리합니다.
해결책: EDAS 는 반복된 실수는 강력하게 처벌하지만, 독특하고 드문 실수는 보상하거나 (적어도 덜 처벌하는) 도구입니다.
결과: AI 는 성공하기 전에 실패하는 더 다양한 방식을 탐구함으로써 더 빠르게 학습하고, 더 어려운 수학 문제를 풀며, 더 나은 코드를 작성합니다.

기술 요약: 강화 학습을 위한 그룹 롤아웃에서의 오류 다양성 활용

문제 정의

검증 가능한 보상을 통한 강화 학습 (RLVR) 은 수학 및 코드 생성과 같이 프로그래밍적으로 정확성을 확인할 수 있는 분야에서 대규모 언어 모델 (LLM) 을 훈련시키는 데 중요한 패러다임으로 부상했습니다. 현대의 RLVR 알고리즘 (예: GRPO, DAPO) 의 정의적인 특징은 단일 프롬프트에 대해 정책이 여러 후보 응답을 생성하는 그룹 기반 롤아웃을 사용한다는 점입니다.

그러나 현재 방법론들은 이러한 그룹 출력의 집합적 구조를 대부분 폐기합니다. 개별 정확성 라벨을 고립적으로 취급하여 샘플당 이진적인 정답/오답 구분만을 기반으로 이득 (advantage) 신호를 계산합니다. 이 접근법은 그룹 내 오류의 분포를 무시합니다. 저자들은 이것이 중요한 기회를 놓친 것으로 주장합니다. 롤아웃 그룹 내 잘못된 답변의 다양성은 훈련 성공의 강력한 예측 변수임에도 불구하고, 이 정보는 현재 충분히 활용되지 않고 있습니다.

방법론: 오류 다양성 이득 형성 (EDAS)

이를 해결하기 위해 저자들은 **오류 다양성 이득 형성 (Error Diversity Advantage Shaping, EDAS)**을 제안합니다. 이는 그룹 내 오류 다양성에 기반하여 잘못된 롤아웃에 대한 이득 신호를 조절하는 경량이고 알고리즘에 구애받지 않는 기법입니다. EDAS 는 핵심 훈련 알고리즘을 수정하지 않고도 어떤 그룹 상대적 RLVR 방법과도 통합될 수 있는 사후 (post-hoc) 조정으로 작동합니다.

핵심 메커니즘

EDAS 는 도메인별 오류 등가 함수 $E(\cdot)$ 를 기반으로 잘못된 궤적을 등가 클래스로 분할합니다:

수학적 추론: 궤적은 기호 정규화를 사용한 정규화된 수치 답변에 따라 그룹화됩니다.
코드 생성: 궤적은 Python 예외 유형 (예: SyntaxError, TypeError) 에 따라 그룹화됩니다.

서로 다른 오류 클래스의 수 ( $K$ ) 와 잘못된 궤적의 총 수 ( $N_w$ ) 를 기반으로 EDAS 는 원래 이득 $A_{orig}$ 에 조각별 조정 $\Delta_i$ 를 적용합니다:

불충분한 통계 ( $N_w \le 1$ ): 조정이 이루어지지 않습니다 ( $\Delta = 0$ ).
오류 고착 / 모드 붕괴 ( $N_w > 1, K = 1$ ): 모든 잘못된 답변이 동일합니다. EDAS 는 모델이 고착된 실패 모드를 포기하도록 강요하기 위해 균일한 음수 이동 ( $-\beta \cdot S$ ) 을 적용하여 패널티를 증폭시킵니다.
건강한 다양성 ( $K > 1$ ): 여러 오류 유형이 존재합니다. EDAS 는 정규화된 상대적 놀라움 (normalized relative surprisal)( $T_i$ $T_{i}$ )을 기반으로 패널티를 재분배합니다:
- 우세한 오류: 빈번한 오류 유형은 증폭된 패널티를 받습니다.
- 희귀/탐색적 오류: 드문 오류 유형은 감쇠된 패널티를 받습니다.
- 이 재분배는 잘못된 부분 집합 내에서 엄격한 제로섬 제약을 만족시키며, 기본 추정량의 편향되지 않은 성질을 유지하면서 탐색을 선호하도록 기울기 지형을 재형성합니다.

단조성 보존 클리핑 메커니즘은 잘못된 궤적에 대한 이득의 부호가 결코 반전되지 않도록 보장하여 (잘못된 답변에 대한 가짜 보상 방지) 조정의 안전성을 확보합니다.

주요 기여

오류 다양성에 대한 경험적 통찰: 저자들은 그룹 내 오류 분포를 RLVR 효과성의 결정적 요인으로 규명했습니다. 그들의 분석은 다양한 잘못된 답변을 유발하는 문제들이 실질적으로 더 높은 개선율을 보인 반면, 동질적인 실패는 정책 최적화의 병목 현상을 초래함을 드러냈습니다. 그들은 서로 다른 잘못된 답변이 서로 다른 근본적인 추론 경로 (논리적 근원) 와 언어 패턴에 해당함을 검증했습니다.
오류 다양성 이득 형성 (EDAS): 정보 이론적 측정 (엔트로피 및 자기 정보) 을 사용하여 이득 신호를 동적으로 보정하는 프레임워크입니다. 이는 오류 고착을 억제하고 대체 추론 궤적의 탐색을 장려합니다.
종합적인 경험적 검증: 다양한 모델 규모 (Qwen3-8B, Qwen3-4B, Qwen3-4B-Base) 와 두 가지 도메인 (수학적 추론 및 코드 생성) 에 걸친 광범위한 평가는 견고한 성능 향상을 입증했습니다.

실험 결과

저자들은 EDAS 를 주류 RLVR 방법 (GRPO 및 DAPO) 위에 적용하여 일곱 가지 수학 벤치마크 (AIME 2024–2026, AMC 2023–2024, HMMT 2025, OlympiadBench) 와 네 가지 코드 생성 벤치마크 (LiveCodeBench, Codeforces, HumanEval+, MBPP+) 에서 평가했습니다.

수학적 추론: Qwen3-8B 에서 EDAS 가 통합된 DAPO 는 일곱 가지 벤치마크에 걸쳐 표준 DAPO 베이스라인 대비 평균 6.29 점의 개선을 달성했습니다. 특히 AIME 2026, HMMT 와 같은 더 어려운 벤치마크에서 개선이 두드러졌으며, EDAS 는 올바른 솔루션의 더 넓은 범위를 나타내는 Pass@k 지표를 크게 향상시켰습니다.
코드 생성: EDAS 는 네 가지 벤치마크에 걸쳐 DAPO 대비 평균 1.45 점의 개선을 보였으며, 가장 큰 향상은 Codeforces 에서 관찰되었습니다.
병목 현상 극복: 초기 베이스 모델이 0% 정확도를 보인 "어려운" 문제에서 EDAS 는 64 개 문제 중 **30 개 (46.9%)**를 성공적으로 해결한 반면, DAPO 는 22 개 (34.4%) 만 해결했습니다. 주목할 점은 EDAS 가 DAPO 가 전혀 해결하지 못한 10 개의 문제를 유일하게 해결했다는 것입니다.
다양성 보존: 훈련 역학 분석 결과, EDAS 는 베이스라인에 비해 훈련 전반에 걸쳐 고유한 잘못된 답변의 다양성을 훨씬 더 많이 유지하여 좁은 실패 모드로의 조기 수렴을 방지하는 것으로 나타났습니다.

중요성 및 주장

이 논문은 그룹 롤아웃의 잠재적 정보, 특히 오류의 다양성을 활용하는 것이 RLVR 을 강화하는 데 광범위하게 효과적인 전략이라고 주장합니다. EDAS 의 중요성은 다음과 같은 능력에 있습니다:

동질적인 실패 모드의 "낭비"를 학습 신호로 전환합니다.
아키텍처 변경이나 복잡한 샘플링 수정 없이 간단한 사후 조정을 제공합니다.
표준 RLVR 이 종종 정체되는 가장 어려운 문제들을 특히 하여 국소 최적점 (모드 붕괴) 에서 벗어나 새로운 추론 경로를 발견하는 모델의 능력을 체계적으로 향상시킵니다.

저자들은 EDAS 가 현재 오류 분할을 위한 관찰 가능한 출력 특징이 있는 도메인으로 제한되어 있지만, 그 성공은 오류 구조를 활용하는 것이 RLVR 성능을 개선하기 위한 근본적인 레버임을 시사한다고 결론지었습니다.