기술 요약: 실수에 대한 처벌을 넘어 (ACOER)

1. 문제 정의

DeepSeek-R1 및 Qwen3와 같은 대규모 추론 모델(LRM)은 강화 학습(RL)을 통해 확장된 추론 궤적을 생성함으로써 수학 벤치마크에서 높은 성능을 달력합니다. 그러나 이러한 능력은 심각한 효율성 병목 현상을 초래하며, 해결 가능한 문제에 대해서도 수천 개의 토큰을 생성하기도 합니다. 이를 해결하기 위해 최근 연구들은 그룹 상대 정책 최적화(GRPO)에 길이 패널티 보상을 통합하고 있습니다.

이 분야에서 매우 중요하지만 잘 이해되지 않은 실패 모드는 **보상 붕괴(reward collapse)**입니다. 모델을 길이 패널티와 함께 학습시키면, 모델이 효과적으로 추론하기에는 너무 짧은 출력을 생성하도록 퇴화되는 경우가 빈번하며, 이로 인해 토큰 생성량과 문제 해결 정확도가 동시에 하락합니다. 실무자들은 이러한 불안정성을 인지하고 있지만, 구체적인 메커니즘—특히 GRPO의 그룹 정규화가 오답에 대한 길이 패널티와 어떻게 상호작용하는지—은 아직 공식화되지 않았습니다. 또한, 기존의 "정답 전용(correct-only)" 보상 전략(정답에 대해서만 길이를 패널티 처리)은 경험적 안정성을 보여주었으나, 왜 여전히 확률적으로 실패할 수 있는지에 대한 이론적 설명이 부족합니다.

2. 방법론 및 분석

2.1 진단 프레임워크

저자들은 보상 붕괴의 트리거를 격리하기 위해 통합 평가 프레임워크를 구축했습니다. 이들은 정답($\alpha$)과 오답($\beta$)에 대한 길이 패널티를 분리한 일반화된 보상 함수를 다음과 같이 정의했습니다:
$$r = c + c \cdot \alpha \cdot f(\ell) - (1-c) \cdot \beta \cdot f(\ell) + r_{format}$$
여기서 $c$는 정답 여부, $\ell$은 토큰 길이, $f(\ell)$은 길이에 의존하는 함수입니다. 이들은 다양한 $\beta$ 값(0에서 0.10까지)과 신호 유형(연속형 vs 이산형)에 걸쳐 11가지 구성을 평가했습니다.

2.2 붕괴의 메커니즘 분석

체계적인 평가와 이론적 분석을 통해, 본 논문은 GRPO의 그룹 정규화에 의해 발생하는 두 가지 뚜로 다른 붕괴 경로를 식별했습니다:

• 경로 1: $\beta$-루프 (구조적 붕괴).
  오답에 대해 연속적인 길이 패널티가 적용될 때($\beta > 0$), 최적화 과정은 구조적으로 붕괴되기 쉽습니다.

  • 혼합 그룹(Mixed Groups): 정답과 오답이 섞여 있는 배치 내에서, 오답 샘플은 길이에 대해 지속적인 음의 그래디언트($\partial \hat{A}_i / \partial \ell_i < 0$)를 받습니다. 이는 추론을 축소하려는 끊임없는 하향 압력을 생성합니다.
  • 동질 그룹(Homogeneous Groups): 모든 답변이 오답인 배치에서는 보상 분산이 0에 수렴합니다. 길이의 아주 미세한 차이만으로도 정규화된 어드밴티지(advantage)가 발산하여, 정책을 제로 길이(zero length)로 강제하는 폭발적인 그래디언트 스파이크를 생성합니다.
  • 결과: 아주 미미한 패널티 가중치($\beta=0.01$)만으로도 붕괴를 유발하기에 충분합니다.

• 경로 2: 확률적 정답 압축 (Stochastic Correct-Answer Compression).
  오답에 대한 패널티를 제거하면($\beta=0$) 경로 1은 제거되지만 안정성이 보장되지는 않습니다. 만약 모델의 정답 서브그룹이 과도하게 압축되면(초기화 또는 초기 역학에 의해), 동일한 발산 로직이 정답 서브그룹 내에서도 적용되어 확률적 붕괴로 이어집니다. 정적인 정답 전용 보상은 이를 안정적으로 방지하지 못할 수 있습니다.

2.3 제안된 솔루션: ACOER

두 경로를 모두 해결하기 위해, 저자들은 세 가지 시너지 효과를 내는 메커니즘을 사용하는 **ACOER (Adaptive Correct-Only Efficiency Reward)**를 제안합니다:

1. 정답 전용 신호 ($\beta=0$): 길이 패널티를 정답 완료에만 적용함으로써 구조적 $\beta$-루프를 제거합니다.
2. 적응형 예산 정규화 ($B_t$): 고정된 최대 토큰 제한 $L$ 대신, 정답 답변 길이의 지수 이동 평균(EMA)을 기반으로 하는 동적 예산 $B_t$를 사용합니다. 이는 미세한 토큰 감소가 불균형하게 큰 보너스로 이어지는 폭주 피드백을 방지합니다.
3. 제어 루프 패널티 적응 ($\alpha_t$): 정확도 보존에 따라 간결함 보너스 가중치 $\alpha_t$를 동적으로 조정합니다. 정확도가 임계치 이하로 떨어지면 $\alpha_t$를 빠르게 감쇠시켜 회복을 허용하고, 정확도가 안정적일 때는 천천히 증가시킵니다.

3. 주요 결과

Qwen3-1.7B를 사용하여 NuminaMath-TIR로 학습시키고 MATH-500, MATH-Hard, AIME 2025, OlympiadBench에서 평가를 수행했습니다.

• 안정성: 연속적인 $\beta > 0$를 가진 방법들 중 붕괴율은 100% (8/8)였습니다. 반면, ACOER와 기타 정답 전용/이산형 방법들은 안정성을 유지했으며, 단 1/6만이 (정적 초기화 문제로 인해) 붕괴되었습니다.
• 효율성 vs 정확도: MATH-500에서 ACOER는 기본 모델의 정확도(88.4% vs 88.8%)와 유사한 수준을 유지하면서 토큰 생성을 62% 감소시켰습니다 (5,553개에서 2,134개로).
• 난이도 적응성: ACOER는 작업 적응형 동작을 보여주었습니다. 쉬운 문제(Level 1)에서는 토큰을 78.6% 줄였지만, 매우 어려운 문제(Level 5)에서는 더 큰 추론 예산을 유지하여(52.6% 감소) 필요한 곳에서 계산적 깊이를 보존했습니다.
• 비교: ACOER는 심각한 정확도 저하(예: 정확도가 68%까지 하락)를 겪은 붕괴된 방법들(예: GRPO+LP)보다 우수한 성능을 보였으며, 정적 정답 전용 베이스라인에 비해 더 뛰어난 안정성을 보여주었습니다.

4. 의의 및 주장

본 논문은 GRPO 기반 효율성 학습에서 보상 붕괴에 대한 경험적 및 이론적 토대를 확립했다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 메커니즘 설명: 연속적인 길이 패널티가 오답 롤아웃에 적용될 때 GRPO의 그룹 정규화가 본질적으로 발산하는 어드밴티지를 생성한다는 것을 입증하는 공식적 이론 분석을 제공하여, $\beta$-루프의 불가피성을 설명합니다.
2. 이중 실패 모드 식별: 구조적 붕괴(오답 패널티에 의해 유발됨)와 확률적 붕괴(정답의 과도한 압축에 의해 유발됨)를 구분하여, 단순히 오답 패널티를 제거하는 것이 필요조건이지만 절대적 안정성을 위한 충분조건은 아님을 보여줍니다.
3. 안정적인 최적화 패러다임: ACOER는 두 가지 실패 모드를 견고하게 방지하여, 추론 능력을 희생하지 않으면서도 효율성을 고려한 최적화를 가능하게 하는 원칙적인 적응형 솔루션을 제공합니다.

저자들은 ACOER가 효율성을 크게 개선하지만, 현재의 평가 세트 크기를 고려할 때 안정적인 베이스라인(예: 정확도 전용 GRPO) 대비 정확도 이득이 통계적으로 유의미하지는 않다는 점을 언급하며 겸허한 입장을 유지합니다. 주요 장점은 상당한 토큰 감소입니다. 또한 모델 규모 일반화(1.7B만 테스트됨), 멀티 시드 분석의 높은 계산 비용, 그리고 추가적인 하이퍼파라미터 민감도 탐색의 필요성에 대한 한계를 인정합니다.

5. 한계 및 윤리

• 규모: 실험은 Qwen3-1.7B로 제한되었으며, 더 큰 모델(7B 이상)로의 일반화는 검증이 필요합니다.
• 계산: 확률적 취약성 분석은 멀티 시드 실행의 높은 계산 비용으로 인해 제한되었습니다.
• 윤리: 저자들은 추론 궤적을 단축하는 것이 투명성을 감소시키거나 취약한 추론을 은폐할 수 있다고 경고합니다. 따라서 작업별 검증과 모니터링을 권장하며, 오직 토큰 절감만을 근거로 안전이 중요한 시스템에 배포하는 것에 주의를 당부합니다.