🤖 machine learning

ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy

본 논문은 모드 국소 대리 엔트로피(mode-local surrogate entropy)를 활용하여 정책 업데이트를 비대칭적으로 조절함으로써 희소한 보상과 정렬되지 않은 그래디언트 문제를 효과적으로 해결하고, 수학적 추론 및 코딩 벤치마크에서 기존 강화 학습 베이스라인들을 능가하는 토큰 수준의 크레딧 할당 프레임워크인 적응형 크레딧 정책 최적화(Adaptive Credit Policy Optimization, ACPO)를 제안한다.

원저자: Zijun Xie, Yuyang You, Yongzhi Li, Enlei Gong, Zeyu Chen, Quan Chen, Yanhua Cheng, Peng Jiang, Yadong Mu

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zijun Xie, Yuyang You, Yongzhi Li, Enlei Gong, Zeyu Chen, Quan Chen, Yanhua Cheng, Peng Jiang, Yadong Mu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제: "일률적인" 성적 매기기
전통적인 훈련 방식에서는 학생이 최종 정답을 맞히면, AI는 그 학생이 쓴 모든 단어에 "금메달"을 줍니다. 반대로 틀리면, 모든 단어에 "엄지 아래로(낙제)"를 줍니다.

이는 비효율적입니다. 긴 에세이를 쓰는 학생을 생각해 보세요.

좋은 경우: 학생이 에세이의 90%를 완벽하게 썼지만, 중간에 아주 작은 실수 하나를 자신 있게 저질러서 전체를 망쳤을 수 있습니다.
나쁜 경우: 학생이 절반 정도는 갈피를 못 잡고 무작ā으로 추측하며 썼지만, 마지막에 운 좋게 정답을 맞혔을 수도 있습니다.

모든 단어를 똑같이 취급하면 AI는 혼란에 빠집니다. 어떤 단어가 성공을 도왔고, 어떤 단어가 실패를 초래했는지 알 수 없기 때문입니다. 이를 **신용 할당 문제(Credit Assignment Problem)**라고 합니다.

기존의 해결책들: 추측과 투박한 도구들
이전 방법들은 다음과 같이 이를 해결하려 했습니다:

과정 보상(Process Rewards): 사람이 에세이의 모든 단계를 일일이 채점하도록 고용하는 것입니다. 이는 비용이 너무 많이 들고 느립니다.
엔트로피(확신도) 체크: AI가 각 단어에 대해 얼마나 "확신"하고 있는지 측정합니다. 만약 AI가 불확실했다면(높은 엔트로피), 그 단어가 중요하다고 가정했습니다.
- 결함: 어떤 방식은 단순히 "불확실한 상위 20%의 단어를 무시하라"고 말하는데, 이는 너무 투박합니다. 다른 방식들은 "불확실성"을 직접 수학적으로 최적화하려 했으나, 이는 마치 백미러를 보며 후진 주행을 하며 자동차를 조종하려는 것과 같아서 엔진에 혼란스러운 신호를 보냅니다.

새로운 해결책: ACPO (적응형 신용 정책 최적화)
저자들은 ACPO라는 새로운 방법을 제안합니다. ACPO는 학생의 확신도를 실시간으로 관찰하고 그에 따라 피드백을 조정하는 매우 똑똑한 코치라고 생각하면 됩니다.

ACPO가 작동하는 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. "대리 엔트로피" (확신도 미터기)

전체 사전(dictionary)을 대상으로 AI의 혼란을 측정하는 것은 지저분하고 노이즈가 많기 때문에, ACPO는 확신도 미터기를 사용합니다. 오직 AI가 다음에 선택할 가능성이 가장 높은 단어 하나만을 살펴봅니다.

높은 확신: AI가 자신의 답에 확신이 있는 상태입니다.
낮은 확신: AI가 망설이고 있는 상태입니다.

저자들은 흥미로운 패턴을 발견했습니다. AI가 실수를 할 때, 종종 자신만만한 틀린 답을 내놓은 뒤, 이를 만회하려고 시도하는 과정에서 확신도가 엉망이 되고 흔들리는 경향이 있다는 것입니다. ACPO는 이 "흔들림"을 하나의 신호로 사용합니다.

2. 비대칭 전략 (이중 트랙 시스템)

ACPO는 "좋은 날"과 "나쁜 날"을 다르게 취급합니다.

시나리오 A: 학생이 정답을 맞힌 경우 (긍정적 이득)
- 논리: 학생이 문제를 풀었지만, 특정 단계에서 망설였다면(낮은 확신), 그 망설임은 사실 깊은 사고나 결정적인 판단 지점이었음을 의미합니다.
- 조치: ACPO는 이렇게 말합니다. "잘했어! 하지만 네가 확신이 없었던 그 부분 말이야, 그 특정 단어에 보상을 두 배로 줘." 이는 AI가 결과적으로 정답을 맞힌다면, 확신이 없을 때도 계속해서 깊이 생각하도록 독려합니다.
시나리오 B: 학생이 틀린 경우 (부정적 이득)
- 논리: 학생이 실패했는데, 실수를 저지를 당시에 매우 확신에 차 있었다면(높은 확신), 그것은 위험합니다. 즉, 과잉 확신을 가지고 틀렸다는 뜻입니다.
- 조치: ACPO는 이렇게 말합니다. "너는 틀렸고, 너무 확신하고 있었어. 그 자신만만한 실수를 엄하게 처벌해." 하지만 만약 학생이 실수한 이후에 혼란스러워하며 갈피를 못 잡고 있다면, AC포는 "그 혼란스러운 부분은 신경 쓰지 말고, 자신만만했던 오류에 집중해"라고 말합니다.

3. 왜 더 나은가? ("대리" 기법)

논문은 전체 "불확실성" 수학을 사용하는 것이 왜 번거로운지 설명합니다. 이는 AI가 실제로 선택한 단어뿐만 아니라 선택할 수도 있었던 모든 단어를 고려하려 하기 때문이며, 이 과정에서 "노이즈"가 발생합니다.

ACPO는 **대리 엔트로피(Surrogate Entropy)**를 사용합니다. 이것은 확신도 미터기의 단순화되고 깨끗한 버전이라고 생각하면 됩니다. 이는 "만약에"라는 시나리오의 지저분한 배경 소음은 무시하고, 오직 다음 질문에만 집중합니다: "AI가 실제로 쓴 단어에 대해 얼마나 확신했는가?"

이 방식은 훈련 신호를 훨씬 명확하게 만듭니다. 이는 코치가 "네가 할 수도 있었던 다른 99개의 단어에는 관심 없어. 다만 여기서 틀린 단어를 자신 있게 말한 것에 집중할게"라고 말하는 것과 같습니다.

결과

저자들은 이 방법을 어려운 수학 문제(AIME 등)와 코딩 챌린지에 테스트했습니다.

결과: ACPO는 다른 상위 방법들(GRPO, DAPO, SAPO 등)을 일관되게 앞질렀습니다.
이유: ACPO는 어떤 단어를 칭찬하고 어떤 단어를 교정해야 할지 정확히 알고 있었기 때문에, 단순히 전체 답변에 일반적인 성적을 매기는 방식보다 훨씬 더 빠르고 안정적으로 학습했습니다.

요약하자면:
ACPO는 AI의 숙제를 채점하는 더 똑똑한 방법입니다. 전체 답변에 단 하나의 성적을 주는 대신, 매 단계마다 학생의 확신도를 살핍니다. 만약 학생이 확신이 없었지만 정답을 맞혔다면 추가 점수를 줍니다. 만약 학생이 자신만만했지만 틀렸다면 엄격하게 벌점을 줍니다. 이를 통해 AI는 신중하게 생각하는 법을 배우고 과잉 확신을 피하는 법을 익히게 됩니다.

기술 요약: ACPO – 미세 조정된 대리 엔트로피를 통한 적응형 신용 정책 최적화 (Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy)

1. 문제 정의

강화 학습(RL)은 수학 및 코딩과 같이 검증 가능한 목적 함수가 존재하는 도메인에서 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켜 왔습니다. 그러나 핵심적인 병목 현상이 남아 있습니다: 바로 **희소한 결과 보상(sparse outcome rewards)**입니다. 검증 가능한 보상(Verifiable Rewards, RLVR)을 사용하는 표준 RL에서는 일반적으로 긴 사고 사슬(Chain-of-Thought, CoT) 궤적의 끝에서만 스칼라 보상이 주어집니다.

GRPO(Group Relative Policy Optimization)와 같은 기존의 확장 가능한 방법들은 이 궤적 수준의 보상을 모든 토큰에 균등하게 할당합니다. 이러한 "무차별적인" 할당은 개별 추론 단계의 다양한 기여도를 무시하며, 이는 높은 분산과 불안정성을 초래합니다. 최근의 엔트로피 인식 접근 방식들은 토큰 불확실성을 중요도의 대리 지표로 사용하여 이를 해결하려 시도하지만, 다음과 같은 두 가지 주요 한계에 직면해 있습니다:

조잡한 휴리스틱(Coarse Heuristics): "하드 버킷"(예: 상위 20%의 최고 엔트로피 토큰을 균일하게 취급)에 의존하는 방식은 복잡한 추론을 위한 정밀한 그래뉴리티(granularity)를 갖추지 못했습니다.
최적화 불일치(Optimization Mismatch): 실제 엔트로피를 직접 최적화하는 것은 샘플링된 토큰 정책 업데이트와 정렬되지 않는 비지역적(non-local) 그래디언트 성분(전체 어휘 분포에 작용함)을 도입합니다. 또한, 실제 엔트로피는 분리(detached)된 상태에서도 어휘 분포의 롱테일(long-tail)에 존재하는 노이즈에 민감합니다.

2. 방법론: 적응형 신용 정책 최적화 (ACPO)

ACPO는 **모드 국소 대리 엔트로피(mode-local surrogate entropy)**를 기반으로 정책 업데이트를 동적으로 조절하는 토큰 수준의 신용 할당 프레임워크를 제안합니다.

2.1 핵심 통찰: 오류 발생 시의 엔트로피 급증

수학적 추론 작업(AIME)에 대한 경험적 분석 결과, 모델이 추론 오류를 범할 때 단계별 조건부 엔트로피가 급격히 치솟고 높은 상태를 유지하는 반면, 정답 궤적은 낮고 안정적인 엔트로피를 유지한다는 뚜렷한 패턴이 발견되었습니다. 이는 불확실성이 추론의 결정적인 "분기점(forking points)"을 식별하는 강력한 신호임을 시사합니다.

2.2 대리 엔트로피 공식화

실제 엔트로피의 최적화 불일치를 피하기 위해, ACPO는 지배적 모드의 보완 확률로 정의되는 대리 엔트로피( $\delta_{i,t}$ )를 도입합니다:
$\delta_{i,t}(\theta) = 1 - \pi_\theta(v^*_{i,t} | q, y_{i,<t})$
여기서 $v^*_{i,t}$ 는 확률이 가장 높은 토큰입니다.

모드 국소 집중(Mode-Local Focus): 전체 어휘 분포의 엔트로피와 달리, $\delta$ 는 모델의 가장 유력한 예측에 대한 확신에만 집중합니다.
그래디언트 동작: "모드 정렬(modal alignment)"(샘플링된 토큰이 지배적 모드와 빈번하게 일치함) 가정하에, $\delta$ 의 그래디언트는 전체 분포가 아닌 지배적 모드에 국소적으로 작용합니다. 이는 의도한 정책 그래디언트 방향을 보존하면서 업데이트의 크기를 조절합니다.
이론적 경계: 본 논문은 이 대리 엔트로피가 실제 섀넌 엔트로피(Shannon entropy)에 대해 결정론적 경계를 가지며, 질량이 집중된 LLM 분포 하에서 견고한 근사치를 제공함을 증명합니다.

2.3 비대칭 신용 할당

ACPO는 이 대리 엔트로피를 어드밴티지 추정치( $\hat{A}_{i,t}$ )를 위한 비대칭 가중치 체계에 통합하여, 성공적인 궤적과 실패한 궤적을 구분합니다.

양의 어드밴티지 궤적 (성공):
- 목표: 불확실하지만 올바른 결정에 대한 강화를 강화함.
- 메커니즘: 가중치는 $(2 + \delta_{i,t})$ 에 의해 스케일링됩니다.
- 근거: 성공적인 롤아웃에서의 높은 불확실성은 모델이 확신하지 못했지만 결과적으로 맞춘 결정적인 추론 단계를 나타내며, 이러한 단계는 강조되어야 합니다. 상수 오프셋 '2'는 모듈레이션 인자가 양수를 유지하도록 하여 그래디언트 역전을 방지합니다.
양의 어드밴티지가 아닌 궤적 (실패):
- 목표: 과도하게 확신한 실수를 처벌하고, 오류 이후의 노이즈를 줄임.
- 메커니즘: 가중치는 $(1 - \delta_{i,t})$ 에 의해 스케일링됩니다.
- 근거: 잘못된 궤적은 종종 낮은 불확실성(과도한 확신)을 가진 오류와 그 뒤를 잇는 고엔트로피 노이즈를 포함합니다. ACPO는 확신에 찬(오류가 있는) 토큰에는 더 큰 페널티를 부여하고, 이후의 불확실한 토큰에는 더 작은 페널티를 부여함으로써 신용 신호를 효과적으로 "정화(cleaning)"합니다.

최종 목적 함수 $J_{ACPO}$ 는 이러한 비대칭 가중치를 SAPO의 표준 소프트 게이팅 메커니즘과 결합합니다.

3. 주요 기여

미세 조정된 적응형 신용 할당: 양의 궤적과 양의 궤적이 아닌 궤적을 비대칭적으로 처리하여, 불확실한 성공은 강조하고 과도하게 확신한 실패는 처벌하는 토큰 수준의 가중치 체계를 제공합니다.
대리 엔트로피 공식화: 실제 엔트로피의 최적화 불일치를 피하는 새로운 모드 국소 불확실성 대리 지표를 제안합니다. 이는 결정론적 엔트로피 경계를 제공하며, 모드 정렬 및 근사 업데이트 하에서 정책 그래디언트 방향을 보존합니다.
경험적 유효성: 세 가지 베이스 모델(Qwen2.5-Math-7B, DeepSeek-R1-Distill, Qwen3-8B-Base)에 대해 경쟁적인 추론 벤치마크에서 검증되었으며, 강력한 베이스라인들을 지속적으로 능가하는 성능을 입증했습니다.

4. 실험 결과

실험은 수학적 추론 벤치마크(AIME 2024/2025, MATH500, HMMT25, BeyondAIME)와 코딩 벤치마크(HumanEvalPro)에서 수행되었습니다.

성능: ACPO는 GRPO, DAPO, GTPO, SAPO를 포함한 강력한 RL 베이스라인들을 일관되게 앞질렀습니다.
- Qwen2.5-Math-7B에서 ACPO는 평균 점수 34.04를 달성하여 SAPO(31.53)와 GTPO(31.89)를 넘어섰습니다.
- DeepSeek-R1-Distill-Qwen-7B에서 ACPO는 40.21에 도달하여, 차순위 베이스라인인 SAPO(38.35)를 크게 상회했습니다.
훈련 역학: SAPO와 비교했을 때, ACPO는 훈련 보상 및 검증 정확도에서 초기 단계의 개선 속도가 더 빠름을 보여주었습니다. 후기 단계에서는 더 높은 검증 정확도를 유지하여, 훈련 안정성과 더 높은 성능 상한선(ceiling)을 나타냈습니다.
어블레이션 연구 (Ablation Studies):
- 비대칭 설계 $(2+\delta, 1-\delta)$ 가 대칭적 변형이나 분리된(detached) 실제 엔트로피를 사용하는 것보다 우수함을 입증했습니다.
- Top-1 지배적 모드(대리 엔트로피)를 사용하는 것이 분리된 실제 엔트로피나 top- $k$ 변형을 사용하는 것보다 더 효과적이었으며, 이는 지배적 모드의 불확실성이 추론 분기점을 파악하는 간결하고 효과적인 대리 지표임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 ACPO가 비용이 많이 드는 프로세스 보상 모델(PRM)이나 인간의 주석 없이도 LLM을 위한 희소 보상 RL의 근본적인 "신용 할당 병목 현상"을 해결한다고 주장합니다. 조잡하고 균일한 보상 할당을 미세 조정된 엔트로피 인식 메커니즘으로 대체함으로써, ACPO는 모델이 결과 신호로부터 더 효과적으로 학습할 수 있게 합니다.

저자들은 실제 엔트로피가 비지역적 그래디언트를 도입하는 반면, 자신들의 **모드 국소 대리(mode-local surrogate)**는 샘플링된 토큰 업데이트와 정렬된다는 점을 강조합니다. 실험 결과는 성공적인 불확실한 단계와 실패한 과도한 확신 단계를 다르게 취급하는 것이 추론 작업에서 RL 훈련을 안정화하고 가속화하는 데 매우 중요하다는 것을 시사합니다. 이 방법은 기존 GRPO 기반 프레임워크에 대한 확장 가능하고 즉시 적용 가능한(plug-and-play) 개선책으로 제시됩니다.