🤖 machine learning

Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

이 논문은 엔트로피 기반의 어드밴티지 셰이핑(advantage shaping)을 참조 가이드 생성물과 바닐라 생성물 간의 토큰 수준 대조적 불일치(contrastive disagreement)로 대체하여 정답 여부를 더욱 정확하게 신호함으로써 제로 어드밴티지 문제(zero-advantage problem)를 해결하고, 인도메인 및 아웃오브도메인 벤치마크 모두에서 기존 방법들을 크게 능가하는 새로운 강화 학습 프레임워크인 대조 정책 최적화(Contrastive Policy Optimization, CPO)를 소개한다.

원저자: Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 수학 문제나 코딩 챌린지 같은 까다로운 퍼즐을 푸는 법을 가르치고 있다고 상 imagination 해보세요. 당신은 단순히 로봇이 정답을 맞히기를 바라는 것이 아니라, 로봇이 '생각하는 법' 자체를 배우기를 원합니다. 이것이 바로 강화 학습(Reinforcement Learning)의 세계입니다. 여기서 AI는 무언가를 시도해 보고 그에 대한 피드백을 받으며 학습합니다. 보통 피드백은 단순합니다. 최종 답이 맞으면 "잘했어!", 틀리면 "다시 해봐!"라고 하는 식이죠. 하지만 여기에는 함정이 있습니다. 정답으로 가는 길은 길고 구불구불할 수 있으며, 그 과정에는 아주 훌륭한 단계와 어처구니없는 실수가 뒤섞여 있을 수 있습니다. 만약 최종 결과만 본다면, 로봇은 어떤 특정 단계가 도움이 되었고 어떤 단계가 해로웠는지 혼란스러워할 수 있습니다.

이를 해결하기 위해 과학자들은 "엔트로피(entropy)"라는 개념을 사용해 왔습니다. 엔트로피를 로봇이 특정 순간에 느끼는 '불확실성'이나 '혼란'의 척도라고 생각해 보세요. 로봇이 두 가지 선택지 사이에서 망설이고 있다면 엔트로피는 높습니다. 아이디어는 이렇습니다. 높은 불확실성은 로봇이 새로운 아이디어를 탐색하고 있다는 뜻이므로 좋고, 낮은 불확실성은 로로봇이 확신을 가지고 있다는 뜻이므로 역시 좋다는 것입니다. 하지만 문제가 있습니다. 혼란스러워한다는 것이 항상 유용한 것을 탐색하고 있다는 뜻은 아니라는 점입니다. 때때로 로봇은 막다른 길에서 길을 잃었기 때문에 혼란스러워할 수도 있습니다. 이는 마치 학생이 수학 문제를 보며 머리를 긁적이는 것과 같습니다. 그 학생은 기발한 해결책을 위해 깊이 생각하고 있는 걸까요, 아니면 그저 완전히 길을 잃은 걸까요? 전통적인 방식의 엔트로피는 "생산적인 혼란"과 "해로운 혼란"을 구분할 수 없었습니다. "Beyond Entropy"라는 제목의 이 논문은 로봇에게 자신이 올바른 궤도에 있는지 알 수 있는 더 나은 방법을 제공함으로써 바로 이 미스터리를 해결하고자 합니다.

연구진은 **대조적 정책 최적화(Contrastive Policy Optimization, CPO)**라는 새로운 방법을 제안합니다. CPO는 단순히 로봇이 혼란스러운지 추측하는 대신, 마치 학생이 자신의 숙제를 정답지와 비교하는 것처럼 작동합니다. 방금 수학 시험을 마친 학생을 상상해 보세요. 그 학생은 자신의 풀이 과정을 보며 "이 단계는 잘 모르겠어"라고 생각합니다. 그러다 선생님의 정답지를 살짝 훔쳐봅니다. 갑자기 실수가 명확해집니다! 학생은 "아, 나는 여기에 마이너스 부호를 썼는데, 정답지에는 플러스 부호가 있네"라고 깨닫게 됩니다. 자신이 생각했던 것과 실제 정답 사이의 차이, 즉 깨달음의 순간이 자신이 어디서 틀렸는지를 정확히 알려줍니다.

CPO는 AI를 위해 이 작업을 수행합니다. AI의 답변을 가져와서 "참조 답변(reference answer, 정답)"과 비교합니다. 그리고 AI가 생성한 모든 단어(또는 "토큰")를 살펴봅니다. 만약 AI가 틀린 단계에서 확신을 가졌다면, 참조 답변은 그 틀린 단계에 대한 AI의 확신도를 급격히 떨어뜨릴 것입니다. 반대로 AI가 옳은 단계에서 확신이 없었다면, 참조 답변은 그 확신도를 높여줄 것입니다. 이 "대조적 불일치(contrastive disagreement)"—AI가 생각한 것과 올바른 경로 사이의 간극—는 매우 신뢰할 수 있는 신호가 됩니다. 논문은 수학적 증명과 실험을 통해 이 신호가 단순히 AI가 얼마나 "혼란"스러운지를 측정하는 것보다 실수를 포착하는 데 훨씬 더 뛰어나다는 것을 보여줍니다.

연구팀은 Qwen2.5-Math-7B 및 Qwen3-Base-4B와 같은 모델을 사용하여 매우 어려운 수학 문제들로 테스트를 진행했습니다. 그 결과, CPO는 기존 방식(GRPO)보다 성능이 크게 향 향상되었음을 발견했습니다. 평균적으로 기존 방식 대비 약 7.7%에서 8.5%의 성능 향상을 보였습니다. 더욱 인상적인 점은, 다른 방법들이 본 적 없는 문제(out-of-domain tasks)를 풀 때 종종 성능이 저하되는 것과 달리, CPO는 오히려 성능이 좋아졌다는 것입니다. AI의 추론이 진실에서 벗어나는 구체적인 순간들에 집중함으로써, 모델이 더 정확하면서도 더 창의적으로 학습하게 된 것으로 보입니다.

가장 흥란 발견 중 하나는 AI가 다양한 유형의 답변으로부터 어떻게 학습하는가 하는 점입니다. 논문은 AI가 답을 맞혔을 때는 계속해서 탐색하고 새로운 창의적인 경로를 시도하도록 권장해야 하며, 답을 틀렸을 때는 검증된 올바른 단계들을 따르도록 유도해야 한다고 제안합니다(탐색과 활용). CPO는 이 두 가지 행동 사이의 균형을 완벽하게 맞춥니다. 이는 마치 선수에게 "이기고 있을 때는 화려한 새 기술을 시도해 봐! 하지만 지고 있을 때는 네가 아는 기본기에 충실해!"라고 말하는 코치와 같습니다. 이러한 균형은 AI가 지루한 루프에 빠지거나 목적 없이 방황하는 것을 방지합니다.

요약하자면, 이 논문은 단순히 "혼란"을 측정하는 것만으로는 AI가 잘 추론하도록 가르치기에 충분하지 않다고 주장합니다. 대신, 우리는 AI에게 자신의 생각과 정답 사이의 차이를 보여주어야 합니다. 이 "대조적 불일치"를 사용함으로써, AI는 자신의 실수를 훨씬 더 정밀하게 포착하는 법을 배우며, 이는 더 똑똑하고, 신뢰할 수 있으며, 창의적인 문제 해결 능력으로 이어집니다. 저자들은 이 접근 방식이 훈련된 수학 문제뿐만 아니라 새로운 미지의 과제에도 효과적임을 보여줌으로써, AI를 더 똑똑하고 견고하게 만드는 유망한 길을 제시하고 있습니다.

기술 요약: 엔트로피를 넘어: 대조적 정책 최적화를 통한 정답성 인지형 어드밴티지 셰이핑 (Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization)

문제 정의

검증 가능한 보상(Verifiable Rewards, RLVR)을 사용하는 강화 학습, 특히 GRPO(Group Relative Policy Optimization)와 같은 방법론은 수학 및 프로그래밍 분야에서 추론 능력을 발전시켜 왔습니다. 그러나 기존 방식은 두 가지 근본적인 한계에 직면해 있습니다:

토큰 수준의 무시 (Token-Level Neglect): 궤적 수준(trajectory-level)에서 적용되는 이진 정답 여부(정답/오답) 보상은 추론 체인 내 개별 토큰의 고유한 기여도를 구분하지 못합니다.
제로 어드밴티지 비효율성 (Zero-Advantage Inefficiency): 샘플링된 응답이 모두 오답이거나(또는 모두 정답인) 그룹의 경우, 궤적 수준의 어드밴티지는 0이 되어 방대한 양의 훈련 데이터를 정책 최적화에 사용할 수 없게 만듭니다.

최这些 시도들은 탐색을 장려하거나 토큰의 중요성을 정교화하기 위해 **엔트로피(entropy)**를 어드밴티지 셰이핑(advantage shaping)을 위한 신호로 활용해 왔습니다. 그러나 저자들은 엔트로피가 정답성(correctness)과 근본적으로 어긋나 있다고 주장합니다. 높은 엔트로피는 대안적인 해결책을 찾는 생산적인 탐색을 나타낼 수도 있지만, 잘못된 추론 경로로 인한 해로운 혼란을 나타낼 수도 있습니다. 결과적으로 엔트로피 기반 방법론은 엔트로피가 밑바탕이 되는 추론의 품질을 평가하지 못한 채 불확실성만을 수치화하기 때문에, 상충하는 설계 선택(예: 어떤 맥락에서는 높은 엔트로피 토큰에 보상을 주고, 다른 맥락에서는 이를 억제함)을 초래하곤 합니다.

방법론: 대조적 정책 최적화 (Contrastive Policy Optimization, CPO)

본 논문은 엔트로피를 대신하여 정답성 인지형 어드밴티지 셰이핑을 위해 토큰 수준의 대조적 불일치(token-level contrastive disagreement) 신호를 사용하는 CPO(Contrastive Policy Optimization) 프레임워크를 제안합니다.

핵심 메커니즘

CPO는 정답성은 비교를 통해 나타난다는 직관을 활용합니다. 학생이 자신의 작업물을 참조 답안과 비교하여 실수를 찾아내듯, LLM은 자신의 **기존 생성 분포( $\pi$ )**와 **참조 가이드 기반 사후 분포( $\pi_{post}$ )**를 대조함으로써 오류가 있는 토큰을 식별할 수 있습니다.

대조적 불일치 ( $\delta_t$ ):
이 방법은 토큰 수준의 신호를 참조 가이드 프롬프트 하에서의 토큰 확률과 일반 프롬프트 하에서의 확률 간의 로그 비율로 정의합니다:
$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$
여기서 $y^\star$ 는 참조 답안(oracle)입니다. 이론적으로 이 비율은 특정 토큰이 올바른 완성을 이끌어낼 확률( $g(x, y_{<t}, y_t)$ )과 단조적으로 상관관계가 있습니다.
- 양(+)의 $\delta_t$ : 해당 토큰이 참조와 일치하며 정답일 가능성이 높음을 나타냅니다.
- 음(-)의 $\delta_t$ : 해당 토큰이 참조와 모순되며 오답일 가능성이 높음을 나타냅니다.
어드밴티지 셰이핑 (Advantage Shaping):
CPO는 이 토큰 수준의 신호를 GRPO에서 유도된 궤적 수준의 어드밴티지( $A_i$ )에 통합합니다. 셰이핑된 어드밴티지 $\tilde{A}_{i,t}$ 는 다음과 같이 계산됩니다:
$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$
- 클리핑 (Clipping): 안정성을 보장하기 위해 토큰 수준의 신호 크기를 제한하여, 토큰의 불일치가 궤적 수준의 어드밴티지 방향을 뒤집지 못하도록 합니다 (예: 하나의 토-큰의 불일치로 인해 정답 궤적이 페널티를 받지 않도록 함).
- 제로 어드밴티지 해결: 어드밴티지가 0인 궤적( $A_i = 0$ )의 경우, 궤적 수준의 신호는 그래디언트를 제공하지 못합니다. CPO는 $\delta_t$ 를 사용하여 이러한 경우에도 의미 있는 학습 신호를 제공함으로써, 이전에는 유용하지 않다고 간주되었던 데이터에서도 최적화를 가능하게 합니다.
이론적 통합:
저자들은 **온-폴리시 증류 (On-Policy Distillation, OPD)**가 CPO의 특수한 사례임을 입증합니다. OPD에서는 외부 교사 모델이 사후 분포를 제공합니다. CPO는 이 개념을 일반화하여, 사후 분포를 현재 정책보다 정답성에 대해 더 많은 정보를 가진 임의의 분포(참조 답안에 대한 자기 조건화 포함)로 구현할 수 있게 합니다.

주요 기여

신호로서의 대조적 불일치: 본 논문은 대조적 불일치가 엔트로피보다 더 신뢰할 수 있는 토큰 수준의 정답성 신호임을 이론적 및 경험적으로 검증하였습니다. 이는 유용한 탐색과 해로운 혼란을 구분합니다.
OPD를 위한 이론적 토대: 이 프레임워크는 다양한 변체들(외부 교사, 참조 가이드 기반 자기 교사, 크리틱 가이드 정책 등)을 하나의 정답성 중심 목적 함수 아래로 통합하여 온-폴리시 증류(OPD)에 대한 원칙적인 근거를 제공합니다.
CPO 프레임워크: RLVR에서 제로 어드밴티지 문제를 해결하고, 더 정보가 풍부한 그래디언트와 효과적인 탐색을 가능하게 하는 계산 효율적인 어드밴티지 셰이핑 방법을 제시합니다.
경험적 검증: MATH 데이터셋을 사용하여 Qwen2.5-Math-7B 및 Qwen3-Base-4B에서 수행된 광범기한 실험을 통해 CPO가 엔트로피 기반 RLVR 방법들을 능가함을 보여줍니다.

실험 결과

실험은 MATH 데이터셋을 사용하여 Qwen2.5-Math-7B와 Qwen3-Base-4B를 대상으로 진행되었습니다.

성능 향상: CPO는 GRPO 및 기타 엔트로피 기반 베이스라인(예: Entropy-Tokens, Entropy-Adv, RL-ZVP)을 실질적으로 능가했습니다.
- Qwen2.5-Math-7B에서 CPO는 GRPO 대비 평균 성능을 7.7% 향상시켰습니다.
- Qwen3-Base-4B에서 CPO는 GRPO 대비 평균 성능을 8.5% 향상시켰습니다.
일반화: OOD(Out-of-Domain) 성능 저하를 겪는 많은 베이스라인과 달리, CPO는 GPQA 및 MMLU-Pro와 같은 벤치마크에서 OOD 성능을 유지하거나 개선했습니다.
절제 연구 (Ablation Studies):
- 데이터 유효성: 오답 응답은 주로 도메인 내 성능 향상(착취, exploitation)을 주도하는 반면, 정답 응답은 OOD 일반화 유지(탐색, exploration)에 필수적임을 발견했습니다. 가장 좋은 결과는 $\alpha_+ : \alpha_-$ 비율을 1:1로 균형 있게 맞췄을 때 나타났습니다.
- 토큰 수준 vs 궤적 수준: 토큰 수준의 셰이핑이 불일치를 궤적 수준에서 평균 내는 것보다 우수했는데, 이는 신용 할당(credit assignment)의 중요한 변동성을 더 잘 보존하기 때문입니다.
- 엔트로피 분석: CPO는 GRPO에 비해 더 높은 훈련 엔트로피와 더 긴 응답 길이를 유지하며, 이는 지속적인 탐색이 이루어지고 있음을 나타냅니다. 워드 클라우드 분석 결과, 엔트로피는 언어적 다양성에 집중하는 반면, CPO는 과업에 결정적인 토큰(수학 기호, 코드 구조 등)에 집중함을 보여주었습니다.

의의 및 주장

본 논문은 CPO가 휴리스틱한 엔트로피 기반 개입에서 정답성 인지(correctness-aware) 최적화 전략으로의 전환을 나타낸다고 주장합니다. 자가 생성 분포와 참조 가이드 분포 간의 대비를 활용함으로써, CPO는 정책 학습을 과업 성공과 일치시키는 신뢰할 수 있는 신호를 제공합니다.

저자들은 응답 유형의 구별된 역할이 매우 중요하다고 강조합니다: 정답 응답은 모델이 새로운 해결 경로를 탐색할 수 있게 하여 (과적합을 방지) 탐색을 가능하게 하고, 오답 응답은 가장 유망한 경로를 정교화하고 착취할 수 있게 합니다. 이러한 대조적 불일치 신호를 통해 이 둘을 균형 있게 조절함으로써, 일반화 능력을 희생하지 않고 탁월한 성능을 달al 수 있습니다. 또한, 이 프레임워크가 제로 어드밴티지 문제를 해결할 수 있다는 점은 RLVR 환경에서 훈련 데이터를 더욱 효율적으로 사용할 수 있음을 시사합니다.