💬 NLP

Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards

이 논문은 다중 목적 강화학습(Multi-Objective RL)에서 각 목표가 특정 텍스트 블록에만 영향을 미치도록 하는 '블록 단위 어드밴티지 추정(Blockwise Advantage Estimation)' 방식을 제안하여, 추가적인 롤아웃 비용 없이도 목표 간 간섭을 줄이고 구조화된 생성 작업의 최적화 효율을 높이는 방법을 제시합니다.

원저자: Kirill Pavlenko, Alexander Golubev, Simon Karasik, Boris Yangel

게시일 2026-02-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kirill Pavlenko, Alexander Golubev, Simon Karasik, Boris Yangel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 방식의 문제점: "모 아니면 도" 식의 칭찬 (The Monolithic Reward)

상상해 보세요. 여러분이 요리사라고 합시다. 오늘 요리 미션은 두 단계입니다.

1단계: 재료를 완벽하게 손질하기
2단계: 맛있는 소스를 만들어 요리 완성하기

그런데 아주 무심한 요리 선생님이 나타났습니다. 이 선생님은 요리가 다 끝난 뒤에 딱 한 마디만 합니다. "음, 이번 요리는 50점이야."

이게 문제입니다! 재료는 기가 막히게 잘 썰었는데 소스를 망쳤을 수도 있고, 재료는 엉망이었는데 소스가 기가 막혔을 수도 있죠. 그런데 선생님은 그냥 통째로 50점이라고 하니까, 요리사는 "내가 재료를 잘 썬 건가? 아니면 소스를 잘 만든 건가?" 혼란에 빠집니다. 결국 무엇을 고쳐야 할지 몰라 갈팡질팡하게 되죠. (이것을 논문에서는 '신용 할당(Credit Assignment) 문제'라고 부릅니다.)

2. 이 논문의 해결책: "구간별 맞춤형 피드백" (Blockwise Advantage Estimation)

이 논문에서 제안하는 방식은 선생님의 피드백 방식을 바꾸는 것입니다. 이제 선생님은 요리 과정을 나누어서 평가합니다.

재료 손질 구간: "재료 손질은 100점이야!"
소스 만들기 구간: "소스는 20점이야, 너무 짜!"

이렇게 각 단계(Block)마다 따로 점수를 매겨서, 그 점수를 해당 단계의 행동에만 딱 맞춰서 전달합니다. 그러면 요리사는 "아, 재료는 계속 이렇게 하고, 소스 만드는 법만 배우면 되겠구나!"라고 정확히 깨닫게 됩니다.

3. 핵심 기술: "결과를 보고 미리 짐작하기" (Outcome-Conditioned Baseline)

그런데 여기서 한 가지 어려운 점이 있습니다. 요리사가 소스를 만들기 전, 즉 재료 손질이 끝난 직후의 상태에서 "이 요리가 최종적으로 성공할지"를 미리 알기는 어렵다는 거죠.

기존에는 이걸 알려고 요리를 처음부터 끝까지 수십 번 다시 해보는 아주 비싼 방법을 썼습니다. (돈과 시간이 엄청나게 들죠!)

이 논문은 아주 영리한 '눈치 게임' 기술을 제안합니다.

"지금까지 재료 손질을 한 걸 보니, 이 요리는 '성공 그룹'에 속할 것 같아. 그럼 성공한 다른 요리사들의 평균 점수랑 비교해 보자!"

즉, 중간 결과(예: 재료 손질이 성공했는지 여부)를 기준으로 그룹을 나누고, 그 그룹 안에서 평균을 내어 비교하는 방식입니다. 굳이 요리를 처음부터 다시 해보지 않고도, 현재 상태가 얼마나 잘하고 있는지를 아주 효율적으로 알아낼 수 있게 된 것입니다.

4. 이 기술이 왜 대단한가요? (결과)

이 방법을 AI(언어 모델)에게 적용했더니 놀라운 일이 벌어졌습니다.

수학 문제도 잘 풀고, 자기 실력도 잘 압니다: AI가 수학 문제를 풀 때 단순히 답만 맞히는 게 아니라, **"내가 이 답을 낼 확률은 90%야"**라고 말하는 '자신감(Confidence)' 수치까지 아주 정확해졌습니다.
자신감 있는 선택이 가능해집니다: AI가 여러 개의 답을 내놓았을 때, "자신감이 가장 높은 답"을 골라 쓰면 정답률이 훨씬 올라갑니다. (마치 시험 볼 때 "이건 확실해!"라고 생각되는 문제를 골라 푸는 것과 같습니다.)
효율적입니다: 엄청난 계산 비용을 들여서 AI를 다시 훈련시키지 않아도, 기존 방식보다 훨씬 똑똑하게 학습할 수 있습니다.

요약하자면!

이 논문은 **"AI에게 전체 결과만 보고 뭉뚱그려 칭찬하지 말고, 단계별로 무엇을 잘했는지 정확히 짚어주자! 단, 중간 과정을 효율적으로 판단할 수 있는 똑똑한 기준(OCB)을 만들어서!"**라고 말하고 있는 것입니다.

[기술 요약] 검증 가능한 보상을 활용한 다중 목적 강화학습을 위한 블록별 어드밴티지 추정 (BAE)

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)의 사후 학습(Post-training)에는 **GRPO(Group Relative Policy Optimization)**와 같은 알고리즘이 널리 사용됩니다. 하지만 기존 GRPO 방식은 다음과 같은 한계가 있습니다.

단일 스칼라 어드밴티지 문제: GRPO는 생성된 전체 문장에 대해 하나의 스칼라 어드밴티지 값을 할당합니다. 만약 모델이 '문제 풀이(Reasoning)'와 '자기 확신도 측정(Confidence Estimation)'이라는 두 가지 서로 다른 목적을 동시에 수행해야 하는 경우, 서로 관련 없는 보상 신호가 하나의 값으로 뭉뚱그려지면서 **목적 간 간섭(Objective Interference)**과 **잘못된 신용 할당(Misattributed Credit)**이 발생합니다.
보상 설계의 어려움: 여러 목적을 하나의 스칼라 보상으로 합치기 위해서는 정교한 수동 설계(Reward Scalarization)가 필요하며, 이는 모델의 성능 저하나 보상 해킹(Reward Hacking)을 유발할 수 있습니다.
조건부 베이스라인 추정의 비용 문제: 구조화된 생성(Structured Generation)에서 뒤쪽 블록(예: 확신도 분석)의 보상은 앞쪽 블록(예: 풀이 과정)의 결과에 의존합니다. 이를 정확히 추정하려면 중간 상태에서 다시 샘플링을 수행하는 Monte Carlo 롤아웃이 필요하지만, 이는 계산 비용이 매우 높습니다.

2. 제안 방법론 (Methodology)

본 논문은 **Blockwise Advantage Estimation (BAE)**라는 새로운 프레임워크를 제안합니다.

① 블록별 분해 (Blockwise Decomposition)

생성된 텍스트를 논리적 단위인 여러 개의 **블록( $X_1, X_2, \dots, X_K$ )**으로 나눕니다. 각 블록은 해당 블록을 제어하는 고유한 목적 함수( $r_k$ )를 가집니다. 모델은 각 블록의 토큰에 대해 해당 블록의 목적에 맞는 어드밴티지( $\hat{A}_k$ )만을 적용받아 학습합니다.

② 결과 조건부 베이스라인 (Outcome-Conditioned Baseline, OCB)

계산 비용을 최소화하면서도 정확한 어드밴티지를 추정하기 위해, 추가적인 롤아웃 없이 현재 GRPO 그룹 내의 통계만을 사용하는 OCB를 제안합니다.

핵심 아이디어: 뒤쪽 블록의 보상은 앞쪽 블록의 '결과(Outcome, 예: 정답 여부)'에 따라 달라집니다.
작동 방식: 그룹 내 샘플들을 앞쪽 블록의 결과(예: 정답/오답)에 따라 하위 그룹(Strata)으로 나눕니다. 이후, 해당 샘플이 속한 하위 그룹의 평균 보상을 베이스라인으로 사용하여 어드밴티지를 계산합니다. 이는 중간 상태의 가치 함수를 효율적으로 근사합니다.

3. 주요 기여 (Key Contributions)

BAE 프레임워크 제안: 별도의 Critic 모델 없이도 다중 목적을 가진 구조화된 생성 작업에서 각 세그먼트에 적절한 신용을 할당할 수 있는 GRPO 호환 방식을 제시했습니다.
효율적인 OCB 설계: 추가적인 추론 비용(Rollout) 없이 그룹 내 통계만을 활용하여 조건부 베이스라인 문제를 해결하는 계산 효율적인 방법을 제안했습니다.
보상 설계 의존도 감소: 여러 보상을 수동으로 합칠 필요 없이, 각 블록에 개별 보상을 적용함으로써 모델의 유연성을 높였습니다.

4. 실험 결과 (Results)

수학 문제 풀이와 자기 확신도(Self-confidence) 추정 작업을 통해 Qwen2.5 모델 시리즈에서 검증하였습니다.

성능 우수성: BAE+OCB 방식은 기존의 정교한 보상 설계 방식인 RLCR과 대등하거나 더 나은 성능을 보였습니다. 특히 ECE(Expected Calibration Error) 측면에서 매우 뛰어난 교정(Calibration) 능력을 보여주었습니다.
테스트 시간 확장성(Test-time Scaling, TTS) 유지: 모델이 생성한 확신도 점수를 활용하여 최적의 답을 고르는 TTS 전략을 사용할 때, BAE로 학습된 모델은 RLCR만큼 효과적인 성능 향상을 보여주었습니다. 이는 학습된 확신도가 실제 정답 확률을 잘 반영하고 있음을 의미합니다.
보상 해킹 방지: 기존 GRPO에서 BCE(Binary Cross-Entropy) 보상을 사용할 때 모델이 답변을 거부하며 확신도를 낮추는 '보상 해킹' 현상이 나타났으나, BAE는 블록별로 독립적인 최적화를 수행함으로써 이를 효과적으로 방지했습니다.

5. 의의 (Significance)

본 논문은 LLM의 강화학습이 단순히 "전체 문장이 좋은가?"를 넘어 **"문장의 각 부분이 각자의 목적을 얼마나 잘 달성했는가?"**를 학습할 수 있는 길을 열었습니다. 이는 향후 복잡한 에이전트 작업(Agentic Tasks)이나 긴 문맥을 가진 다단계 추론 작업에서 모델이 각 단계를 독립적이고 효율적으로 최적화할 수 있게 하는 중요한 기술적 토대를 제공합니다.