🤖 AI

TCPO: Turn-Level Credit Policy Optimization

이 논문은 검증자 점수를 회고적, 사후적, 그리고 반사실적 비교를 통해 조밀한 크레딧으로 변환함으로써 추론 및 에이전트 작업에서의 다회차 강화 학습 성능을 크게 향상시키는 턴 단위 크레딧 할당 방법인 TCPO를 제안한다.

원저자: Sicong Liao, Zhi Chen, Yaohua Tang

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sicong Liao, Zhi Chen, Yaohua Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 까다로운 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 옛날 방식이라면 로봇이 시도하고, 실패하면, 그저 마지막에 "안 돼, 이건 아니야"라거나 "그래, 해냈어!"라고 말하는 식이었을 것입니다. 하지만 만로봇이 매 동작을 할 때마다 약간의 점수를 받을 수 있다면 어떨까요? 이것이 바로 **검증 가능한 보상이 있는 강화 학습(Reinforcement Learning with Verifiable Rewards)**의 세계입니다. 이는 마치 레벨이 끝날 때만 점수를 받는 것이 아니라, 점프를 할 때마다 점수를 받는 비디오 게임과 같습니다. 이는 로봇이 어떤 동작이 좋았고 어떤 동작이 나빴는지 정확히 알게 함으로써 더 빠르게 학습하도록 도와줍니다.

하지만 교활한 문제가 하나 있습니다. 어떤 동작이 높은 점수를 받았다고 해서, 그 동작이 반드시 성공을 '유발'했다는 뜻은 아닙니다. 어쩌면 로봇이 이미 승리로 가는 경로 위에 있었고, 그 동작은 단지 그 상태를 유지했을 뿐일 수도 있습니다. 또는 당시에는 형편없어 보였던 동작이 세 단계 뒤에 아주 멋진 해결책을 만들어냈을 수도 있습니다. 만약 로봇이 잘못된 이유로 점수를 받게 된다면, 똑같은 실수를 반복하며 배울 수도 있습니다. 과학자들의 큰 고민은 이것입니다: 어떻게 하면 그 점수들을 가져와서 정확히 어떤 동작이 공로를 인정받아야 하는지 알아낼 것인가?

여기서 TCPO(Turn-Level Credit Policy Optimization, 턴 단위 공로 정책 최적화)라는 새로운 방법이 등장합니다. TCPO를 단순히 점수판만 보는 것이 아니라, 리플레이를 돌려보며 "이 동작이 정말 도움이 되었나, 아니면 그냥 운이 좋았던 건가?"라고 묻는 아주 똑똑한 코치라고 생각해보세요. 연구진은 단순히 로봇에게 매 턴마다 점수를 주는 것만으로는 부족하다는 것을 깨달았습니다. 그 점수를 해당 턴이 승리할 확률을 얼마나 변화시켰는지 알려주는 '공로(credit)'로 변환해야 합니다.

TCPO가 몇 가지 영리한 기술을 사용하여 작동하는 방식은 다음과 같습니다:

되돌아보기 (회고적 공로 - Retrospective Credit): 당신이 산을 오르고 있다고 상상해 보세요. 만약 당신이 이전에 도달했던 그 어떤 지점보다 더 높은 곳으로 올라가는 발걸음을 뗐다면, TCPO는 당신에게 큰 "잘했어!"를 줍니다. 만약 당신이 이미 도달한 높은 지점을 유지하는 발걸음을 뗐다면, TCPO는 "계속 그렇게 해!"라고 합니다. 하지만 이미 정상에 도달했는데 미끄러져 내려가는 발걸음을 뗀다면, TCPO는 "이봐, 그건 나쁜 움직임이었어!"라고 말합니다. 이는 로봇이 더 높이 올라가고 다시 떨어지지 않도록 학습하는 데 도움을 줍니다.
앞을 내다보기 (사후적 공로 - Hindsight Credit): 때때로 어떤 동작은 당시에 지루하거나 심지어 나빠 보일 수 있습니다. 예를 들어, 로봇이 별 도움이 안 될 것 같은 이상한 소리를 낼 수도 있습니다. 하지만 나중에 그 소리가 문을 여는 핵심 열쇠가 될 수 있습니다. TCPO는 미래를 봅니다. 만약 "지루해 보이는" 동작이 결국 승리로 이어진다면, TCPO는 그것에 공로를 부여하며 이렇게 말합니다. "그 당시에는 쓸모없어 보였지만, 사실 너는 영웅이었어." 이는 로보이 시간이 걸려 결실을 맺는 동작들을 포기하지 않도록 막아줍니다.
"만약에" 테스트 (역사실적 공로 - Counterfactual Credit): 이것이 가장 마법 같은 부분입니다. 때때로 로봇은 정말 혼란스러운 동작을 합니다. 그것이 도움이 되었을까요? 아니면 해가 되었을까요? TCPO는 빠른 "만약에" 시뮬레이션을 실행합니다. "만약 로봇이 바로 여기서 완전히 다른 행동을 했다면, 더 잘했을까?"라고 묻습니다. 만약 로봇의 실제 동작이 무작위 대안들보다 나았다면, 추가 공로를 받습니다. 만약 더 나빴다면, 벌점을 받습니다. 이는 로봇이 쉬운 순간에서 시간을 낭비하지 않고 가장 혼란스러운 순간으로부터 배울 수 있게 돕습니다.

연구진은 이 새로운 코치를 수학 문제 풀기, 컴퓨터 코드 작성, 그리고 AppWorld라는 복잡한 에이전트 게임라는 세 가지 매우 다른 도전 과제에 테스트했습니다. 그들은 TCPO가 어디서나 작동하는지 확인하기 위해 다양한 크기의 서로 다른 로봇 두뇌(모델)를 사용했습니다.

결과는 인상적이었습니다. 수학과 코딩 작업에서 TCPO는 로봇이 정답을 더 자주 맞히도록 도왔으며, 결정적으로, 더 적은 단계로 정답을 찾도록 했습니다. 예를 들어, MATH-500이라는 어려운 수학 테스트에서 TCPO로 훈련된 로봇은 이전의 최고 방법들을 제치고 86.8%의 정답률을 기록했습니다. 코드 생성에서도 유의미한 개선이 있었습니다. 로봇이 도구를 사용하고 상태를 기억해야 하는 AppWorld 게임에서, TCPO는 다른 방법들보다 더 안정적으로 작업을 완료하도록 도왔습니다.

이 논문은 핵심 비결이 단순히 더 많은 데이터나 더 큰 로봇이 아니라, 피드백을 어떻게 해석하느냐에 있다는 점을 시사합니다. 점수를 스마트한 턴 단위의 공로로 신중하게 변환함으로써, TCPO는 로봇이 실수를 바로잡고, 성공을 유지하며, 겉보기에 나쁜 동작이 사실은 승리를 위한 천재적인 준비 작업임을 인식하도록 돕습니다. 이는 단순한 점수판을 상세한 학습 계획표로 바꾸어 놓으며, 학습 과정을 훨씬 더 효율적이고 효과적으로 만듭니다.

기술 요약: TCPO (Turn-Level Credit Policy Optimization)

문제 정의

검증기 가이드 기반 다회차 강화 학습(verifier-guided multi-turn RL)에서, 대규모 언어 모델(LLM)은 각 회차(turn) 후에 받는 검증기 점수를 바탕으로 출력을 반복적으로 정교화합니다. 이러한 설정은 결과 중심의 감독(outcome-only supervision)에 비해 조밀한 피드로를 제공하지만, **검증기 점수(verifier scores)**와 회차 단위 크레딧(turn-level credit) 사이에는 근본적인 불일치가 존재합니다.

검증기 점수는 현재 출력의 절대적인 품질을 측정하는 반면, 회차 단위 크레딧은 전체 정교화 궤적에 대한 해당 특정 회차의 *한계 기여도(marginal contribution)*를 측정해야 합니다. 기존 방식들은 이 "점수-크레딧 변환(score-to-credit conversion)" 문제를 효과적으로 해결하지 못합니다:

궤적 수준 방법론(Trajectory-level methods): 최종 성공을 모든 토큰에 전파하여, 유용한 수정(repair)과 실패한 시도 또는 성공 후의 퇴보(regression)를 혼동합니다.
원시 회차 점수(Raw turn scores): 상태의 품질이 아닌 상태의 개선을 보상합니다.
인접 점수 차이(Adjacent score differences): 국소적인 변화는 포착하지만, 현재까지의 최선 상태를 개선하는 회차와 미래의 성공을 가능하게 하는 비개선 회차를 구분하지 못합니다.

핵심 과제는 단순히 회차별 신호를 얻는 것이 아니라, 기존의 검증기 점수를 즉각적인 진전, 해결된 상태의 보존, 그리고 지연된 기여를 정확하게 반영하는 최적화 가능한 회차 단위 크레딧으로 변환하는 것입니다.

방법론: TCPO

TCPO(Turn-Level Credit Policy Optimization)는 검증기 가이드 기반 다회차 RL을 위해 설계된 크레딧 할당 방법입니다. 이는 추가적인 인간 레이블이나 학습된 비평가(critic) 없이 작동하며, 기본 다회차 롤아웃(rollout)을 변경하지 않습니다. 대신, 세 가지 참조 기반 비교를 통해 검증기 트레이스(trace)를 회차 단위 어드밴티지(advantage)로 변환합니다.

1. 회고적 크레딧 (Retrospective Credit)

이 구성 요소는 현재 회차의 점수를 해당 회차 이전의 최고 점수( $m_{i,k} = \max_{t<k} r_{i,t}$ )와 비교합니다. 이는 크레딧을 세 가지 신호로 분해합니다:

개선(Improvement): 역사적 최고치를 초과하는 회차에 보상합니다 ( $\Delta_{i,k} > 0$ ).
보존(Preservation): 추가적인 개선 없이 성공적인 상태를 유지하는 회차에 보상합니다 (이미 궤적이 성공적이고 점수가 안정적인 경우 활성화됨).
퇴보 페널티(Regression Penalty): 성공적인 상태에 도달한 후 검증기 점수를 낮추는 회차에 페널티를 부여합니다.

2. 사후 지연 크레딧 (Hindsight Delayed Credit)

이는 성공 전 비개선 회차(현재 점수가 역사적 최고치를 넘지 않는 경우)를 다룹니다. 이러한 회차는 미래의 수정을 가능하게 하는 데 필수적일 수 있습니다.

TCPO는 적격한 비개선 회차를 식별하고, 이들의 실현된 미래 최고 점수( $u_{i,k} = \max_{t \ge k} r_{i,t}$ )를 동일한 프롬프트와 회차 인덱스를 가진 다른 적격 궤적들의 평균 미래 최고 점수와 비교합니다.
이를 통해 비개선 회차가 다른 동료들과 비교했을 때 더 나은 혹은 더 나쁜 미래 결과로 이어졌는지에 대한 지연된 신호를 제공합니다.

3. 고정-이력 반사실적 추정 (Fixed-History Counterfactual Estimation)

사후 추정치가 노이즈가 심할 수 있는 고서프라이절(high-surprisal), 비개선 회차의 모호성을 해결하기 위해, TCPO는 예산이 책정된 반사실적(counterfactual) 접근 방식을 채택합니다:

선택(Selection): 높은 서프라이절(불확실성)을 가진 회차를 정교화를 위해 선택합니다.
추정(Estimation): 현재 회차까지의 이력을 고정하고, $M$ 개의 대안 출력을 샘플링합니다. 이 대안들은 검증기에 의해 점수가 매겨집니다.
크레딧 할당(Credit Assignment): 크레딧은 원래 출력의 점수와 대안들의 평균 점수 간의 차이입니다. 이는 이후의 수정을 섞지 않고 현재 출력의 선택 효과만을 분리합니다.
통합(Integration): 이 반사실적 신호는 대안들이 점수 변동을 드러낼 때만 사후 추정치를 정교화하는 로컬 정교화 역할을 수행하며, 독립적인 오라클(oracle)로 작동하지 않습니다.

최적화

결과적인 원시 회차 신호는 회고적 크레딧과 지연 크레딧을 결합합니다. 이는 프롬프트-회차 그룹 내에서 정규화되며, 궤적 초기에 유용한 수정을 장려하기 위해 초기 회차 우선순위( $\gamma^{k-1}$ )에 의해 가중치가 부여됩니다. 이러한 회차 단위 어드밴티지는 해당 응답의 모든 토큰에 전파되며 GRPO 스타일의 클리핑된 목적 함수(clipped objective)를 사용하여 최적화됩니다.

주요 기여

문제 공식화: 본 논문은 점수-크레딧 변환을 검증기 가이드 기반 다회차 RL의 핵심 과제로 명시적으로 공식화하여, 출력 품질과 한계 기여도를 구분했습니다.
TCPO 알고리즘: 다음을 사용하여 회차 단위 어드밴티지를 구축하는 크레딧 할당 방법을 도입했습니다:
- 즉각적인 진전 및 상태 보존을 위한 회고적 참조(Retrospective references).
- 비개선 회차의 지연된 기여를 위한 사후 참조(Hindsight references).
- 고서프라이절 회차를 정교화하기 위한 고정-이력 반사실적 참조(Fixed-history counterfactual references).
실증적 검증: 수학적 추론, 코드 생성, 인터랙티브 에이전트(AppWorld) 작업에 걸친 검증을 통해, TCPO가 적은 추가 훈련 비용으로 강력한 베이스라인과 대등하거나 이를 능가함을 입증했습니다.

실험 결과

실험은 수학(MATH-500, AIME), 코드(LiveCodeBench, HumanEval), 에이전트(AppWorld) 작업에 대해 Qwen3-4B 및 DeepSeek-R1-Distill-Llama-8B를 대상으로 수행되었습니다.

성능: TCPO는 모든 벤치마크와 모델 규모에서 최고 또는 공동 최고인 best-turn Pass@8를 달성했습니다.
- Qwen3-4B에서 TCPO는 MATH-500에서 +4.4, AIME에서 +2.2, LiveCodeBench에서 +1.6, HumanEval에서 +0.6 포인트만큼 MT-GRPO보다 향상되었습니다.
- DeepSeek-R1-Distill-Llama-8B에서는 이득이 더 커서, 여러 작업에서 MT-GRPO를 +6.2에서 +1.2 포인트까지 앞질렀습니다.
효율성: TCPO는 일반적으로 성공까지의 평균 회차 수를 줄였으며, 이는 더 효율적인 정교화 궤적을 나타냅니다.
에이전트 작업: AppWorld에서 TCPO는 작업 수준 목표 달성률(TGC)과 시나리오 수준 목표 달성률(SGC)을 개선하여, 상태 기반(stateful) 도구 사용 에이전트로의 전이 가능성을 보여주었습니다.
절제 연구(Ablation Studies):
- 세 가지 크레딧 구성 요소(회고적, 사후, 반사실적) 중 하나라도 제거하면 성능 저하가 발생하여, 이들의 조합이 필수적임을 확인했습니다.
- 반사적 예산 책정(Counterfactual Budgeting): 고서프라이절 회차를 반사실적 추정을 위해 선택하는 것(Top-L)은 단 1.03x–1.05x의 훈련 오버헤드 증가만으로 상당한 이득(예: MATH-500에서 +1.8)을 얻었으나, 무작위 선택은 미미한 이득만을 제공했습니다.

의의 및 주장

본 논문은 점수-크레딧 변환이 검증기 가이드 기반 다회차 정책 최적화의 핵심 요소라고 주장합니다. TCPO의 의의는 다음과 같습니다:

출력의 품질을 솔루션 경로에 대한 기여도와 분리할 수 있습니다.
학습된 가치 모델이나 추가적인 인간 주석 없이도 유용한 수정, 상태 보존, 해로운 퇴보를 구분할 수 있습니다.
복잡한 다회차 추론 체인에서 크레딧 모호성을 해결하기 위한 계산 효율적인 메커니즘(선택적 반사실적 추정)을 제공합니다.

저자들은 조밀한 검증기 점수를 사용할 수 있더라도, 회고적, 사후, 반사실적 참조를 통해 적절한 회차 단위 크레딧으로 변환될 때만 그 효용이 극대화된다고 결론지었습니다. TCPO는 이러한 변환이 다양한 도메인에서 성공률과 효율성의 견고한 향상으로 이어진다는 것을 입증합니다.