💬 NLP

RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents

본 논문은 궤적 생성을 조건화하고 롤아웃을 다양화하기 위해 이산적 보상 토큰을 주입함으로써 LLM의 멀티턴 도구 호출을 향상시키는 새로운 프레임워크인 RC-GRPO를 제 제안하며, 이를 통해 낮은 그룹 내 보상 변동성으로 인한 업데이트 소실 문제를 극복하고 BFCLv4 벤치마크에서 최첨단 성능을 달성한다.

원저자: Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

게시일 2026-02-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하지만 고집스러운 로봇 비서에게 도구 세트(계산기, 달력, 검색 엔진 등)를 사용하여 복잡한 다단계 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요.

문제: "우등생"의 함정

보통 이 로봇을 가르칠 때, 먼저 완벽한 해결책의 예시들을 보여줍니다(지도 미세 조정, SFT). 로봇은 이를 완벽하게 학습하여 "A학점 우등생"이 됩니다.

그다음, 더 나은 수준으로 가르치기 위해 GRPO(Group Relative Policy Optimization)라는 방법을 사용합니다. GRPO는 코치가 학생 그룹을 모아놓고, 그들에게 동일한 퍼즐을 준 뒤 각자 다른 해결책을 시도해 보라고 하는 것과 같습니다. 코치는 결과를 비교합니다: "너는 잘했고, 너는 못했고, 너는 평균이야." 결과가 더 좋은 학생에게는 보상을 주고, 결과가 나쁜 학생에게는 다른 시도를 해보라고 유도합니다.

문제점: 로봇이 "완벽한" 예시를 너무 완벽하게 학습했기 때문에, 그룹에게 시도를 요청할 때마다 그들은 모두 정확히 똑같은 해결책을 가져옵니다. 그들은 모두 똑같이 지루할 정도로 완벽합니다.

코치가 그룹을 보고 말합니다: "음, 모두가 10점 만점에 10점을 받았군."
하지만 모두가 똑같기 때문에, 코치는 누구에게 개선하라고 말해야 할지 알 수 없습니다. 학습 신호가 사라지는 것입니다. 로봇은 이미 알고 있는 "완격한" 경로에서 벗어나는 것을 너무 두려워한 나머지, 퍼즐을 푸는 새로운 방법을 탐색하지 못한 채 정체됩니다.

해결책: RC-GRPO ("무드 링" 전략)

저자들은 이 문제를 해결하기 위해 RC-GRPO라는 새로운 방법을 제안합니다. 로봇이 무작정 다른 시도를 하기를 기대하는 대신, 로봇이 작업을 시작하기 전에 "무드 링(mood ring)"이나 특정 지시 토큰을 부여하는 방식입니다.

1단계: 명령에 따라 다르게 행동하도록 가르치기 (RCTP)
먼저, 성공한 이야기(높은 보상)와 실패한 이야기(낮은 보상)가 섞인 다양한 이야기를 통해 로봇을 훈련시킵니다. 결정적으로, 각 이야기에 <|High Reward|> 또는 <|Low Reward|>와 같은 특별한 태그를 붙입니다.

로봇은 이렇게 배웁니다: "내가 <|High Reward|> 태그를 보면, 완벽해지려고 노력해야 해. 반대로 <|Low Reward|> 태그를 보면, 더 색다르거나, 혹은 더 위험하거나 단순한 경로를 시도해야 해."
이제 로봇은 단순히 경직된 학생이 아닙니다. 보는 태그에 따라 행동 모드를 전환할 수 있는 카멜레온이 된 것입니다.

2단계: 코치의 새로운 게임 (Reward-Conditioned GRPO)
이제 코치(RL 알고리즘)가 퍼즐을 풀기 위해 그룹을 모을 때, 단순히 "시작!"이라고만 하지 않습니다.

학생 A에게는 <|High Reward|> 태그를 주어 완벽해지도록 합니다.
학생 B에게는 <|Low Reward|> 태그를 주어 더 투박하거나 엉성한 접근 방식을 시도하게 합니다.
학생 C에게는 다시 <|High Reward|>를 주지만, 아마도 약간 다른 완벽한 경로를 시도하게 할 것입니다.
이제 학생들은 태그에 따라 다르게 행동하도록 조건화되었기 때문에, 그룹 내에 다양성이 생깁니다.
코치는 이제 다음과 같이 관찰할 수 있습니다: "학생 A는 10점을 받았고, 학생 B는 2점을 받았으며, 학생 C는 9점을 받았다."
이제 명확한 차이가 생겼습니다! 코치는 유용한 피드백을 줄 수 있습니다: "학생 B, 학생 A처럼 되도록 노력해 봐."
이 과정이 학습 엔진을 원활하게 계속 돌아가게 만듭니다.

왜 작동하는가 (비유)

기존 방식에서 로봇은 모든 사람이 똑같은 음을 완벽하게 노래하는 합창단과 같았습니다. 지휘자는 모두가 동일하기 때문에 누가 더 잘 노래하는지 구별할 수 없었습니다.

새로운 RC-GRPO 방식에서 지휘자는 각 가수에게 서로 다른 악보(높은 보상 vs 낮은 보상 태그)를 줍니다. 갑자기 합창단은 다양해집니다. 지휘자는 차이를 들을 수 있고, 가장 좋은 음을 골라내어 가수들을 지도할 수 있습니다.

결과

이 논문은 AI 에이전트의 도구 사용 능력을 평가하는 혹독한 시험인 BFCLv4 벤치마크에서 이 방법을 테스트했습니다.

기존 방식: 로봇이 정체되어 거의 개선되지 않았습니다.
새로운 방식 (RC-GRPO): 로봇이 훨씬 빠르게 학습하고 더 많은 퍼즐을 정확하게 해결했습니다.
결정적 승리: 특정 테스트 모델(Qwen-2.5-7B)에서, 이 새로운 방법은 오픈 소스 로봇이 보통 이 시험에서 우세를 점하는 유명하고 값비싼 "폐쇄형(closed-source)" 로봇들을 이길 수 있게 해주었습니다.

요약

이 논문은 AI가 예시를 너무 잘 복제하여 학습을 멈춰버리는 문제를 해결합니다. 단순한 "보상 태그"에 따라 의도적으로 다르게 행동하도록 AI를 가르침으로써, AI가 다양한 경로를 탐색하도록 강제하고, 이를 통해 더 빠르게 학습하며 도구 사용 능력을 더 똑똑하게 만듭니다.

기술 요약: 멀티 턴 도구 호출 에이전트를 위한 RC-GRPO

1. 문제 정의

멀티 턴 도구 호출(Multi-turn tool calling)은 보상의 희소성(sparsity of rewards)과 탐색 비용의 과다로 인해 대규모 언어 모델(LLM)에 상당한 도전 과제를 제시합니다. 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)는 별도의 크리틱(critic) 네트워크를 필요로 하지 않는 인기 있는 강화 학습(RL) 방법이지만, 지도 미세 조정(SFT)된 멀티 턴 도구 에이전트에 적용될 때 치명적인 실패 모드에 직면합니다.

핵심 문제는 **"완벽의 역설(paradox of perfection)"**입니다. LLM이 최적의 데모 데이터로 SFT 학습을 받으면, 매우 뾰족한 정책(강력한 "골든 패스" 사전 확률)을 갖게 됩니다. GRPO 학습 중에 이는 롤아웃 그룹 내의 다양성을 낮추는 결과를 초래합니다. 즉, 샘플링된 여러 궤적(trajectory)이 동일한 보상(예: 모두 0 또는 모두 1)을 받는 경우가 빈번해집니다. 결과적으로 그룹 내 표준 편차( $\sigma_g$ )가 0에 가까워지며, 이로 인해 그룹 정규화된 어드밴티지 신호가 퇴화( $A_j \approx 0$ )합니다. 이는 특히 부분 관측 가능 환경(partially observable environments)에서 로컬 확신이 반복적이고 짧은 호흡의 행동으로 이어질 때, 그래디언트 소실(vanishing gradients)과 학습 정체를 유발합니다.

2. 방법론: RC-GRPO

저자들은 그룹 내 다양성을 샘플링 온도(sampling temperature)의 부산물이 아닌 제어 가능한 변수로 취급하도록 설계된 2단계 파이프라인인 **RC-GRPO (Reward-Conditioned Group Relative Policy Optimization)**를 제안합니다.

1단계: 보상 조건부 궤적 정책(RCTP) 미세 조정

RL 이전에, 베이스 LLM을 보상 조건부 궤적 정책(RCTP)으로 미세 조정합니다.

데이터 구축: 궤적을 이산적인 보상 목표 토큰(예: 성공을 위한 <|high reward|>, 실패를 위한 <|low reward|>)과 쌍을 이루어 혼합 품질 데이터셋을 생성합니다.
목표: 모델이 히스토리와 특정 보상 토큰 모두에 조건화되어 로그 가능도(log-likelihood)를 최대화하도록 학습합니다: $\pi_\theta(a_t | h_t, r)$ .
결과: 정책은 요청에 따라 뚜렷한 품질의 궤적을 생성하는 법을 배웁니다. <|high reward|>에 조건화되면 최적의 행동을 이끌어내고, <|low reward|>는 그럴듯한 실패 모드를 생성합니다.

2단계: 보상 조건부 GRPO

RCTP는 RL 단계의 초기화 모델 역할을 합니다.

제어된 샘플링: 각 프롬프트에 대해 $G$ 개의 궤적으로 구성된 그룹을 생성합니다. 단일 비조건부 정책으로부터 샘플링하는 표준 GRPO와 달리, RC-GRPO는 고정된 분포 $P_{sample}(r)$ 로부터 각 궤적에 대해 별도의 이산 보상 토큰 $r_j$ 를 샘플링합니다.
조건부 롤아웃: 각 궤적 $\tau_j$ 는 자신의 특정 토큰 $r_j$ 에 조건화되어 생성됩니다 (즉, $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$ ).
어드밴티지 계산: 그룹이 서로 다른 보상 모드(높음 vs 낮음)에 조건화된 궤적들을 포함하기 때문에, 그룹 내 보상 분산이 명시적으로 주입됩니다. 이를 통해 그룹 정규화된 어드밴티지 $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ 가 퇴화되지 않고 유의미한 정보를 유지하도록 보장합니다.
보상 함수: 상태 일관성( $R_{state}$ )과 필수 행동 커버리지( $R_{action}$ )의 곱으로 정의되는 통합 궤적 수준 보상 $R(\tau)$ 를 사용하며, 이는 이진 성공 신호(성공 시 1, 실패 시 0)를 생성합니다.

3. 주요 기여

RC-GRPO 프레임워크: 이산 보상 토큰을 통해 탐색을 제어 가능한 스티어링(steering) 문제로 변환하여, 뾰족한 정책에서 발생하는 vanishing advantage 문제를 방지하는 보상 조건부 접근법을 도입했습니다.
2단계 파이프라인: 혼합 품질 데이터로 RCTP 미세 조정을 수행한 후 보상 조건부 GRPO를 적용하는 구체적인 워크플로우를 제공하며, 이는 효과적인 그룹 상대 업데이트에 필요한 다양한 행동을 모델이 안정적으로 생성할 수 있도록 보장합니다.
실증적 검증: LLaMA-3.1-8B-Instruct 및 Qwen2.5-7B-Instruct를 사용하여 Berkeley Function Calling Leaderboard v4 (BFCLv4) 멀티 턴 벤치마크에서 종합적인 실험을 수행했습니다.
이론적 및 동적 분석:
- 이론적: 표준 GRPO가 뾰족한 SFT 정책으로 인해 $\sigma_g \to 0$ 일 때 붕괴하는 반면, 보상 조건화가 그룹 내 분산의 하한선을 보장함을 보여주는 분산 기반 분석(Proposition 4.2 및 4.3)을 제시합니다.
- 동적: RC-GRPO가 정책 엔트로피를 감소시키면서도 성능을 향상시킨다는 증거를 제시하여, 성능 향상이 단순한 무작위성이 아닌 구조화된 분산 주입에 의해 구동됨을 입증합니다.

4. 실험 결과

이 방법은 BFCLv4 멀티 턴 분할 데이터셋에서 평가되었습니다.

Qwen2.5-7B-Instruct: 전체 RC-GRPO 파이프라인은 **85.00%**의 전체 정확도를 달성했습니다. 이는 베이스 모델(11.25%)과 표준 SFT+GRPO(48.75%)를 크게 상회하며, 평가된 모든 폐쇄형 소스 API 모델(최고 성능인 Opus-4.5가 61.25% 기록)조차 능가했습니다.
LLaMA-3.1-8B-Instruct: 이 방법은 **48.75%**의 정확도를 달성하여, SFT+GRPO(35.00%) 및 베이스 모델(0.00%)보다 높은 성능을 보였습니다.
절제 연구(Ablation Studies):
- RCTP의 필요성: 표준 SFT 초기화에 보상 조건화를 추가하는 것은 미미한 이득만을 주었습니다. 그러나 초기화를 RCTP-FT로 전환하여 RC-GRPO를 적용했을 때는 엄청난 개선(+Qwen2.5-7B 기준 38.75%)이 나타났습니다.
- 메커니즘: 훈련 역학 분석 결과, RC-GRPO는 낮은 엔트로피와 함께 높은 성능을 달성했으며, 엔트로피와 보상 사이에 음의 상관관계가 나타났습니다. 이는 성능이 높은 엔트로피에 의존하는 표준 GRPO와 대조적입니다.

5. 의의 및 주장

본 논문은 강력한 SFT 초기화된 에이전트에 그룹 기반 RL을 적용할 때 발생하는 근본적인 한계, 즉 그룹 내 다양성 부족으로 인한 학습 신호의 붕괴 문제를 해결합니다.

제어된 다양성: 다양성을 단순히 확률적 샘플링 온도에 의존하는 것이 아니라, 뾰족한 정책에서도 불충분할 수 있는 온도 조절 대신 조건부 토큰을 통해 명시적으로 제어할 수 있음을 보여줍니다.
무작위성 대비 안정성: 저자들은 관찰된 개선이 엔트로피를 높인 결과가 아니라, 구조화된 분산을 통해 유의미하고 소멸하지 않는 어드밴티지 신호를 복원했기 때문이라고 주장합니다.
실질적 영향: 오픈 웨이트 모델이 복잡한 멀티 턴 도구 호출 작업에서 폐쇄형 소스 API 모델을 능가할 수 있게 함으로써, 크리틱 네트워크의 계산 오버헤드나 표준 GRPO의 불안정성 없이 견고한 에이전트 시스템을 훈련할 수 있는 확장 가능한 경로를 제시합니다.

저자들은 자신들이 방법론의 안정성에 대한 분산 기반의 이론적 설명을 제공하지만, 멀티 턴 에이전트 훈련 역학에 대한 완전한 이론을 제시하는 것은 아니라는 점을 명시하며 겸허한 입장을 유지합니다. 주요 기여는 제어 가능한 생성(controllable generation)과 그룹 기반 RL을 결렴시켜, 희소 보상 환경에서의 "vanishing update" 문제에 대한 통합된 솔루션으로 프레이밍한 데 있습니다.