💻 computer science

RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents

RODS는 경계 수준의 과업을 동적으로 식별하고 재샘플링하여 훈련 풀을 공동 진화시키는 보상 주도형 온라인 데이터 합성 프레임워크를 구현함으로써, 훨씬 적은 궤적만으로도 방대한 오프라인 데이터셋에 필적하는 성능을 달성하며 멀티 턴 도구 사용 강화 학습에서의 정보성 샘플 고갈이라는 병목 현상을 해결한다.

원저자: Ruishan Fang, Siyuan Lu, Chenyi Zhuang, Tao Lin

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruishan Fang, Siyuan Lu, Chenyi Zhuang, Tao Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 경험이 부족한 로봇에게 복잡한 도구들(스마트폰, 자동차, 은행 앱 등)을 사용하여 문제를 해결하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 직접 해보고, 실수도 해보며, 시간이 흐름에 따라 점점 더 나아지는 방식으로 배우기를 원합니다. 이것이 연구자들이 "강화 학습(Reinforcement Learning)"이라고 부르는 것입니다.

하지만 큰 문제가 하나 있습니다: 로봇이 연습할 수 있는 좋은 문제들이 바닥나 버립니다.

문제점: "너무 쉽거나 너무 어려운" 함정

로봇의 학습 여정을 비디오 게임에 비유해 보겠습니다.

쉬운 단계: 만약 로봇에게 이미 할 줄 아는 작업(예: "불 켜기")을 준다면, 로봇은 매번 성공할 것입니다. 하지만 새로운 것을 배울 수 없습니다. 도전 과제가 없기 때문입니다.
불가능한 단계: 만약 작업이 너무 어렵다면(예: 렌치를 잡는 법조차 모르는데 "로켓을 처음부터 제작하기"를 시키는 경우), 로봇은 매번 실패할 것입니다. 로봇은 어디서부터 시작해야 할지 알 수 없기에 좌절하게 되고, 아무것도 배우지 못합니다.
스위트 스팟 (최적의 지점): 로봇은 작업이 딱 적당할 때 가장 잘 배웁니다. 즉, 성공과 실패의 확률이 50/50인 지점입니다. 이곳에서 뇌(또는 AI)는 개선을 위한 가장 유용한 "피드백 신호"를 얻습니다.

이 논문은 기존 방식들이 **정적인 라이브러리(static library)**를 사용한다고 주장합니다. 로봇이 라이브러리에 있는 "중간 난이도" 문제를 마스터하고 나면, 그 라이브러리는 쓸모가 없어집니다. 로봇은 자신이 이미 풀 수 있는 문제(지루함)를 보거나, 아직 풀 수 없는 문제(불가능함)를 마주하며 멍하니 서 있게 됩니다. "좋은" 문제들이 사라져 버리는 것입니다.

해결책: RODS (자기 생성형 체육관)

저자들은 RODS(Reward-Driven Online Data Synthesis)라고 불리는 새로운 시스템을 제안합니다. 정적인 라이브러리를 사용하는 대신, RODS는 마치 선수의 수행 능력에 맞춰 실시간으로 새로운 운동법을 만들어내는 개인 트레이너와 같습니다.

RODS가 작동하는 방식은 다음과 같습니다. 쉬운 비유를 들어 설명하겠습니다.

1. 경계 탐지기 (스위트 스팟 찾기)

RODS는 로봇의 수행 능력을 끊임없이 관찰합니다. 로봇이 얼마나 자주 성공하는지를 보기 위해 "진전 보상(Progress Reward)"이라는 특별한 지표를 사용합니다.

로봇이 100%의 확률로 성공한다면, 그 작업은 너무 쉽습니다.
로봇이 100%의 확률로 실패한다면, 그 작업은 너무 어렵습니다.
RODS는 50% 구간을 찾습니다. 로봇이 배우기 위해 딱 적당히 고군분투하면서도, 그렇다고 절망적이지는 않은 특정 작업들을 식별합니다. 이것이 바로 "경계(boundary)" 작업입니다.

2. 모양 변형기 (새로운 문제 생성)

RODS는 "경계" 작업을 찾으면 단순히 로봇에게 같은 문제를 다시 주는 것이 아닙니다. RODS는 창의적인 요리사처럼 완벽한 레시피(시드 작업)를 가져와서, 그 구조는 유지하되 재료만 바꾼 새로운 요리를 만들어냅니다.

예시: 만약 로봇이 "파리로 가는 항공권을 예약하고 택시를 부르는" 작업에서 어려움을 겪었다면, RODS는 새로운 작업인 "런던으로 가는 기차를 예약하고 피자를 주문하기"를 생성합니다.
난이도(단계의 수, 의존성)는 정확히 동일하게 유지되지만, **이야기(스토리)**는 완전히 새롭습니다. 이는 로봇이 특정 정답을 암기하는 것이 아니라, 작업의 논리를 배우도록 강제합니다.

3. 동적 라이브러리 (신선한 선반 유지하기)

RODS는 슬라이딩 윈도우(sliding window) 역할을 하는 "리플레이 버퍼(replay buffer, 훈련 풀)"를 관리합니다.

로봇이 특정 작업에 능숙해지면, 그 작업은 이제 "너무 쉽다"고 판단되어 풀에서 쫓겨납니다.
그 자리에 새롭게 합성된 "경계" 작업들이 미끄러지듯 들어옵니다.
이를 통해 로봇은 항상 자신의 능력치 경계선에서 훈련하게 되며, 이미 알고 있는 것들에 시간을 낭비하거나 도저히 할 수 없는 것에 매달리는 일을 방지합니다.

결과: 작은 라이브러리, 거대한 뇌

이 논문은 단 400개의 인간 작성 예시라는 매우 작은 시작 세트로 이 시스템을 테스트했습니다.

기존 방식: 유사한 결과를 얻기 위해 다른 시스템들은 17,000개의 예시가 담긴 거대한 라이브러리가 필요했습니다.
RODS 방식: 끊임없이 타겟팅된 새로운 연습 문제를 생성함으로써, RODS는 약 20배 적은 데이터를 사용하고도 동일하거나 더 나은 성능을 달 ext했습니다.

핵심 요약

이 논문은 더 크고 더 큰 라이브러리를 구축하려고 노력하는 대신, AI를 위해 매 순간 최적의 도전 과제를 동적으로 생성하는 시스템을 구축해야 한다고 주장합니다. 이는 학생에게 고정된 장(chapter)이 있는 교과서를 주는 것과, 학생이 어제 틀린 문제를 바탕으로 매일 맞춤형 퀴즈를 써주는 튜터를 붙여주는 것의 차이와 같습니다.

핵적인 결론: RODS는 "좋은 연습 문제가 바닥나는" 문제를 해결합니다. 최고의 연습이란 고정된 문제 목록이 아니라, 학습자의 성장하는 기술과 함께 끊임없이 움직이는 목표라는 점을 깨달았기 때문입니다.

기술 요약: RODS – 다회차 도구 사용 에이전트를 위한 보상 기반 온라인 데이터 합성 (Reward-Driven Online Data Synthesis)

1. 문제 정의

강화 학습(RL)을 통한 다회차 도구 사용(multi-turn tool use)을 위한 대규모 언어 모델(LLM) 에이전트 훈련은 정적 데이터셋의 정보 샘플이 빠르게 고갈되는 결정적인 병목 현상에 직면해 있습니다. 에이전트가 개선됨에 따라, 정적 데이터셋은 신호 고갈(signal depletion)(챌린지 C2) 문제를 겪게 됩니다. 즉, 작업이 이미 숙달되었거나(높은 보상) 해결 불가능한 상태(낮은 보상)가 되어, 에이전트의 학습을 유도할 '경계(boundary)' 작업이 사라짐으로써 그래디언트 신호가 소멸하는 현상입니다.

기존의 접근 방식들은 이를 총체적으로 해결하지 못합니다:

대규모 오프라인 합성(예: APIGen-MT, TOUCAN)은 사전에 방대한 코퍼스를 생성하지만, 훈련 루프와 분리되어 있어 에이전트의 진화하는 능력 경계를 추적하지 못합니다.
온라인 환경 증강(예: EnvTuning)은 고정된 데이터에 대한 피드백을 풍부하게 하지만, 궁극적으로 시드 코퍼스의 다양성에 제약을 받습니다.
**제약 없는 셀프 플레이(Unconstrained self-play)**는 다회차 추론에 필요한 장기적 일관성(long-horizon coherence)이 결여된, 의미론적으로 파편화된 궤적(Challenge C3)을 생성하는 경우가 많습니다.

결과적으로, 극심한 데이터 부족 조건에서도 에이전트의 능력 경계를 엄격히 추적하면서 다회차 의미론적 일관성을 유지하며 데이터를 동적으로 합성할 수 있는 방법론이 필요합니다.

2. 방법론: RODS 프레임워크

저자들은 데이터 생성을 RL 훈련 과정과 직접 결합하는 폐쇄 루프 프레임워크인 **RODS (Reward-driven Online Data Synthesis)**를 제안합니다. 핵심 통찰은 GRPO와 같은 정책 그래디언트(policy gradient) 방법에서 **진행 보상 분산(Progress Reward variance)**이 에이전트의 능력 경계를 탐지하는 비용 효율적이고 실용적인 탐지기 역할을 한다는 점입니다.

2.1 이론적 기초: 경계 탐지기로서의 분산

GRPO에서 그래디언트 신호 밀도는 롤아웃 보상 분산에 의해 결정됩니다. **포포비치 부등식(Popoviciu's inequality)**을 인용하면, 유계 변수(bounded variable)의 분산은 평균 성공 확률( $\mu$ )이 약 0.5일 때 최대가 됩니다. RODS는 이를 활용하여 에이전트의 평균 진행 보상( $\bar{r}_i$ )이 특정 경계 구역( $\alpha_- \le \bar{r}_i \le \alpha_+$ , 통상적으로 $[0.20, 0.85]$ ) 내에 있는 작업을 식별합니다. 이러한 "경계 시드(boundary seeds)"는 성공과 실패가 균형을 이루는 최전선을 나타내며, 가장 집중도 높은 그래디언트 신호를 제공합니다.

2.2 핵심 구성 요소

RODS는 세 가지 공진화(co-evolving) 모듈로 구성됩니다:

보상 기반 시드 탐지 (Reward-Based Seed Detection):
- 시스템은 $K$ 번의 롤아웃에 걸친 평균 진행 보상을 기준으로 작업 공간을 숙달(Mastered), 경계(Boundary), 어려움(Hard) 영역으로 분할합니다.
- 다양한 기술 범위(예: 누락된 함수, 긴 컨텍스트)를 보장하기 위해 유형 할당(type-quota) 메커니즘을 사용하여 "경계 시드"( $\bar{r}_i \approx 0.5$ )를 선택합니다.
- 선택 시 그래디언트 잠재력을 극대화하기 위해 능력 중간 지점( $\mu \approx 0.5$ )에 가장 가까운 시드를 우선시합니다.
기술 정렬 데이터 합성 (Skill-Aligned Data Synthesis):
- 단순한 패러프레이징 대신, RODS는 구조적으로 동형(isomorphic)인 변형을 생성하기 위해 5단계 멀티 에이전트 파이프라인을 채택합니다.
- 구조적 보존(Structural Preservation): 파이프라인은 시드로부터 복잡도 프로필 $\Phi(x_{seed})$ (예: API 의존성 그래프, 파라미터 흐름)를 추출합니다. 새로운 작업은 이 프로필의 의존성 깊이와 토폴로지를 일치하도록 샘플링되어, 새로운 작업이 능력 경계 근처에 머물도록 보장합니다.
- 의미론적 일관성(Semantic Coherence): **일관성 재작성 에이전트(Coherence Rewrite Agent)**는 모든 턴을 단일 서사적 목표에 고정하여, 단순 합성에서 흔히 발생하는 "의미론적 파편화(C3)" 문제를 해결합니다.
- 피드백 기반 실행: 실행 오케스트레이터(Execution Orchestrator)는 시뮬레이션된 환경에서 계획을 실행합니다. 오류가 발생할 경우, **설정 패치 에이전트(Config Patch Agent)**가 환경 상태(예: 인증 또는 리소스 가용성 수정)를 수정하여 샘플을 폐기하는 대신 유효한 실행을 보장합니다.
동적 리플레이 버퍼 관리 (Dynamic Replay Buffer Management):
- 단계적 주입(Staged Injection): 합성된 변형들은 후보 큐에 보관되었다가 분포 충격(distributional shock)을 방지하기 위해 에폭(epoch) 경계 시점에 주입됩니다.
- 다층 퇴출 메커니즘(Multi-Layer Retirement): 풀(pool)의 정보성을 유지하기 위해 세 단계의 퇴출 메커니즘을 사용합니다:
  - 번인 필터링(Burn-in filtering): 초기 보상이 임계값 미만인 변형을 제거합니다.
  - 경계 드리프트 퇴출(Boundary-drift eviction): 숙달 영역이나 해결 불가능 영역으로 이동한 작업을 제거합니다.
  - 분산 우선순위 기반 프루닝(Variance-prioritized pruning): 풀이 용량( $P_{max}$ )을 초과할 경우, 높은 그래디언트 신호를 보존하기 위해 보상 분산이 낮은 샘플을 퇴출합니다.

3. 주요 기여

RODS 프레임워크: RL 진행 보상을 활용하여 실시간으로 경계 작업을 식별하고 확장함으로써, 데이터의 희소성 문제를 해결하는 보상 기반 경계 확장 방법론을 제시합니다.
기술 정렬 합성 파이프라인: 검증된 시드의 기능적 의존 구조를 보존하면서 새로운 서사를 생성하는 혁신적인 접근법을 통해 다회차 의미론적 일관성을 확보하고, 정적 실행 경로에 대한 과적합을 방지합니다.
데이터 효율성: 단 400개의 휴먼 시드에서 시작하여 약 800개의 활성 샘플을 유지함으로써, RODS가 17K개의 샘리학 오프라인 파이프라인(약 20배 적은 궤적 사용)과 대등한 성능을 달성함을 입증했습니다.

4. 실험 결과

저자들은 BFCL V3 다회차 벤치마크(800개 샘플, 훈련용 400개)에서 Qwen3-4B-Instruct, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct를 사용하여 RODS를 평가했습니다.

베이스라인 대비 성능: RODS는 모든 모델 제품군에서 "정적 데이터셋(Static Dataset)" 훈련 및 "EnvTuning(환경 증강)"보다 우수한 성능을 보였습니다. Qwen3-4B의 경우, RODS는 **56.00%**의 전체 정확도를 달성하여 정적 베이스라인(50.00%)과 EnvTuning(50.50%)을 앞질렀습니다.
데이터 효율성: RODS는 약 800개의 활성 샘플만 사용하면서도 FunReason-MT-4B(17K 오프라인 궤적으로 훈련됨)의 성능에 필적하는 결과를 보여주었습니다.
OOD 일반화: RODS는 OOD(Out-of-Distribution) 벤치마크(BFCL V4, $\tau^2$ -bench, ACEBench)에서도 일관된 성능 향상을 보여, 모델이 단순한 인-디스트리뷰션 암기가 아닌 일반화된 추론 패턴을 학습했음을 시사했습니다.
절제 연구(Ablation Studies):
- 일관성 재작성(coherence rewrite) 단계를 제거했을 때 가장 큰 성능 저하( $\downarrow 5.13\%$ )가 발생하여, 의미론적 접지(semantic grounding)의 중요성을 확인했습니다.
- 경계 타겟팅 시드 선택을 무작위 선택으로 대체했을 때 상당한 성능 하락( $\downarrow 4.75\%$ )이 발생하여, 단순히 데이터 양을 늘리는 것보다 경계를 타겟팅하는 것이 더 중요하다는 것을 입증했습니다.
- 퇴출 메커니즘을 비활성화했을 때 성능이 감소( $\downarrow 3.38\%$ )하여, 숙달된 데이터를 축적하는 것이 그래디언트 신호를 희석시킨다는 점을 확인했습니다.

5. 의의 및 주장

본 논문은 RODS가 데이터 희소성 병목 현상을 동적 커리큘럼 설계 문제로 효과적으로 재구성한다고 주장합니다. 진행 보상의 내재적 분산을 경계 탐지기로 활용함으로써, RODS는 방대한 오프라인 코퍼스 없이도 훈련 전반에 걸쳐 정보가 풍부한 정책 그래디언트를 지속적으로 유지합니다.

저자들은 데이터를 얼마나 많이 합성하느냐보다 어디에서 합성하느냐가 더 중요하다고 강조합니다. 이 프레임워크는 유리한 트레이드오프를 달성합니다. 즉, 추가적인 합성 연산 비용(GPU 시간 기준 훈련 비용의 약 1배)이 발생하지만, 대규모 오프라인 파이프라인에 비해 필요한 데이터 양을 획기적으로 줄여줍니다.

한계점: 저자들은 현재 합성 파이프라인이 올바른 실행을 검증하기 위해 결정론적 시뮬레이션 환경(실행 가능한 Python 객체)에 의존하고 있음을 언급했습니다. 이를 불투명한 환경이나 원격 Model Context Protocol (MCP) 서버로 확장하는 것은 향후 과제로 남겨두었습니다. 또한, 현재는 단일 합성 백본을 사용하고 있으나, 멀티 백본 앙상블을 통한 스케일링 가능성을 시사했습니다.