기술 요약: PROVE — 검증된 환경에서의 프로그래밍 방식 보상 (Programmatic Rewards On Verified Environments)

문제 정의

대규모 언어 모델(LLM)이 다단계 도구 호출(tool calls)을 오케스트레이션하도록 학습시키는 데에는 에이전트 배포를 저해하는 세 가지 결합된 장애물이 존재한다:

1. 비용이 많이 드는 현실적인 환경: 현실적이고 상태 유지(stateful)가 가능한 실행 환경을 구축하는 것은 자원이 많이 소모된다. 이로 인해 많은 파이프라인이 캐싱된 API나 시뮬레이션된 API에 의존하게 되며, 이는 상태 의존적 실패 모드(state-dependent failure modes)를 놓치게 된다.
2. 분리된 합성 데이터: 합성 학습 쿼리는 서버의 실제 상태에 근거하지 않고 생성되는 경우가 많다. 결과적으로 생성된 도구 호출은 존재하지 않는 엔티티(entity)를 참조하게 되어, 학습 중 실행 실패를 야기한다.
3. 장황함 유인(Verbosity Incentives): 표준적인 회상 기반 강화 학습(RL) 보상은 장황한 도구 호출 패턴을 장려한다. 모델은 그라운드 트루스(Ground Truth, GT) 커버리지를 극대화하기 위해 과도한 도구 호출을 내뱉도록 학습하며, 이는 명시적으로 처벌받지 않는 퇴보 현상이다.

방법론: PROVE 프레임워크

저자들은 실시간 실행 백엔드와 결합된 데이터 합성 루프를 통해 데이터 합성을 긴밀하게 연결하는 PROVE(Programmatic Rewards On Verified Environments) 프레임워크를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있다:

1. 실시간 MCP 환경 프레임워크

PROVE는 정적인 캐시 대신, 금융, 생산성, 커머스, 여행, IoT 등의 도메인에 걸쳐 343개의 도구를 노출하는 20개의 상태 유지형 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 서버 라이브러리를 활용한다.

• 상태 유지 실행: 캐싱된 API와 달리, 이 서버들은 현실적인 상태 의서적 역동성(예: 이체 후 계좌 잔액 변화, 지속적인 캘린더 이벤트 등)을 포착한다.
• 세션 범위 격리: 각 RL 롤아웃 에피소드는 고유한 세션 ID를 할당받아, 상태 격리와 재현 가능한 초기 조건을 보장한다.
• 통합: 이 프레임워크는 VERL RL 프레임워크와 통합되어, 모델이 생성한 도구 호출을 적절한 MCP 서버로 라우팅하고 실행 응답을 반환한다.

2. 근거 기반 상태 머신 데이터 합성

분리된 합성 데이터 문제를 해결하기 위해, PROVE는 검증된 멀티 턴 궤적(trajectory)을 생성하는 자동화된 파이프라인을 채택한다:

• 의존성 그래프 발견: LLM이 도구 쌍 간의 관계(명시적, 암시적 또는 없음)를 분류하여 의존성 그래프를 구축함으로써 현실적인 다단계 체인을 시딩(seeding)한다.
• 실시간 상태 샘플링: 쿼리 생성 전, 시스템은 실시간 MCP 서버를 조사하여 실제 엔티티(예: 유효한 계좌 ID, 존재하는 도시 등)를 열거한다. 이 "샘플링 컨텍스트"가 프롬프트에 주입되어, LLM이 실제로 서버 상태에 존재하는 엔티티만 사용하도록 제약한다.
• 상태 머신 오케스트레이터: 유한 상태 머신(Finite State Machine)이 대화를 주도하며, 쿼리 생성, LLM 처리, 도구 실행, 그리고 복구(수정된 파라미터나 대안 도구로 재시도) 사이의 전이를 관리한다.
• 강건성 및 검증: 파이프라인은 확률적 섭동(방해 요소, 생략된 열거형, 무관한 쿼리)을 도입하고, 새롭게 리셋된 환경에 대해 **재생 검증(replay validation)**을 수행한다. 오류율이 30% 미만이고 민감한 파라미터의 출처가 유효한 대화만을 보유한다.
• 데이터셋: 이 과정은 멀티 턴 대화, 명확화 궤적, 그리고 절제(abstention) 사례를 포함한 약 13,517개의 학습 예시를 산출한다.

3. 다중 구성 요소 프로그래밍 방식 보상

PROVE는 외부 "LLM-as-judge" 모델을 필요로 하지 않는 다섯 가지 부분으로 구성된 완전한 프로그래밍 방식 보상 함수($R_{total}$)를 도입한다:

1. 유효성 ($R_{validity}$): 함수 이름의 존재 여부, 파라미터 호환성, 그리고 성공적인 실시간 실행을 기반으로 한 단계적 점수(0–1).
2. 커버리지 ($R_{coverage}$): 모든 GT 워크플로우 단계가 올바른 의존 순서대로 완료되었는지 측정한다. 이는 모델 호출이 매칭을 위해 모든 GT 인자 키를 포함해야 함을 강제한다.
3. 적응형 효율성 ($R_{efficiency}$): 장황함에 대응하기 위해 설계된 핵심 기여 요소이다. 이는 복잡도 기반 예산($B = n_{gt} + \lceil n_{gt} \cdot \beta \rceil$)을 초과하는 호출에 대해 페널티를 적용한다. 이를 통해 복잡한 작업에는 여유를 허용하면서 불필요한 호출은 억제한다.
4. 도구 이름 신호 ($R_{name}$): 그라운드 트루스에 등장하는 도구 이름을 선택했을 때 부여되는 명시적 보너스로, 유효성 점수가 도구 선택을 학습하기 전에 포화되는 병목 현상을 해결한다.
5. 인자 값 매칭 ($R_{arg}$): 특정 인자 값을 그라운드 트루스와 일치시킬 때 주는 보너스(단순 키 매칭이 아닌 값 매칭)로, 멀티 턴 대화 성능을 크게 향상시킨다.

실험 설정

• 모델: 두 계열의 네 가지 인스트럭션 튜닝 모델: Qwen3-4B, Qwen3-8B, Qwen2.5-7B, 그리고 Granite-4.1-8B.
• 학습: 모든 모델은 8×H100 GPU에서 350 스텝 동안 **GRPO(Group Relative Policy Optimization)**를 사용하여 학습되었다.
• 하이퍼파라미터: 모든 모델에 동일한 보상 가중치를 사용하였으며, 각 계열별로 학습률(learning rate)만 튜닝하였다.
• 벤치마크: BFCL Multi-Turn, $\tau$2-bench, T-Eval에서 평가되었다.

결과

PROVE는 약 13K개의 학습 예시만을 사용하여(AgenticQwen과 같은 동시기 RL 파이프라인의 약 8배 적은 양) 네 가지 모델과 세 가지 벤치마크에서 일관된 개선을 입증했다:

• BFCL Multi-Turn: 최대 +10.2 포인트 개선 (Qwen3-4B).
• $\tau$2-bench: 최대 +6.8 포인트 개선 (Qwen2.5-7B).
• T-Eval: 최대 +6.5 포인트 개선 (Qwen2.5-7B).

절제 연구(Ablation Studies):

• 보상 구성 요소: 적응형 효율성 페널티($\beta=0$) 또는 도구 이름 신호를 제거했을 때 가장 큰 종합적인 하락(벤치마크 전체에서 약 9포인트)이 발생했으며, 이는 장황함을 방지하고 도구 선택을 유도하는 데 있어 이들의 결정적인 역할을 확인시켜 준다.
• RL vs. SFT: 동일한 데이터로 지도 미세 조정(SFT)을 수행했을 때, 모델은 종종 멀티 턴 벤치마크(예: $\tau$2-bench)에서 퇴보하는 경향을 보였으나, PROVE는 일관되게 성능을 향상시켰다. 이는 보상 신호가 합성 궤적을 신뢰할 수 있는 에이전트 행동으로 전환하는 데 필수적임을 시사한다.
• 교사 모델 강건성: 데이터 합성 "교사" LLM을 교체하더라도(Gemma-4-31B-it vs. Qwen3-32B) 결과가 안정적으로 유지되었으며, 이는 이 성과가 특정 교사의 스타일보다는 보상 공식과 실시간 실행 루프에서 기인함을 나타낸다.

의의 및 주장

본 논문은 컴팩트하고 완전한 프로그래밍 방식 보상을 근거 기반 데이터 합성과 결합함으로써 다음과 같은 것 없이도 일관된 다단계 도구 오케스트레이션 이득을 이끌어낼 수 있다고 주장한다:

• 대규모 데이터 파이프라인 (수백만 개 대신 약 13K 개의 예시 사용).
• 보상 계산을 위한 비용이 많이 드는 "LLM-as-judge" 모델.
• 수동 어노테이션.

저자들은 적응형 효율성 페널티와 도구 이름 신호가 가장 핵심적인 구성 요소이며, 이것이 기존에 도구 사용을 위한 RL을 제한해 온 장황함과 도구 선택 병목 현상을 성공적으로 해결했다고 강조한다. 실시간 실행과 합성을 긴밀하게 결합함으로써, PROVE는 학습 데이터가 실행 가능하도록 보장하고 보상 신호가 실제 세계의 상태 의존적 역동성을 반영하도록 한다.