Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows

기술 요약: 다음 토큰 예측을 넘어: Atlassian 워크플로우를 위한 도구 사용 에이전트의 RLVR 개념 증명

문제 정의
대규모 언어 모델(LLM)은 근본적으로 인터넷 규모의 텍스트에 대한 다음 토큰 예측에 최적화되어 있으며, 이는 니치(niche)한 엔터프라이즈 SaaS 워크플로우의 요구 사항과는 일치하지 않는 목적 함수를 가집니다. 이러한 환경에서의 성공은 엄격한 순서에 따라 정밀한 중첩 인자(nested arguments)를 포함하는 특정 API 호출을 실행하는 데 달려 있습니다. 본 논문은 이러한 목적 함수의 불일치가 도구 사용 에이전트에서 "침묵하는 실패(silent failures)"—필수 필드 누락, 존재하지 않는 도구 환각, 또는 단일 읽기 작업 후 조기 종료 등—로 나타난다고 주장합니다. 기존 문헌들이 오픈 웹이나 광범위한 에이전트 벤치마크를 통한 지도 미세 조정(SFT) 또는 강화 학습(RL)을 통해 도구 호출을 다루고 있는 반면, "확인 후 변경(check-then-mutate)" 패턴이 지배적인 스키마 중심의 엔터프라이즈 워크플로우에 초점을 맞춘 연구는 부족한 실정입니다.

방법론
저자들은 타겟 환경의 스키마를 충실히 반영한 합성 복제본 내에서 직접 적용되는 **검증 가능한 보상을 활용한 강화 학습(RLVR)**을 활용한 개념 증명을 제안합니다. 이 접근 방식은 라이브 API, 학습된 보상 판별기(reward judge), 또는 인간 참여형 레이블링의 필요성을 제거합니다.

• 합성 환경: 팀은 Jira REST v3 및 Confluence v2 API를 모사하는 5개의 합성 환경을 구축했습니다. 이 환경들은 스키마 충실도(공개 계약과 일치)를 유지하며, 상태를 가지되 롤아웃 간에 리셋이 가능하여 오염을 방지합니다. 또한 완전히 결정론적입니다.
• 검증 가능한 보상 함수: 학습된 보상 모델에 의존하는 대신, 도구 호출 트레이스(trace)를 검사하는 프로그래밍 방식의 체커(checker)를 통해 정확성을 결정합니다. 보상 함수($R \in [0, 1]$)는 세 가지 가산 구성 요소로 분해됩니다:
  1. 인자별 정확성 (R1): 기대되는 인자 값(예: 특정 프로젝트 키, 부모 ID)과 일치할 때 부여되는 작은 상수값.
  2. 구조적 보너스 (R2): validate–mutate–verify 패턴(예: create_* 호출 전 get_* 호출 수행)을 준수하는 것에 대한 보상.
  3. 페널티 (R3): 필수 호출 누락, 유효하지 않은 페이로드 형태, 중복 호출, 환각된 도구 이름, 또는 호출 예산 초과와 같은 파괴적 행동에 대한 차감.
• 학습 루프: 저자들은 Qwen3-1.7B 및 Qwen3.5-4B 모델에 대해 **그룹 상대 정책 최적화(GRPO)**를 채택합니다. 학습 루프는 프롬프트당 여러 개의 롤아웃을 생성하고, 이를 검증 가능한 보상 함수에 따라 점수를 매긴 뒤, 정책 파라미터를 업데이트하는 과정을 포함합니다. 학습은 적절한 하드웨어(단일 또는 듀얼 Nvidia RTX PRO 6000 GPU)에서 실행되며, 보상 수렴에 기반한 조기 종료를 활용합니다.

주요 기여

1. 합성 Atlassian 스위트: Jira 티켓 전환, 하위 작업 생성, Confluence 페이지 생성, 페이지 레이블링, 그리고 교차 제품 시나리오를 다루는 5개의 스키마 충실한 환경.
2. 보상 설계: 복잡한 도구 사용의 정확성을 (인자 매칭, 구조적 순서, 페널티 강제와 같이) 검증 가능한 프로그래밍 신호로 분해하여 도구 호출 트레이스 전체에서 완전히 계산 가능한 프레임워크.
3. 베이스라인 및 학습 결과: 동일한 보상 체커를 사용하여 프롬프트 베이스라인(Qwen3-1.7B 및 Qwen3.5-4B)과 RLVR로 학습된 정책을 비교하는 종합적인 평가.
4. 학습 레시피: 소형 모델이 수십에서 수백 개의 생성 배치 내에 수렴을 달성할 수 있는 엔드 투 엔드 GRPO 학습 레시피.

결과
연구는 5가지 시나리오에 대해 평가를 수행하며, "티켓 전환(ticket-transition)" 시나리오는 보상 함수가 포화되어 프롬프트된 4B 모델이 이미 완벽한 점수를 획득하는 투명성 대조군임을 언급합니다.

• 성능 향상: 4개의 비퇴행적(non-degenerate) 시나리오에서 RL 학습 정책은 프롬프트 베이스라인을 크게 상회했습니다.
  • Confluence 페이지 생성: 가장 극적인 개선을 보이며, 베이스라인 0.35에서 1.00으로 상승 (+0.65).
  • Confluence 페이지 레이블링: 0.52에서 0.95로 개선 (+0.43).
  • Jira 하위 작업 생성: 0.68에서 1.00으로 개선 (+0.32).
  • 교차 제품 (Jira + Confluence): 0.92에서 1.00으로 개선되어, 12개의 모든 평가 프롬프트에 대해 완벽한 롤아웃 성공을 달성하며 잔여 격차를 해소함.
• 학습 역학: 모델은 처음부터 시작하는 시나리오에서 100개 생성 배치 이내에 평균 보상 $\ge 0.95$에 도달했습니다. 보상 분산(생성 그룹 내 min/max)은 정책이 저보상 롤아웃 생성을 중단함에 따라 학습이 진행됨에 따라 수축되었습니다.

의의 및 한계
본 논문은 이 작업이 결과 최적화된 소형 모델이 저렴한 합성 기질과 검증 가능한 보상을 사용하여 니치한 엔터프라이즈 API를 위해 학습될 수 있음을 보여주는 예비 개념 증명임을 위치시킵니다.

저자들은 기대치를 조절하기 위해 두 가지 한계점을 명시적으로 강조했습니다:

1. 보상 설계의 확장성: 검증 가능한 보상을 수동으로 제작하는 것은 현재 Atlassian 공용 API 전체나 더 넓은 엔터프라이즈 생태계로 확장되지 않습니다. 이는 보고된 소수의 엔드포인트에 대해서만 효과적입니다.
2. 보상 포화: 한 시나리오(티켓 전환)는 보상 형태가 너무 단순하여 프롬프트된 4B 모델이 즉시 최대치에 도달하게 하며, 이 경우 RL이 불필요하게 만듭니다.

저자들은 이 레시피가 특정 기질에 대해서는 작동하지만, 상당한 수동 보상 엔지니어링 없이는 모든 엔터프라이즈 도구 사용 과업에 대해 일반화 가능한 솔루션을 아직 확립하지 못했다고 결론짓습니다.