기술 요약: 멀티턴 툴 호출 LLM 에이전트를 위한 프록시 상태 기반 평가

문제 정의

대화형 대규모 언어 모델 (LLM) 에이전트는 멀티턴, 멀티스텝 툴 호출 과제를 해결하기 위해 상업, 계정 관리 등 산업 워크플로우에 점점 더 많이 배포되고 있습니다. 효과적인 개발을 위해서는 두 가지 구성 요소가 필요합니다: (1) 에이전트가 사용자 목표를 달성했는지 정확하게 반영하는 안정적인 평가, 그리고 (2) 상호작용 및 환경 피드백을 통한 학습을 가능하게 하는 온-폴리시 데이터 생성.

현재의 에이전트 벤치마크 (예: $\tau$-bench, $\tau^2$-bench, AppWorld) 는 최종 상태 기반 평가를 사용하는 "벤치마크 - 환경" 패러다임을 활용합니다. 이 접근 방식은 고정된 궤적 매칭이 아닌 터미널 데이터베이스 상태를 올바르게 점수화하지만, 완전히 결정론적인 백엔드에 의존합니다. 이러한 결정론적 엔진을 구축하고 반복하는 것은 스키마 설계, 결정론적 도구, 어서션 등 상당한 엔지니어링 노력을 요구하며, 일부 벤치마크는 수만 줄의 코드와 광범위한 유닛 테스트를 필요로 합니다. 이러한 엔지니어링 부담은 반복 속도를 늦추고 산업 응용 프로그램의 확장성을 제한합니다.

이 논문이 다루는 핵심 질문은 다음과 같습니다: 무거운 결정론적 백엔드를 구축하지 않고도 최종 상태 기반 평가의 이점을 유지할 수 있을까요?

방법론: 프록시 상태 기반 평가

저자들은 결정론적 데이터베이스를 LLM 이 추론한 "프록시 상태"로 대체하는 LLM 기반 시뮬레이션 프레임워크인 프록시 상태 기반 평가를 제안합니다. 이 시스템은 다섯 가지 협력하는 LLM 구성 요소로 구성된 "벤치마크 - 환경"으로 작동합니다:

1. 시나리오 명세 ($z$): 사용자 목표, 사용자 사실, 시스템 사실 (초기 상태), 예상 최종 프록시 상태, 예상 에이전트 행동을 정의하는 구조화된 객체입니다. 이는 정답 궤적의 필요성을 대체합니다.
2. 추론 에이전트 (RA): 평가 대상 모델로, ReAct 스타일 루프 (추론 $\to$ 행동 $\to$ 관찰) 를 따르며 멀티턴 대화와 멀티스텝 툴 호출을 통해 환경과 상호작용합니다.
3. 사용자 시뮬레이터 ($f_{user}$): 시나리오의 사용자 사실, 목표, 그리고 특정 페르소나 (예: 파워 유저, 혼란스러운 사용자, 모호한 사용자) 에 조건부인 사용자 발화를 생성합니다.
4. 툴 시뮬레이터 ($f_{tool}$): RA 의 서브쿼리와 시스템 사실에 기반하여 현재 프록시 상태를 "읽고" "쓰는" 방식으로 툴 응답 (예: 계정 관리, 상업) 을 시뮬레이션합니다.
5. 상태 추적기 ($f_{state}$): 전체 상호작용 기록을 $(t,k)$ 단계까지 분석하여 구조화된 프록시 상태 ($\tilde{s}_{t,k}$) 를 추론하는 LLM 구성 요소입니다. 단계별 상태 업데이트와 달리, 전체 궤적 접두사에 조건을 부여하여 오차 누적에 대한 견고성을 보장합니다.
6. LLM 판정자:
   • 목표 달성 판정자: 시나리오의 예상 최종 상태 및 행동과 최종 프록시 상태 및 에이전트 응답을 비교하여 결과 (목표 달성, 사용자 오류, 에이전트 오류) 를 분류합니다.
   • 할루시네이션 탐지 판정자: 툴 시뮬레이터나 사용자 시뮬레이터가 시나리오 제약 조건과 일관되지 않은 정보를 생성했는지 탐지합니다.

평가 지표: 이 프레임워크는 목표 달성 (GC) 비율, 사용자/에이전트 오류율, 그리고 할루시네이션율 (툴 및 사용자) 을 측정합니다. 온-폴리시 데이터 생성 (거부 샘플링 파인튜닝용) 과 오프-폴리시 데이터 생성 (지도 학습 파인튜닝용) 을 모두 지원합니다.

주요 기여

1. 프록시 상태 기반 평가의 형식화: 상호작용 기록에서 추출된 LLM 이 추론한 프록시 상태를 활용하여 결정론적 백엔드가 필요 없는 실용적인 벤치마크를 형식화하여 상태 기반 평가 원칙을 유지합니다.
2. 시나리오 스키마 및 구성 요소 아키텍처: 복잡한 워크플로우를 시뮬레이션하기 위해 협력하는 다섯 가지 구성 요소 LLM 아키텍처 (추론 에이전트, 사용자 시뮬레이터, 툴 시뮬레이터, 상태 추적기, 판정자) 와 특정 시나리오 스키마를 도입합니다.
3. 신뢰성 프레임워크: 부트스트랩 표준 오차, 할루시네이션율, 인간-LLM 판정자 일치도 등 신뢰성 기준을 정의합니다. 페르소나 민감도, 시스템/사용자 사실의 완전성, 상태 추적기의 강도에 대한 표적 제거 실험을 수행합니다.
4. 확장 가능한 데이터 생성: 이 환경은 사후 학습 (SFT/RFT) 에 적합한 확장 가능한 온-폴리시 및 오프-폴리시 롤아웃을 생성하고 모델 비교를 위한 안정적인 지표를 제공합니다.

결과

이 벤치마크는 다양한 모델 계열 (GPT-5, GPT-4o, Gemini-2.5, Qwen3) 과 추론 노력에 걸쳐 평가되었습니다:

• 모델 차별화: 목표 달성 (GC) 비율은 모델의 강도와 추론 시간의 추론 노력에 따라 일관되게 증가합니다. 예를 들어, GPT-5 계열 내에서 더 높은 추론 노력은 단조로운 GC 향상을 가져옵니다 (High: 85.76% > Minimal: 66.04%).
• 학습 효과성: 이 환경 내에서 베이스 Qwen3-30B-A3B 모델을 학습시키면 성능이 크게 향상되었습니다. 더 강력한 교사 모델로부터의 오프-폴리시 데이터를 사용한 지도 학습 파인튜닝 (SFT) 은 GC 를 65.64% 에서 77.34% 로 증가시켰습니다. 거부 샘플링 파인튜닝 (RFT) 또한 개선을 가져왔습니다.
• 복잡성에 대한 견고성: 베이스 모델의 경우 대화 깊이가 깊어질수록 성능이 저하되지만, SFT 학습은 긴 대화에서 상당한 향상을 제공합니다 (+26.69 퍼센트 포인트), 이는 학습 신호가 더 어렵고 멀티스텝 상호작용으로 일반화됨을 나타냅니다.
• 신뢰성과 할루시네이션:
  • 인간-LLM 일치도: 90% 를 초과하여 자동화된 평가를 검증했습니다.
  • 시뮬레이터 할루시네이션: 기본 구성 (중간 추론 노력의 GPT-5o) 하에서 툴 및 사용자 할루시네이션율은 거의 제로에 가까웠습니다 (각각 1.33% 및 0.67%).
  • 제거 실험 결과: 시나리오에서 시스템 사실이나 사용자 사실을 제거하면 할루시네이션율이 단조롭게 증가하여 세심한 시나리오 명세가 중요함을 확인시켰습니다. 약한 상태 추적기 (예: GPT-4o) 는 툴 할루시네이션율을 증가시켜 정확한 상태 추론의 필요성을 강조했습니다.
• 교차 모델 견고성: 시뮬레이터와 판정자 모델을 교체하더라도 (예: GPT-5o 대신 Gemini-2.5-Pro 사용) 모델 순위와 학습 이득은 일관되게 유지되어 단일 모델 계열 설정에서의 순환 편향을 배제했습니다.

중요성과 주장

이 논문은 프록시 상태 기반 평가가 산업용 LLM 에이전트를 위한 결정론적 에이전트 벤치마크에 대한 실용적이고 확장 가능한 대안을 제공한다고 주장합니다. 상태 기반 평가를 결정론적 백엔드 구축의 엔지니어링 부담에서 분리함으로써, 이 프레임워크는 다음과 같은 이점을 가능하게 합니다:

• 빠른 반복: 시나리오는 광범위한 코드 엔지니어링 없이도 빠르게 구축되어 제품 로드맵과 함께 진화할 수 있습니다.
• 엄격한 평가: 여러 가지 올바른 툴 호출 경로의 유연성을 지원하면서도 최종 상태 검증의 엄격함을 유지합니다.
• 효과적인 학습: SFT 및 RFT 를 통해 오픈 가중치 에이전트의 성공적인 개선을 가능하게 하는 고품질 온-폴리시 및 오프-폴리시 데이터를 생성하며, 이러한 이득은 보지 못한 시나리오로 전이됩니다.

저자들은 이 작업을 모든 결정론적 테스트를 대체하는 것이 아니라, 결정론적 백엔드의 비용이 prohibitive(부담스러울 정도로 큰) 이지만 상태 기반, 목표 지향적 평가의 필요성이 여전히 최우선인 산업 환경에서 필수적인 진화로 위치시킵니다.