기술 요약: A Matter of TASTE: 에이전트 벤치마크의 커버리지와 난이도 향상

문제 제기

도구 사용 에이전트의 기능이 발전함에 따라 기존 벤치마크 (예: $\tau^2$-Bench) 는 포화 상태에 이르렀으며, 최상위 모델들은 거의 천장 성능에 도달하고 있습니다. 그러나 새로운 벤치마크 과제를 구축하는 것은 여전히 복잡하고 비용이 많이 들며, 수작업 작성에 의존하는 노동 집약적인 과정입니다. furthermore, 저자가 먼저 자연어 시나리오를 작성한 후 도구 시퀀스를 도출하는 표준 구축 방식은 유효한 도구 조합의 공간을 명시적으로 탐색하지 못합니다. 그 결과, 현재 벤치마크는 도구 사용 패턴의 좁은 부분집합만 포착하여, 높은 점수가 강력한 과제 해결 능력보다는 다양한 도전 과제의 부재를 반영하는 "포화" 현상을 초래합니다. 따라서 유효성(과제가 해결 가능하고 검증 가능함), 난이도(과제가 에이전트 기능을 의미 있게 구분함), 커버리지(과제가 구조적으로 다양한 도구 사용 패턴을 포괄함) 를 보장할 수 있는 자동 벤치마크 생성 방법이 시급히 필요합니다.

방법론: TASTE

저자들은 기존 구축 과정을 반대로 뒤집어 도전적인 에이전트 벤치마크 과제를 자동으로 생성하는 TASTE(Tool Sequence Evolution 에서의 작업 합성) 를 제안합니다. 시나리오로 시작하는 대신, TASTE 는 도구 시퀀스로 시작하여 이를 중심으로 완전한 과제를 합성합니다. 이 방법은 세 단계로 운영됩니다:

1 단계: 도구 시퀀스 샘플링

커버리지와 유효성을 해결하기 위해 TASTE 는 도구 시퀀스 공간에서 훈련된 적응형 대비 n-그램 모델을 사용합니다.

• 모델 아키텍처: 이 모델은 "합리적으로 유효한" 시퀀스와 "비합리적으로 유효한" 시퀀스에서 관찰된 n-그램에 대해 각각 별도의 카운트 테이블 ($C^+$ 및 $C^-$) 을 유지합니다.
• 훈련: 생성 - 검증 반복 루프를 사용합니다. 시퀀스는 자기회귀적으로 샘플링되며, 대형 언어 모델 (LLM) 이 합리성을 판단합니다. 유효한 시퀀스는 $C^+$를 업데이트하고, 무효한 시퀀스는 $C^-$를 업데이트합니다.
• 대비 샘플링: 다음 도구의 샘플링 확률은 긍정 점수와 부정 점수의 비율에서 유도되며, 무효 시퀀스와 관련된 n-그램에 페널티를 부과합니다. 이를 통해 모델은 도구 조합 공간을 탐색하면서도 유효한 시퀀스에 확률 질량을 집중할 수 있습니다.

2 단계: 클러스터링 및 선택

벤치마크가 중복 없이 다양한 패턴을 대표하도록 하기 위해, TASTE 는 샘플링된 풀에서 대표性子집합을 선택합니다.

• 클러스터링: 저자들은 K-medoids 클러스터링을 사용하여 수천 개의 후보 시퀀스 풀을 $K$개의 클러스터 (여기서 $K$는 목표 벤치마크 크기) 로 분할합니다.
• 거리 척도: 표준 편집 거리 대신 가중치 Levenshtein 거리를 사용합니다. 유사한 기능이나 유형을 가진 도구 (예: 두 개의 검색 도구) 에 대한 치환 비용은 낮고, 다른 유형 (읽기 대 쓰기) 을 가진 도구에 대한 비용은 높습니다. 이는 클러스터가 의미론적으로 일관되도록 보장합니다.
• 선택: 각 클러스터의 메도이드 (중앙 시퀀스) 가 대표자로 선택됩니다. 무효한 메도이드는 클러스터의 다음 가장 가까운 유효한 구성원으로 대체됩니다.

3 단계: 작업 생성 및 진화

선택된 각 도구 시퀀스는 완전한 벤치마크 작업으로 인스턴스화된 후 난이도를 높이기 위해 진화합니다.

• 기본 작업 생성: LLM 은 일관된 현실 세계 시나리오 (사용자 지시 $u$) 를 구성하고 특정 도구 시퀀스를 지원하도록 데이터베이스 상태 ($s_0$) 를 초기화합니다.
• 유효성 검증: 작업은 규칙 기반 확인과 힌트 지원 검증 에이전트 시뮬레이션을 거칩니다. 검증 에이전트는 금색 도구 시퀀스의 셔플되고 부분적으로 마스킹된 버전을 사용하여 작업을 해결하려고 시도합니다. 성공은 작업이 해결 가능함을 확인합니다.
• 난이도 진화: 현실적이고 적대적인 조건을 시뮬레이션하기 위해 기본 작업은 세 단계를 거쳐 진화합니다:
  1. 전략 분석: 혼란의 기회 식별 (예: 정책 위반, 모호한 요청).
  2. 환경 교란: 대상과 유사하지만 무효인 "미끼" 데이터베이스 레코드 추가 (예: 원하는 노선의 만석 비행기).
  3. 시나리오 재작성: 에이전트가 정책을 준수하면서 혼란을 헤쳐나가도록 강제하기 위해 사용자 지시를 덜 협력적, 모호하거나 적대적으로 재작성합니다.

주요 기여

1. 벤치마크를 위한 요구 사항: 이 논문은 도구 사용 에이전트 벤치마크를 위한 세 가지 중요한 속성 (유효성, 난이도, 커버리지) 을 명확히 하고 운영화합니다. 특히 커버리지를 표면적인 언어적 변이가 아닌 금색 도구 시퀀스의 다양성 측면에서 정의합니다.
2. TASTE 프레임워크: 수동 큐레이션 없이 세 가지 요구 사항을 충족하는 작업을 생성하기 위해 도구 시퀀스 공간을 직접 탐색하는 완전 자동화 파이프라인인 TASTE 의 제안.
3. $\tau^c$-Bench: 항공, 소매, 통신 세 가지 도메인에 걸친 $\tau^2$-Bench 의 도전적인 확장인 $\tau^c$-Bench 의 구축. 이 데이터셋은 이전 버전보다 훨씬 높은 난이도와 광범위한 커버리지를 특징으로 합니다.

결과

저자들은 $\tau^c$-Bench 에서 11 개의 에이전트/사용자 LLM 쌍을 평가하고 원래 $\tau^2$-Bench (검증 버전, $\tau_{BV}$) 의 성능과 비교했습니다.

• 성능 저하: $\tau_{BV}$를 거의 포화시킨 모델들은 $\tau^c$-Bench 에서 심각한 성능 저하를 겪었습니다. 예를 들어, Gemini-3-Flash는 $\tau_{BV}$에서 0.82–0.94의 점수에서 $\tau^c$-Bench 에서 0.28–0.61로 떨어졌으며 (최대 80% 의 상대적 하락), 이는 큰 차이를 보입니다.
• 증가된 난이도: 진화된 작업은 훨씬 더 어려웠으며, 사용된 진화 모델에 따라 성공률이 16–55% 감소했습니다.
• 확장된 커버리지: $\tau^c$-Bench 는 에이전트가 실행해야 하는 고유한 도구 조합의 수를 두 배 이상 늘렸습니다.
  • 가중치 편집 거리 (WED): 최대 124% 증가.
  • Type-Token 비율 (TTR): 최대 111% 증가하여 n-그램 도구 시퀀스의 훨씬 더 높은 다양성을 나타냄.
  • 엔트로피: 도구 빈도 분포 엔트로피가 35% 증가하여 편향되지 않고 더 다양한 도구 사용을 보여줌.

중요성 및 주장

이 논문은 기존 벤치마크의 높은 점수가 종종 강력한 과제 해결 능력보다는 포화를 반영한다고 주장합니다. TASTE 로 생성된 작업에서 최첨단 모델들이 크게 어려움을 겪음을 보여줌으로써, 저자들은 현재 벤치마크가 도구 사용 패턴의 전체 복잡성을 포착하지 못한다고 주장합니다.

TASTE 의 중요성은 어렵고 커버리지가 높은 벤치마크를 자동 생성하여 미래 에이전트의 지속적이고 확장 가능한 평가를 가능하게 한다는 점에 있습니다. 도구 시퀀스를 우선시하도록 구축 과정을 반대로 뒤집음으로써, TASTE 는 임의의 저자 선택에 의존하기보다 에이전트 행동의 구조적 다양성을 벤치마크가 탐색하도록 보장합니다. 저자들은 에이전트 기능이 계속 발전함에 따라 평가의 정체성을 방지하기 위한 필수적인 단계로 이 작업을 위치시킵니다.