기술 요약: T1-BENCH

문제 정의

대규모 언어 모델(LLM)의 최근 발전은 추론, 계획 및 복잡한 환경과의 상호작용이 가능한 자율 에이전트 개발을 가능하게 했습니다. 그러나 이러한 에이전트 시스템을 평가하기 위한 기존 벤치마크는 다음과 같은 중대한 한계점을 가지고 있습니다:

• 제한된 복잡성 및 현실성: 많은 벤치마크가 정적인 단일 턴 상호작용이나 단순화된 환경에 의존하며, 이는 실제 워크플로의 순차적이고 상호 의존적인 특성을 포착하지 못합니다.
• 다중 도메인 범위의 부족: 현재의 평가는 종종 에이전트를 고립된 도메인에 국한시켜, 이질적인 서비스들(예: 항공권, 호텔, 렌터카를 동시에 예약하는 작업) 간의 작업을 조율하는 능력을 테스트하는 데 실패합니다.
• 강건성 평가의 불충분함: 기존 프레임워크는 에이전트가 긴 궤적(trajectory) 동안 문맥을 유지하거나, 부분적인 도구 실패를 처리하거나, 여러 단계에 걸쳐 사용자 의도와 일관성을 유지하는 능력을 충분히 측정하지 못합니다.

결과적으로, 에이전트가 진화하는 제약 조건에 따라 추론하고 상호 의존적인 행동을 조율해야 하는 현실적인 고객 대응 시나리오에서 엔드 투 엔드(end-to-end) 작업 완료를 평가하는 데 있어 격차가 존재합니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 현실적인 다중 도메인 환경에서 도구 증강 대화형 에이전트를 평가하기 위해 설계된 고충실도 자동화 벤치마크인 T1-BENCH를 소개합니다.

1. 프레임워크 아키텍처

T1-BENCH는 이중 에이전트 역할 수행(dual-agent role-play) 프레임워크를 채택합니다:

• 사용자 에이전트 ($\pi_u$): 특정 서비스 지향적 목표를 추구하는 인간 고객을 시뮬레이션합니다. 이는 사용자 정책(페르소나, 프로필, 작업 목표)과 대화 이력에 따라 자연스럽고 간결한 발화를 생성하도록 조건화됩니다. 또한 어시스턴트와 같은 행동을 피하도록 명시적으로 제한되며 도메인 스키마에 기반을 둡니다.
• 어시스턴트 에이전트 ($\pi_a$): 사용자와 상호작용하는 도구 증강 에이전트입니다. 이 에이전트의 추론은 두 단계로 진행됩니다: 대화 이력 및 정책을 바탕으로 도구 호출을 선택 및 실행하는 단계, 그리고 도구 실행 결과에 따라 응답을 생성하는 단계입니다.
• 메모리 모듈 ($M$): 대화 이력($h$)과 중간 상태 및 도구 출력의 캐시($c$)를 저장하는 지속적인 상태 구성 요소입니다. 이를 통해 턴과 세션 전반에 걸쳐 문맥 유지 및 도구 결과 재사용이 가능해집니다.

2. 데이터셋 구축

본 벤치마크는 25개의 뚜렷한 도메인을 포괄합니다:

• 11개 단일 도메인 설정: 관광지, 바(bar), 카페, 크루즈, 디저트, 항공, 음식 및 다이닝, 호텔, 카약 대여, 라이브 쇼, 차량 대여를 포함합니다.
• 14개 다중 도메인 설정: 더블 도메인부터 복잡한 8개 도메인 및 11개 도메인 시나리오까지 조합됩니다 (예: 항공, 호텔, 자동차, 식사, 엔터테인먼트를 포함한 전체 여행 계획).
• 규모: 데이터셋은 525개의 템플릿과 76개의 도구(74개의 도메인 특화 도구 + 2개의 일반 캐싱 도구)를 포함합니다. 데이터 구축에는 하이브리드 접근 방식을 사용합니다: 지리 및 장소 데이터는 실제 위키피디아 항목에서 추출하여 검증되었으며, 도메인 특화 속성은 기초 온톨로지를 기반으로 합성 생성되었습니다.

3. 평가 지표

본 벤치마크는 다각적인 평가 전략을 활용합니다:

• 자동화 지표:
  • 도구 호출 및 파라미터 정확도: 도구 이름과 파라미터에 대한 정밀도(Precision), 재현율(Recall), F1 점수.
  • 도구 출력 완전 일치(EMoutput): 도구 출력이 정답(ground truth)과 일치하는지 확인.
  • 통과율(Pass Rate): 대화가 성공한 것으로 간주되기 위해 완벽한 도구 재현율, 파라미터 재현율 및 출력 완전 일치를 요구하는 이진(binary) 지표.
  • 강건성: 여러 확률적 시행($K=3$)에 대한 일관성을 평가하기 위한 $Pass@K$및$Pass^K$ 지표.
• LLM-as-a-Judge: **도움됨(Helpfulness)**과 **일관성(Coherence)**을 점수화하는(1-5 리커트 척도) 자동화된 프레임워크.
• 인간 평가: 자동화된 지표의 신뢰성을 검증하기 위해 60개의 대화 샘플을 인간 주석가가 평가하였으며, LLM-as-a-Judge 점수와 유의미한 상관관계를 보였습니다.

주요 기여

1. T1-BENCH 벤치마크: 76개의 도구를 포함한 25개 도메인을 아우르는 대규모 고충실도 벤치마크로, 인터리브된(interleaved) 다중 도메인 시나리오와 광범한 인간 주석을 특징으로 합니다.
2. 포괄적인 평가 프레임워크: 복잡한 다단계 환경에서 에이전트 행동, 도구 활용 및 대화 품질을 평가하는 재현 가능한 시스템을 제공하며, 12개의 독자적 및 오픈 웨이트 모델을 사용합니다.
3. 벤치마크 설계의 진보: 본 연구는 지속적인 추론과 교차 도메인 조율의 과제를 타겟팅함으로써, 이전 벤치마크와 비교하여 작업 복잡성, 상호작용 깊이 및 도메인 다양성을 크게 확장했습니다.
4. 오픈 소스 공개: 저자들은 향후 연구를 촉진하기 위해 데이터셋과 평가 코드를 공개적으로 출시할 것을 약속합니다.

결과

저자들은 12개의 모델(GEMMA4, GPT-OSS, GPT-5.4 변형 및 CLAUDE 모델 포함)을 T1-BENCH로 평가했습니다:

• 전반적인 성능: GEMMA4-31B-IT가 가장 높은 $Pass@K$(61.33$Pass^K$(41.14%)를 기록하며 가장 강력한 전반적 성능을 보였으며, 엔드 투 엔드 작업 완료 측면에서 GPT-5.4 및 CLAUDE 변형 모델들을 능가했습니다. CLAUDE OPUS 4.6은 가장 높은 도구 호출 정확도와 F1 점수를 나타냈습니다.
• 복잡성의 영향: 활성 도메인 수가 증가함에 따라 성능이 급격히 저하됩니다. 단일 도메인 작업(예: Bar, Dessert)은 높은 성공률(최상위 모델 기준 최대 88%의 일관성)을 보였으나, 다중 도메인 작업(4개 이상의 도메인)에서는 성능이 급락했습니다.
• 고복잡도에서의 성공 사례 부재: 가장 복잡한 시나리오(8개 및 11개 도메인)의 경우, 평가된 모든 모델이 0%의 통과율(Pass Rate)을 기록했습니다. 이는 현재의 최첨단 모델들이 매우 복잡한 교차 도메인 환경에서 신뢰할 수 있는 다단계 도구 오케스트레이션과 문맥 유지를 유지하는 데 어려움을 겪고 있음을 나타냅니다.
• 도메인별 특이사항: Food & Dining 도메인은 거대한 도구 공간(15개 도구)과 복잡한 액션 경로로 인해 단일 도메인 설정에서도 특히 어려운 것으로 나타났습니다 (가장 낮은 $Pass@K$ 3.5 기록).
• 인간-LLM 정렬: 인간 평가는 자동화된 LLM-as-a-Judge 점수와 중간 정도이지만 신뢰할 수 있는 일치(Spearman $\rho \approx 0.46-0.53$)를 확인하여 자동화된 프레임워크의 유용성을 입증했습니다.

의의

본 논문은 T1-BENCH가 다음과 같은 방식으로 에이전트 시스템을 위한 벤치마크 설계를 발전시킨다고 주장합니다:

• 작업 복잡성 증대: 고립된 도구 호출을 넘어, 인터리브된 시나리오 전반에서 지속적인 다단계 추론을 평가합니다.
• 현실성 강화: 에이전트가 진화하는 제약 조건 하에서 상호 의존적인 행동을 조율해야 하는 실제 배포 조건과 유사한 고객 대응형 다중 도메인 환경을 제공합니다.
• 엄격한 평가: 실제 배포에서의 핵심적인 효과 척도인 엔드 투 엔드 작업 완료를 포착하는 표준화된 프레임워크를 구축합니다.
• 현재의 한계 식별: 결과는 현재 시스템의 지속적인 과제를 강조하며, 특히 복잡한 다중 도메인 환경에서 도구를 신뢰성 있게 오케러스트레이션하는 능력의 부재를 보여줍니다. 이는 이러한 에이전트들을 고위험 실세계 애플리케이션에 완전히 신뢰하기 위해서는 상당한 진전이 필요함을 시사합니다.

저자들은 현재 모델들이 단순한 설정에서는 유망한 모습을 보이지만, 고복잡도 다중 도메인 시나리오에서의 제로 성공률은 신뢰할 수 있는 문맥 유지 및 도구 사용의 어려움을 강조하며, 이는 미래의 에이전트 개발을 위한 중요한 스트레스 테스트 역할을 한다고 강조합니다.