기술 요약: AppWorld-UL

문제 정의

LLM 기반 도구 사용(tool-use) 에이전트를 평가하기 위한 현재의 벤치마크들은 주로 목표가 명확하고, 완전하며, 처음부터 고정된 형태의 완전 지정된 자율적 작업에 초점을 맞추고 있습니다. 그러나 실제 세계의 디지털 작업 해결은 본질적으로 "사용자 참여형(user-in-the-loop)"입니다. 즉, 사용자는 종종 모호하거나, 불충분하게 명시되거나, 심지어 실행 불가능한 지침을 제공하며, 이는 에이전트가 상호작용을 통해 의도를 반복적으로 정교화할 것을 요구합니다. 기존의 대화형 벤치마크들은 이러한 상호작용의 다양성과 복잡성을 포착하지 못하고 있습니다. 이들은 다음과 같은 한계를 가집니다:

1. 좁은 상호작용 유형: 대부분의 상호작용을 단순한 명확화 질문(clarification questions)으로 제한하여, 불가능한 상황을 처리하거나 고비용 작업에 대한 승인을 구하는 것과 같은 중요한 패턴을 놓치고 있습니다.
2. 불균형한 사용자 시뮬레이션: 선행 연구들은 유연성이 부족한 경직된 규칙 기반 사용자와, 불안정성을 초래하고 실패 원인 규명을 어렵게 만드는 제약 없는 LLM 시뮬레이터 사이를 오가고 있습니다.
3. 작은 환경 규모: 많은 연구가 적은 수의, 종종 상태를 변화시키지 않는 API만을 가진 제한된 환경에서 작동하며, 복잡하고 상태 유지(stateful)가 필요한 시스템에서의 장기적 계획(long-horizon planning)을 테스트하는 데 실패합니다.

결과적으로, 에이전트가 다양한 적응형 사용자 통신과 도구 사용을 효과적으로 결합해야 하는 능력을 평가할 수 있는 원칙적인 테스트베드가 부족한 실정입니다.

방법론

저자들은 기존의 AppWorld 프레임워크(Amazon 및 Spotify와 같은 9개의 인기 앱을 시뮬레이션하며 약 475개의 API를 포함)를 기반으로 구축된 AppWorld-UL을 소개합니다. 핵심 혁신은 **섭동 기반 방법론(perturbation-based methodology)**으로, 이를 통해 잘 정의된 자율적 작업을 사용자 참여형 변형 작업으로 체계적으로 변환합니다.

1. 섭동 기반 작업 변환

저자들은 새로운 대화형 시나리오를 처음부터 구축하는 대신, 기존의 자율적 작업에 특정하고 알려진 지침($I$) 또는 초기 상태($S_0$)의 공백을 도입하여 수정합니다. 이 공백은 오직 사용자 상호작용을 통해서만 해결될 수 있습니다. 이를 통해 작업 튜플 $T = (I, S_0, E, K)$를 생성하며, 여기서 $K$는 사용자 지식 집합(User Knowledge Set)—사용자만이 보유한 정보—를 의미합니다.

이러한 섭동은 세 가지 특정 상호작용 유형을 타겟팅합니다:

• 미지정(Underspecification): 결정적인 세부 사항을 제거합니다 (예: 여러 개의 셔츠가 존재할 때 "지난주에 산 셔츠를 반품해줘"라고 요청). 이를 통해 에이전트가 명확화를 위해 사용자에게 질문하도록 강제합니다.
• 실행 불가능성(Infeasibility): 상태나 제약 조건을 수정하여 원래의 목표를 달성할 수 없게 만듭니다 (예: 요청한 품목이 품절됨). 이는 에이전트가 실패를 알리고 대안을 제안하도록 요구합니다.
• 확인 요청(Confirmation-Seeking): 이전에 저위험이었던 작업에 고비용의 결과(예: 가격 급등)를 도입합니다. 이는 에이전트가 진행하기 전에 명시적인 승인을 구하도록 요구합니다.

또한 이러한 섭동들을 조합하여 여러 상호작용 유형을 동시에 요구하는 작업을 생성할 수도 있습니다.

2. 제약된 사용자 시뮬레이션

이전 사용자 시뮬레이터의 불안정성을 해결하기 위해, AppWorld-UL은 제약된 LLM 기반 사용자를 채택합니다.

• 지식 경계: 시뮬레이션된 사용자는 섭동 과정에서 도출된 특정 질의응답 쌍($K$)을 프롬프트로 제공받습니다.
• 제어된 응답: 사용자 LLM은 에이전트의 질문이 $K$ 내의 쌍과 매핑되는 경우에만 답변하도록 지시받습니다. 질문이 $K$ 범위를 벗어나면, 사용자는 회피하거나 방향을 돌립니다 (예: "직접 결정하세요").
• 신뢰성: 이 접근 방식은 (사용자의 지식을 제한함으로써) 재현성을 보장하는 동시에 자연스러운 대화 흐름을 유지하며, 규칙 기반 시스템의 경직성과 제약 없는 LLM의 예측 불가능성을 모두 피합니다.

3. 프로그래밍 방식의 평가

본 벤치마크는 대화형 작업 목표 완료(I-TGC) 및 **대화형 시나리오 목표 완료(I-SGC)**를 도입합니다. 표준적인 메트릭과 달리, 여기에는 에이전트가 사용자로부터 필요한 모든 정보를 성공적으로 이끌어냈는지(즉, $K$에 있는 모든 질문을 했는지) 확인하는 단위 테스트가 포함됩니다. 이를 통해 작업 성공률과 더불어 상호작용 품질(필요한 정보의 재현율)을 함께 평가할 수 있습니다.

주요 기여

1. 섭동 프레임워크: 자율적 작업에 특정 정보 공백을 주입하여 다양한 사용자 참여형 작업을 생성하는 체계적인 방법으로, 상호작용 요구 사항에 대한 정밀한 제어를 가능하게 합니다.
2. AppWorld-UL 벤치마크: 9개의 애플리케이션에 걸친 516개의 도전적인 작업 데이터셋을 제공하며, 구성은 다음과 같습니다:
   • 정확히 하나의 상호작용 유형(미지정, 실행 불가능성 또는 확인 요청)을 요구하는 306개 작업.
   • 두 개 또는 세 개의 상호작용 유형 조합을 요구하는 210개의 조합 작업.
3. 제약된 사용자 시뮬레이터: 사용자 지식 경계를 엄격히 정의함으로써 유연성과 평가 신뢰성 사이의 균형을 맞춘 견고한 시뮬레이션 메커니즘을 제공합니다.
4. 경험적 증거: 올바른 사용자 상호작용이 환경의 복잡성과는 별개로, 작업 난이도와 성공의 주요 동력임을 입증했습니다.

실험 결과

저자들은 다양한 최첨단 LLM(Claude Opus 4.7, GPT-5.5, Qwen 3.7 Max 등 포함)을 사용하여 최신 에이전트(Code Agents 및 Function Calling Agents)를 평가했습니다.

• 전반적인 성능: 가장 우수한 성능을 보인 시스템(Claude 4.7을 사용하는 Code Agent)조차 전체 벤치마크에서 **48.6%**의 I-TGC와 **30.2%**의 I-SGC만을 달성했습니다.
• 조합적 난이도: 조합적 작업에서는 성능이 크게 하락하여, 최우수 시스템이 **35.7%**의 I-TGC와 **21.3%**의 I-SGC를 기록했습니다.
• 상호작용 상관관계: 상호작용 품질과 작업 성공 사이에는 강한 상관관계가 있습니다. 성공적인 에이전트는 요구되는 질문에 대해 약 100%의 재현율(recall)과 80-91%의 정밀도(precision)를 달성한 반면, 실패한 에이전트는 현저히 낮은 지표(37-40% 재현율)를 보였습니다.
• 절제 연구(Ablation Study):
  • 숨겨진 지식: 시뮬레이션된 사용자가 정보를 제공하기를 거부했을 때, 성능이 급락했습니다 (TGC: 12.8%). 이는 에이전트가 환경적 추론만으로는 이러한 작업을 해결할 수 없음을 확인시켜 줍니다.
  • 오라클 지식(Oracle Knowledge): 모든 사용자 지식($K$)이 프롬프트에 사전에 제공되었을 때, 성능이 크게 향cia졌습니다 (TGC: 78.1%). 이는 상호작용 요구 사항 자체가 난이도의 대부분을 차지함을 나타냅니다. 그러나 성능은 여전히 원래의 자율적 작업보다는 낮았는데, 이는 분리된 정보를 통합하는 데 추가적인 어려움이 있음을 시사합니다.

의의

AppWorld-UL은 사용자 참여형 도구 사용 에이전트 연구를 진전시키기 위한 원칙적인 테스트베드를 제공합니다. 본 논문은 현재의 모델들이 미지정 인식, 실행 불가능성 처리, 승인 요청과 같은 실제 상호작용의 미묘한 차이를 다루는 데 상당한 어려움을 겪고 있다고 주장합니다. 상호작용 요구 사항을 환경적 복잡성으로부터 분리함으로써, 이 벤치마크는 효과적인 사용자 통신 능력이 에이전트 배포의 핵심 병목 구간임을 밝혀냅니다. 이 연구의 목적은 도구 사용 능력뿐만 아니라, 현실적이고 상태 유지가 필요한 디지털 환경에서 사용자의 의도를 묻고, 확인하고, 적응하는 협력적 파트너로서 행동할 수 있는 에이전트 개발을 지원하는 데 있습니다.