🤖 AI

ACE-Bench: Agent Configurable Evaluation with Scalable Horizons and Controllable Difficulty under Lightweight Environments

이 논문은 환경 상호작용 오버헤드를 줄이고 작업의 시간 범위와 난이도를 정밀하게 제어할 수 있는 경량화된 ACE-Bench 를 제안하여 에이전트 추론 능력을 신뢰성 있게 평가하는 방법을 제시합니다.

원저자: Wang Yang, Chaoda Song, Xinpeng Li, Debargha Ganguly, Chuang Ma, Shouren Wang, Zhihao Dou, Yuli Zhou, Vipin Chaudhary, Xiaotian Han

게시일 2026-04-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wang Yang, Chaoda Song, Xinpeng Li, Debargha Ganguly, Chuang Ma, Shouren Wang, Zhihao Dou, Yuli Zhou, Vipin Chaudhary, Xiaotian Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 문제: "비싼 시합"과 "불공정한 시험"

기존의 AI 평가 시스템은 두 가지 치명적인 결함이 있었습니다.

문제 1: 너무 비싸고 느린 시합 (환경 비용)
- 비유: 마치 AI 에게 "인터넷 쇼핑몰에서 물건을 사오라"고 시켰을 때, AI 가 실제로 웹사이트를 켜고, 버튼을 누르고, 결제 페이지를 기다리는 동안 전체 시험 시간의 40% 가량을 '기다리는 시간'에 낭비하는 상황입니다.
- 현실: AI 가 실제로 일을 하는 시간보다, 가상 환경을 구동하고 연결하는 데 드는 시간과 비용이 너무 커서, AI 를 훈련시키면서 실시간으로 테스트하기가 매우 어렵습니다.
문제 2: 불공정한 시험지 (난이도 불균형)
- 비유: 한 학생에게는 "간단한 덧셈" 100 문제를 주고, 다른 학생에게는 "미적분" 10 문제를 준 뒤, 두 사람의 점수를 합쳐서 평균을 내는 것과 같습니다.
- 현실: 어떤 과제는 매우 쉽고, 어떤 과제는 너무 어렵습니다. 또한 과제의 길이가 제각각이라, 짧은 쉬운 문제를 많이 맞춘 AI 가 점수가 높게 나와서 실제로는 복잡한 문제를 못 풀어도 '잘한다'는 오해를 받기 쉽습니다.

2. ACE-Bench 의 해결책: "가상의 퍼즐 게임"

저자들은 이 문제를 해결하기 위해 ACE-Bench를 만들었습니다. 이는 마치 **"숨겨진 칸을 채우는 커다란 퍼즐"**을 푸는 게임과 같습니다.

🎮 게임의 규칙 (핵심 아이디어)

AI 는 미리 채워진 일정표 (그리드) 에서 **비어있는 칸 (Hidden Slots)**을 찾아서 알맞은 아이템 (수업, 여행 일정, 장바구니 등) 을 채워 넣어야 합니다.

이 게임에는 두 가지 **조절 가능한 레버 (스위치)**가 있습니다.

스케일 가능한 길이 (Hidden Slots, H):
- 비유: 퍼즐에서 비어있는 칸의 개수를 조절하는 것입니다.
- 효과: 칸을 1 개만 비워두면 아주 짧은 미션이 되고, 17 개를 비워두면 긴 호흡의 미션이 됩니다. AI 가 얼마나 오래 집중해서 생각할 수 있는지 (기억력) 를 정확히 측정할 수 있습니다.
조절 가능한 난이도 (Decoy Budget, B):
- 비유: 정답을 고르는 데 방해가 되는 **가짜 정답 (미끼)**의 개수를 조절하는 것입니다.
- 효과: 가짜 정답이 없으면 (B=0) 단순히 조건만 맞으면 되지만, 가짜 정답이 많으면 (B=10) AI 는 "이건 조건은 맞는데, 전체 규칙을 깨뜨리는 함정이다!"라고 알아차려야 합니다. 이는 AI 의 논리력과 꼼꼼함을 테스트합니다.

🚀 가벼운 환경 (Lightweight Environment)

비유: 기존 방식이 "실제 쇼핑몰에 가서 물건을 고르는 것"이라면, ACE-Bench 는 **"종이로 만든 가상의 쇼핑몰"**을 사용하는 것입니다.
효과: AI 가 실제로 웹사이트를 켜거나 서버를 연결할 필요가 없습니다. 모든 데이터가 미리 준비된 JSON 파일에 있어, AI 가 "이거 줘"라고 하면 파일에서 바로 답이 나옵니다.
장점: 속도가 매우 빠르고, 비용이 거의 들지 않으며, 반복 실험이 정확합니다. 마치 컴퓨터 게임에서 '테스트 모드'를 켜는 것처럼 가볍습니다.

3. 실험 결과: "크기가 다른 AI 들의 실력 차이"

저자들은 이 새로운 시험지를 이용해 다양한 크기의 AI 모델 13 개를 테스트했습니다.

작은 AI (0.8B~4B): 퍼즐이 조금만 커지거나 가짜 정답이 하나만 있어도 바로 포기하거나 엉뚱한 답을 냈습니다. (점수 0~40% 대)
중간 AI (9B~27B): 간단한 퍼즐은 잘 풀지만, 함정이 많거나 칸이 너무 많으면 실수가 늘어났습니다.
거대 AI (397B 등): 복잡한 퍼즐과 많은 함정 속에서도 정답을 찾아냈습니다. (점수 80% 이상)

결론적으로:
이 벤치마크는 AI 의 실력 차이를 명확하게 구분해 주었습니다. 또한, "어떤 AI 는 간단한 일은 잘하지만 복잡한 일은 못 한다"는 것을 수치로 정확히 보여줍니다.

📝 한 줄 요약

"ACE-Bench 는 AI 에게 복잡한 현실 세계를 시뮬레이션하는 무거운 짐을 지우지 않고, '조절 가능한 퍼즐 게임'을 통해 AI 의 기억력 (길이) 과 논리력 (난이도) 을 빠르고 정확하게 측정하는 새로운 시험지입니다."

이 도구를 통해 개발자들은 AI 를 더 빠르고 효율적으로 훈련시키고, 어떤 AI 가 어떤 일에 적합한지 정확히 파악할 수 있게 되었습니다.

1. 문제 정의 (Problem Statement)

기존의 LLM 기반 에이전트 벤치마크는 두 가지 치명적인 한계를 가지고 있습니다.

높은 환경 상호작용 오버헤드: 웹 시뮬레이터 (WebArena) 나 LLM-as-User(TAU2-Bench) 와 같은 복잡한 환경 설정으로 인해, 평가 시간의 약 34~41% 가 실제 모델 추론이 아닌 환경 상호작용에 소모됩니다. 이는 대규모 평가나 학습 중 검증 (training-time validation) 을 비효율적으로 만듭니다.
불균형한 작업 지평 (Horizon) 과 난이도 분포: 기존 벤치마크는 작업의 복잡도 (단계 수) 와 난이도가 도메인마다 크게 불균형합니다. 예를 들어, 특정 도메인은 매우 쉬워 점수가 높고, 다른 도메인은 매우 어려워 점수가 낮아 단순 평균 점수가 모델의 실제 능력을 왜곡할 수 있습니다. 또한, 작업 단계 수가 10 미만에서 100 초까지 광범위하게 분포하여 일관된 평가가 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 ACE-Bench를 제안했습니다. 이는 통일된 그리드 기반 계획 (Grid-based Planning) 태스크를 중심으로 설계되었으며, 다음과 같은 핵심 특징을 가집니다.

작업 구조:
- 에이전트는 부분적으로 채워진 일정 (스케줄) 에서 숨겨진 슬롯 (Hidden Slots) 을 채워야 합니다.
- 각 슬롯은 **로컬 슬롯 제약 (Local Slot Constraints)**과 전체 그리드에 적용되는 **글로벌 제약 (Global Constraints)**을 동시에 만족해야 합니다.
- 후보군 (Candidate Pool) 은 정답 (Truth), 로컬 제약 위반 필터링 대상 (Filtered), 로컬은 통과하지만 글로벌 제약 위반을 유발하는 **유인 (Decoy)**으로 구성됩니다.
제어 가능한 두 가지 축:
1. 확장 가능한 지평 (Scalable Horizons, $H$ ): 숨겨진 슬롯의 수 ( $H$ ) 를 조절하여 작업의 길이를 제어합니다. $H=1$ 인 단일 결정부터 $H=17$ 인 긴 추론 체인까지 체계적으로 평가 가능합니다.
2. 제어 가능한 난이도 (Controllable Difficulty, $B$ ): 유인 (Decoy) 후보의 수 (Decoy Budget, $B$ ) 를 조절하여 난이도를 제어합니다. $B=0$ 일 때는 단순 로컬 필터링이지만, $B$ 가 증가할수록 에이전트는 글로벌 제약을 고려하여 유인을 식별해야 하므로 난이도가 급격히 상승합니다.
경량 환경 (Lightweight Environment):
- 모든 도구 호출 (Tool Calls) 이 동적인 서비스나 외부 의존성 없이 정적 JSON 파일을 쿼리하여 해결됩니다.
- 이로 인해 환경 설정 오버헤드가 제거되어 평가 속도가 빠르고, 재현성이 보장되며, 학습 중 검증에 적합합니다.

3. 주요 기여 (Key Contributions)

정밀한 제어 가능한 벤치마크: 숨겨진 슬롯 수 ( $H$ ) 와 유인 예산 ( $B$ ) 을 통해 작업 지평과 난이도를 독립적이고 정밀하게 조절할 수 있는 최초의 에이전트 벤치마크 중 하나입니다.
경량화된 평가 프레임워크: 무거운 환경 시뮬레이션 없이 정적 데이터를 기반으로 하여 평가 효율성을 극대화하고, 학습 중 실시간 검증 (Training-time validation) 을 가능하게 합니다.
강력한 모델 구별력 및 도메인 일관성: 다양한 크기와 아키텍처의 모델 간 성능 차이를 명확히 구분하며, 도메인 간 편향 (Bias) 이 적음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 6 개의 도메인 (강의 일정, 장보기, 여행, 인력 스케줄링, 식사 계획, PC 구성) 에서 13 개의 다양한 모델 (Qwen3.5, MiniMax, GLM-4 등, 0.8B~397B 파라미터) 을 평가했습니다.

지평 및 난이도 제어 검증:
- 숨겨진 슬롯 수 ( $H$ ) 가 증가함에 따라 상호작용 단계 수가 선형적으로 증가하여 지평이 확장됨을 확인했습니다.
- 유인 예산 ( $B$ ) 이 증가함에 따라 모든 모델의 점수가 일관되게 감소하여 난이도 조절이 효과적임을 입증했습니다.
모델 구별력 (Discriminability):
- 모델 크기가 커질수록 (예: Qwen3.5 0.8B → 27B) 점수가 monotonic 하게 증가하여 벤치마크가 모델 능력을 정확히 반영함을 보였습니다.
- MoE(Mixture of Experts) 아키텍처와 Dense 아키텍처 모두에서 일관된 성능 차이를 보여주었습니다.
도메인 일관성: 동일한 모델이 다른 도메인에서 일관된 성능을 보여, 벤치마크가 특정 도메인에 치우치지 않음을 확인했습니다.
강건성 평가: 도구 호출 실패 (Tool Failure) 를 시뮬레이션한 결과, 실패율이 높아질수록 에이전트의 성능이 저하되었으며, 특히 복잡한 작업 ( $H$ 와 $B$ 가 큰 경우) 에서 더 민감하게 반응함을 확인했습니다.

5. 의의 (Significance)

ACE-Bench 는 기존 에이전트 벤치마크의 비효율성과 불균형 문제를 해결하여 다음과 같은 의의를 가집니다.

효율성: 환경 오버헤드를 제거하여 대규모 모델 평가 및 학습 중 검증 (Training-time validation) 을 실용적으로 만듭니다.
해석 가능성: $H$ 와 $B$ 를 통해 모델이 어느 단계에서 실패하는지 (지평 확장성 부족 vs 글로벌 추론 능력 부족) 를 정밀하게 진단할 수 있습니다.
표준화: 다양한 모델과 아키텍처를 공정하게 비교할 수 있는 표준적인 평가 프레임워크를 제공하며, 에이전트 연구의 신뢰성을 높입니다.

결론적으로, ACE-Bench 는 에이전트의 추론 능력을 체계적이고 효율적으로 평가할 수 있는 새로운 패러다임을 제시합니다.