AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

우리가 거대한 두뇌를 가진 작은, 보이지 않는 로봇들—비행기를 예약하거나, 코드를 작성하거나, 품절된 운동화의 대체품을 찾아줄 수 있는 디지털 조력자들—을 만드는 세상을 상상해 보세요. 이것들을 "자율 에이전트(autonomous agents)"라고 부릅니다. 오랫동안 이 로봇들을 테스트해 온 과학자들은 마치 숙제를 채점하는 부모님과 같았습니다. 그들은 오직 정답이 맞았는지에만 관심을 가졌습니다. "로봇이 신발을 찾았나요?" 네? 좋습니다, A 학점을 줍시다! 하지만 현실 세계에서, 10분이 걸려 도착하거나 제작 비용이 당신의 용돈 전부를 써버리는 완벽한 정답은 쓸모가 없습니다. 그것은 마치 다음 날 도착하는 피자를 주문했는데 청구서에는 백만 달러가 찍혀 있는 것과 같습니다. 기술적으로는 피자를 받았지만, 실제로 먹을 수는 없는 상태인 것이죠.

여기서 "리소스 프로파일링(resource profiling)"이라는 새로운 개념이 등장합니다. 이것은 레이스 카를 점검하는 정비사를 생각하면 쉽습니다. 그들은 단순히 "차가 결승선을 통과했나요?"라고 묻지 않습니다. 그들은 또한 다음과 같은 것들을 확인합니다: 연료를 얼마나 태웠는가? 엔진이 과열되지는 않았는가? 운전자가 과속하지는 않았는가? 컴퓨터 과학의 세계에는 프로그램이 얼마나 많은 "연료"(컴퓨터 메모리, 시간, 돈 등)를 사용하는지 측정하는 도구들이 있습니다. 하지만 지금까지는 로봇이 실제로 자신의 일을 제대로 수행했는지 확인하는 동시에 이러한 것들을 측정할 방법이 없었습니다. 이 논문은 이 디지털 조력자들을 테스트하는 새로운 방법을 소개하며, 이들을 단순히 경주를 마쳐야 할 뿐만 아니라 연료와 시간 제한 내에 완수해야 하는 레이스 카처럼 취급합니다.

이 연구를 진행한 연구자들인 메헤르 바스카 마디라주(Meher Bhaskar Madiraju)와 메헤르 사이 프리탐 마디라주(Meher Sai Preetam Madiraju)는 AGENTSLABENCH라는 새로운 테스트 환경을 구축했습니다. 이것은 AI 에이전트들이 무제한의 판타지 세계가 아닌 실제 세상에서 살아남을 수 있는지 확인하기 위해 설계된 거대하고 첨단 기술이 집약된 장애물 코스라고 생각하면 됩니다.

보통 AI를 테스트할 때, 우리는 그들에게 무제한의 시간과 돈을 주어 마음껏 달리게 합니다. 이것은 마치 학생에게 사전와 계산기를 주고, 실제 시험은 펜과 10분만 허용됨에도 불구하고 3시간 동안 시험을 보게 하는 것과 같습니다. 저자들은 이것이 현실을 대비하는 나쁜 방법이라고 주장합니다. 그래서 그들은 "이 품절된 셔츠의 대체품을 찾아줘"부터 "엄격한 예산 내에서 여행 계획을 세워줘"까지 16가지의 서로 다른 도전 과제를 설정했습니다. 하지만 여기 반전이 있습니다. 모든 도전 과제에는 엄격한 규칙 책이 있습니다. 에이전트는 "당신에게는 180초가 있고, 이만큼의 컴퓨터 메모리만 사용할 수 있으며, 몇 센트 이상을 쓸 수 없다"라는 말을 듣습니다. 만약 에이전트가 이를 초과하려고 하면 테스트는 중단되고 실패로 처리됩니다.

그들은 두 종류의 로봇을 테스트에 투입했습니다. 첫째, "범용(General Purpose)" 에이전트입니다. 이들은 논리와 추론을 사용하여 어떤 문제든 해결하려는 똑똑하고 다재다능한 사고가들입니다. 그다음으로 "특화(Specialized)" 에이전트를 테스트했습니다. 이들은 신발 전문가나 여행 플래너처럼 특정 작업을 위해 특별히 만들어진 로봇들로, 해당 작업에 특화된 지름길과 규칙을 가지고 있습니다.

결과는 다소 충격적이었습니다. 범용 로봇들은 간단한 질문에는 매우 뛰어났지만, 실제 세계의 과업에 직면하자 완전히 무너졌습니다. 셔츠를 쇼핑하거나 엄격한 시간 및 비용 제한 내에서 여행을 계획하라는 요청을 받았을 때, 그들은 100% 실패했습니다. 그들은 너무 오래 걸렸거나, 돈을 너무 많이 썼거나, 혹은 그냥 혼란에 빠졌습니다. 마치 뛰어난 철학자가 새는 수도꼭지를 고치려다 집을 물바다로 만든 것과 같았습니다.

반면에 특화 에이전트들은 주인공이었습니다. "리테일 에이전트(Retail Agent)"는 83.3%의 확률로 신발 대체품을 찾아냈고, "트래블 에이전트(Travel Agent)"는 83.3%의 확률로 여행을 계획했으며, "웹 쇼핑 에이전트(Web Shopping Agent)"는 100%의 확률로 임무를 완수했습니다. 결정적으로, 그들은 이 모든 일을 시간과 돈의 예산을 엄격히 준수하면서 해냈습니다. 그들은 단순히 정답을 얻은 것이 아니라, 실제 비즈니스에서 필요로 하는 방식대로, 즉 빠르고, 저렴하고, 신뢰할 수 있게 해냈습니다.

이 논문은 EASR(Efficiency-Adjusted Success Rate, 효율성 조정 성공률)이라는 새로운 점수를 도입합니다. 이것은 경주를 마침과 동시에 연료도 떨어뜨리지 않았을 때만 받을 수 있는 "골드 스타"라고 생각하면 됩니다. 만약 에이전트가 정답을 맞혔더라도 시간이 너무 오래 걸렸거나 비용이 너무 많이 들었다면, 그들의 EASR 점수는 0으로 떨어집니다. 이 점수는 기존 테스트의 승자였던 (범용) 로봇들이 실제 상점이나 사무실에서는 재앙이 될 것이라는 사실을 밝혀냈습니다. 반면 특화된 로봇들은 바로 현장에 투입될 준비가 되어 있었습니다.

저자들은 또한 이 테스트가 공정하고 반복 가능하도록 만들었습니다. 그들은 누구도 규칙을 우회할 수 없도록 테스트 질문들을 디지털 금고에 잠가 두었으며, 결과가 단지 운이 아니라는 것을 증명하기 위해 테스트를 여러 번 실행했습니다. 그들은 특화된 에이전트들이 자신의 특정 업무에는 뛰어나지만, 여전히 실수(예를 들어, 복잡한 예산 규칙 때문에 막히는 여행 에이전트나 가짜 명령어를 만들어내는 코드 생성기 등)를 한다는 것을 발견했습니다. 하지만 정확히 어디서 그리고 왜 실패하는지를 측정함으로써, 연구자들은 엔지니어들이 이러한 구체적인 문제들을 고칠 수 있도록 도울 수 있습니다.

요컨대, 이 논문은 우리가 AI 에이전트를 무한한 생명과 돈이 있는 비디오 게임처럼 취급하는 것을 멈춰야 한다고 제안합니다. 이들을 실제 세상에서 유용하게 만들기 위해서는 자동차나 비행기를 테스트하는 것처럼, 단순히 작동하는지뿐만 아니라 효율적이고 안전하게, 그리고 실제 세상의 한계 내에서 작동하는지를 테스트해야 합니다. 이 연구는 똑똑한 "범용" 두뇌들이 고군분투하는 동안, 특정 규칙과 지름길을 가진 로봇들이 실제로 업무를 완수할 준비가 되어 있다는 것을 보여줍니다.