🤖 AI

RetailBench: Benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments

이 논문은 현실적이고 장기적인 소매 관리 시나리오에서 LLM 에이전트를 평가하기 위한 데이터 기반 시뮬레이션 벤치마크인 RetailBench를 소개하며, 현재의 모델들이 유망한 모습을 보이기는 하지만 불완전한 증거 습득 및 일관되지 않은 장기 전략과 같은 문제로 인해 지속적인 일관된 의사결정 수행에 어려움을 겪고 오라클 정책(oracle policy)에 비해 현저히 낮은 성능을 보인다는 점을 밝히고 있다.

원저자: Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하고 박식한 로봇을 고용하여 작은 슈퍼마켓을 운영하게 한다고 상상해 보십시오. 당신은 이 로봇에게 노트북 한 대, 가격과 재고를 확인할 수 있는 도구 목록, 그리고 3만 달러의 예산을 주었습니다. 당신의 목표는 이 로봇이 6개월(180일) 동안 파산하지 않고, 선반에 물건을 채워 넣으며, 이윤을 남기며 가게를 운영하도록 하는 것입니다.

이 논문인 RetailBench는 일곱 가지의 서로 다른 "스마트 로봇 두뇌"(대규모 언어 모델 또는 LLM)가 이 특정 직무에서 얼마나 잘 해냈는지에 대한 성적표입니다.

다음은 쉬운 비유를 사용하여 정리한 연구 결과입니다:

1. 테스트: 슈퍼마켓에서의 끝나지 않는 하루

오늘날 대부분의 AI 테스트는 "시를 써줘", "이 수학 문제를 풀어줘", 또는 "비행기를 예약해줘"와 같은 짧은 퀴즈와 같습니다. 이것들은 시작과 끝이 명확한 단기 과업들입니다.

RetailBench는 다릅니다. 이것은 AI를 단거리 경주가 아닌 마라톤에 참여시키는 것과 같습니다.

환경: 시뮬레이션된 단일 매장 슈퍼마켓입니다.
도전 과제: AI는 동시에 많은 일을 처리해야 합니다: 가격 설정하기, 우유가 떨어지기 전에 더 주문하기, 최적의 공급업체 선정하기, 화난 고객 리뷰 처리하기, 임대료 청구서 처리하기, 그리고 뉴스 이벤트(예: 매출에 타격을 줄 수 있는 폭풍우)에 대응하기 등입니다.
함정: AI는 모든 것을 볼 수 없습니다. 이는 마치 뒷방에서 무슨 일이 일어나고 있는지, 혹은 고객들이 다음 주에 무엇을 원할지를 추측해야 하는 매장 매니저와 같습니다. 결정을 내리기 전에 정보를 요청( "도구" 사용)해야 합니다.

2. 결과: 로봇들이 길을 잃다

연구진은 이 AI 에이전트들이 최대 180일 동안 가게를 운영하게 했습니다. 결과는 다음과 같았습니다:

대부분 조기에 포기했습니다: 많은 AI 에이전트가 돈을 다 써버리거나 너무 많은 실수를 저질러서 불과 몇 주 만에(짧게는 58일 만에) 가게 문을 닫았습니다.
생존자들도 완벽하지 않았습니다: 가장 똑똑한 두 개의 AI는 180일을 온전히 버텨냈습니다. 하지만 가게를 계속 운영하기는 했지만, 실제로 '운영'하는 데 있어서는 형편없었습니다.
"오라클(Oracle)" (완벽한 매니저): 연구진은 또한 "치트키"를 가진 매니저(오라클 정책)를 만들었습니다. 이 매니저는 미래를 알고, 모든 숨겨진 통계치를 보며, 완벽한 규칙을 따릅니다.
- 격차: 가장 뛰어난 AI 에이전트는 약 24,000달러의 이익을 냈습니다. 반면, "치트키" 매니저는 131,000달러를 벌었습니다. AI는 겨우 살아남았을 뿐, 완벽한 전략에 비하면 간신히 버티는 수준이었습니다.

3. 왜 로봇들은 실패했는가?

논문은 로봇들의 "사고 과정"을 분석했으며, 그들이 어려움을 겪은 세 가지 주요 원인을 찾아냈습니다:

A. 메뉴 전체를 읽지 않았습니다 (불완전한 증거)
탄산음료 100박스를 주문하기 전에, 유능한 매니저는 재고를 확인하고, 과거 판매량을 살펴보고, 날씨를 체크하며, 고객 리뷰를 읽습니다.

AI의 실수: 로봇들은 종종 필요한 모든 사실을 확인하지 않은 채(재고 확인, 과거 판매량, 날씨, 리뷰 등) 큰 결정(재고 주문이나 가격 변경 등)을 내렸습니다. 그들은 "직감"이나 불완전한 데이터에 의존해 행동했고, 이는 나쁜 선택으로 이어졌습니다.

B. 가격표만 보았습니다 (표면적인 의사결정)
사과를 사는 상황을 가정해 봅시다. 한 공급업체는 사과를 1.00달러에 팔지만 썩은 사과를 줍니다. 다른 업체는 1.50달러에 팔지만 완벽한 사과를 줍니다.

AI의 실수: 로봇들은 저렴한 가격에 집착했습니다. 그들은 계속해서 1.00달러짜리 공급업체를 선택했습니다. 그들은 저렴한 사과가 화난 고객, 반품, 그리고 결국 가게의 평판과 이익을 깎아먹는 나쁜 리뷰로 이어진다는 점을 깨닫지 못했습니다. 그들은 가격은 보았지만 품질은 놓쳤습니다.

C. 주의 집중 시간이 짧았습니다 (장기적 정책의 부재)
가게를 운영하는 것은 일관성에 관한 것입니다. 오늘 우유를 너무 많이 주문하면 일주일 뒤에 유통기한이 지날 수 있습니다. 반대로 너무 적게 주문하면 내일의 판매 기회를 놓칩니다.

AI의 실수: 로봇들은 오늘을 위한 결정에는 능숙했지만, 내일에 대해서는 잊어버렸습니다. 그들은 일관된 계획을 유지하지 못했습니다. 오늘 문제를 해결해 놓고도, 3일 뒤에 그 결과가 닥쳤을 때 이를 잊어버렸습니다. 그들은 1일 차에 취한 행동과 10일 차에 발생하는 문제 사이의 연결 고리를 찾지 못했습니다.

4. 결론

이 논문은 AI가 짧고 구체적인 작업에는 매우 능숙해지고 있지만, 여전히 스스로 복잡하고 장기적인 비즈니스를 운영할 준비는 되어 있지 않다고 결론짓습니다.

현재 상태: AI는 한동안 가게를 "살려둘" 수는 있지만, 가게를 "번창하게" 만들 수는 없습니다.
문제점: AI는 모든 올바른 단서를 모으는 능력, 저렴한 거래의 장기적인 결과를 깊이 생각하는 능력, 그리고 몇 달 동안 일관된 계획을 고수하는 능력이 부족합니다.

요약하자면: 오늘 당신이 AI에게 가게를 맡긴다면, 당장 파산하지는 않을 수도 있지만, 장기적인 안목을 가진 인간(또는 완벽한 컴퓨터 프로그램)에 비하면 엉망진창이고 수익성이 낮은 난장판이 될 가능성이 높습니다.

기술 요약: RetailBench

문제 정의

대규모 언어 모델(LLM) 에이전트는 단기적이고 범위가 명확한 작업(예: 코드 편집, 정보 검색)에서는 숙련도를 보여주었으나, 동적인 장기적 환경(long-horizon environments)에서 일관된 의사결정을 유지할 수 있는지는 여전히 불확실합니다. 기존의 벤치마크들은 종종 개별 하위 문제를 분리하여 다루거나, 실제 비즈니스 운영의 결합된 폐쇄 루프 역학(closed-loop dynamics)을 결여하고 있습니다. 결과적으로, 커뮤니티는 도구를 사용하는 LLM 에이전트가 장기간에 걸쳐 지속적인 목표 정렬(objective alignment)과 안정적인 행동 일관성을 유지할 수 있는지 평가할 수 있는, 데이터에 기반한 개방형 벤치마크를 갖지 못하고 있습니다. 특히 국소적인 오류가 지연된 결과로 누적되어 미래의 상태 분포를 재형성하는 상황에서의 능력을 평가하기가 어렵습니다.

방법론: RetailBench

저자들은 단일 매장 슈퍼마켓 운영 맥락에서 도구를 사용하는 LLM 에이전트를 평가하기 위해 설계된 데이터 기반 시뮬레이션 벤치마크인 RetailBench를 소개합니다. 이 환경은 에이전트가 특정 도구 세트를 통해 시뮬레이터와 상호작용하는 부분 관측 가능한 마르코프 결정 과정(POMDT), $M = (S, A, O, T, \Omega, R)$ 로 모델링됩니다.

환경 구축

데이터 근거(Data Grounding): 시뮬레이터는 제품 유니버스(20개 카테 category에 걸친 96개 제품)와 과거 가격, 판매 궤적, 조달 비용을 정의하기 위해 Dominick's 데이터셋(시카고 대학교 부스 경영대학원)의 실제 소매 데이터를 기반으로 합니다.
동적 피드백(Dynamic Feedback): 리뷰 텍스트는 Amazon Reviews 2023 코퍼스에서 샘플링되었으며, 뉴스 이벤트는 금융 뉴스 기사에서 변형되었습니다. 이는 숨겨진 메타데이터가 수요 및 공급 측면의 효과를 유도하는 코퍼스 기반의 역학을 도입합니다.
모듈: 환경은 재고(Inventory), 공급업체 및 주문(Suppliers & Orders), 선반(Shelf), 고객 수요(Customer Demand), 리뷰 및 반품(Reviews & Returns), 뉴스 이벤트(News Events), 재무 및 기록(Finance & Records)의 7개 모듈을 결합합니다.
상태 및 행동:
- 상태 ( $S$ ): 제품 속성, 재고(노후화 포함), 선반 진열, 공급업체 후보, 수요 요인, 외부 뉴스 및 재무 회계를 포함합니다.
- 행동 ( $A$ ): 에이전트는 세 가지 도구 그룹 중에서 선택합니다:
  1. 읽기 전용 ( $A_{read}$ ): 자금, 재고, 가격, 판매 이력, 공급업체 견적 및 리뷰 조회.
  2. 보조 ( $A_{other}$ ): 제약된 분석, 메모리 관리 및 코드 실행(샌드박스 환경).
  3. 상태 변경 ( $A_{act}$ ): 가격 업데이트, 보충 주문, 선반 진열 관리, 메모 작성 및 하루 종료.
시뮬레이션 기간: 이 벤치마크는 천 일 규모의 시뮬레이션을 지원합니다. 평가 프로토콜은 180일의 기간을 사용합니다.

평가 프로토콜

모델: 7개의 현대적 LLM이 ReAct, Reflection, Plan-and-Act라는 세 가지 프롬프트 기반 프레임워크를 사용하여 평가되었습니다.
선택 규칙: 장기적 성능의 변동성 때문에, 저자들은 "생존 우선(survival-first)" 선택 규칙을 채택합니다. 각 모델에 대해 가장 긴 생존 기간을 기록한 실행을 선택하며, 최종 순자산(net worth)과 총 매출을 타이브레이커(tie-breaker)로 사용합니다.
베이스라인: 비에이전트 참조 모델로서 **특권 있는 오라클 정책(privileged oracle policy)**이 포함됩니다. 이 정책은 시뮬레이터의 구조화된 필드(예: 숨겨진 공급업체 품질 점수)에 직접 접근할 수 있으며, 수동으로 지정된 품질 인식 운영 규칙을 따릅니다.

지표

성능은 다섯 가지 범주로 측정됩니다:

운영 생존 가능성(Operational Viability): 최종 순자산 및 생존 일수.
판매 효과성(Sales Effectiveness): 총 매출, 일일 판매 제품 수, 반품률.
재고 관리(Inventory Control): 품절 일수 및 유통기한 경과 비율.
도구 사용 행동(Tool-Use Behavior): 일일 직접 및 총 도구 호출 횟수.
토큰 사용(Token Use): 평균 일일 토큰 소비량.

주요 기여

장기적 소매 환경: RetailBench는 가격 책정, 재고, 공급업체 선정, 고객 피드백, 외부 이벤트를 장기적인 에피소드에 걸쳐 결합한 통제된 데이터 기반 테스트베드를 제공합니다.
현재 시스템의 평가: 이 벤치마크는 현재의 에이전트 프레임워크와 최첨단 LLM들이 장기적인 관점에서 안정적이고 고성능인 운영 정책을 달성하는 데 어려움을 겪고 있음을 밝혀냅니다.
체계적 실패 분석: 저자들은 진단 지표를 통해 세 가지 반복되는 실패 모드를 식별했습니다:
- 불완전한 증거 획득(Incomplete Evidence Acquisition): 에이전트가 중요한 정보(예: 공급업체 품질 대리 지표, 재고 노후화)를 조회하지 않고 행동하는 경우가 많습니다.
- 피상적 의사결정(Surface-Level Decision Making): 에이전트는 즉각적으로 보이는 신호(예: 가격)에 의존하며, 결과적이지만 덜 가시적인 요인(예: 공급업체 품질, 반품 위험)을 과소평가합니다.
- 일관된 장기 정책의 결여(Lack of Consistent Long-Horizon Policy): 에이전트는 중요한 제품에 대한 주의를 유지하지 못하며, 이전 행동의 지연된 결과에 대해 일관되게 재검토하지 못합니다.

결과

생존: 생존 우선 프로토콜 하에서 생존 기간은 58일에서 180일 사이였습니다. DeepSeek-V4-Pro와 GPT-5.5만이 전체 180일 기간을 완료했습니다. 대부분의 다른 모델은 58일에서 73일 사이에 종료되었습니다.
성능 격차: 가장 강력한 LLM 실행조차 오라클 정책에 크게 미치지 못했습니다.
- 순자산: 오라클 정책은 131,510.42를 달성한 반면, 최상의 LLM(GPT-5.5)은 24,350.98을 달성했습니다.
- 매출: 오라클 정책은 267,998 유닛을 달성한 반면, 최상의 LLM(DeepSeek-V4-Pro)은 164,417 유닛을 달성했습니다.
행동 진단:
- 증거 획득: GPT-5.5가 가장 높은 증거 완결성(0.9689)을 보였으며, Grok-4.3과 같은 다른 모델은 거의 0에 가까운 완결성을 보였습니다.
- 의사결정 품질: LLM은 "QualityFirst"보다 "PriceFirst"(가장 저렴한 공급업체 선택)에 강한 편향을 보였습니다. 오라클 정책은 품질을 우선시했으나, LLM은 최상의 품질 선택(21.5%)에 비해 주문의 55.6%에서 가장 저렴한 공급업체를 선택했습니다.
- 시간적 후속 조치: LLM은 고수요 기회의 32.86%에서 88.18%를 놓쳤으며, 7일 이내의 지연된 결과(예: 품절, 반품)를 일관되게 추적하는 데 실패했습니다.

의의 및 주장

본 논문은 RetailBench를 단순한 성능 벤치마크가 아니라, 경제적으로 근거가 있는 장기적 의사결정에서 신뢰할 수 있는 자율성을 연구하기 위한 진단용 테스트베드로 포지셔닝합니다. 저자들은 결과가 현재의 LLM 능력과 지속적인 운영 연속성 요구 사항 사이에 중대한 격차가 있음을 보여준다고 주장합니다.

그 의의는 장기적인 LLM 에이전트를 개선하기 위해서는 단순히 도구 사용량을 늘리는 것 이상의 것이 필요하다는 점을 식별하는 데 있습니다. 즉, 다음과 같은 분야의 발전이 필수적입니다:

증거 선택(Evidence Selection): 의사결정에 결정적인 모든 필요한 정보를 식별하고 획득하는 능력.
증거-행동 추론(Evidence-to-Action Reasoning): 획득한 증거를 장기적 결과(예: 비용과 품질의 균형)를 고려한 의사결정으로 변환하는 능력.
상태 유지 정책(Stateful Policy Maintenance): 중요한 엔티티에 대해 지속적인 주의를 유지하고, 로컬 도구 호출을 장기적인 비즈니스 결과와 정렬하기 위해 지연된 결과를 재검토하는 능력.

저자들은 LLM 에이전트가 복잡한 장기적 환경에서 신뢰성 있게 작동하기 전에, 증거 획득, 추론 깊이, 그리고 정책 일관성에서의 이러한 구체적인 병목 현상을 극복해야 한다고 결론짓습니다.