RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

이 논문은 동적인 소매 환경에서 장기적 자율 의사결정과 전략 안정성을 평가하기 위해 'RetailBench' 벤치마크와 고수준 전략 추론과 저수준 실행을 분리한 'Evolving Strategy & Execution' 프레임워크를 제안하고, 이를 통해 현재 LLM 에이전트의 장기적 다중 요인 의사결정 능력에 한계가 있음을 규명했습니다.

핵심

🛒 리테일 벤치 (RetailBench): AI 가 슈퍼마켓을 운영할 수 있을까?

이 논문은 **"최고급 인공지능 (LLM) 이 복잡한 현실 세계의 일을 오랫동안 잘 해낼 수 있을까?"**라는 질문에 답하기 위해 쓴 연구입니다.

핵심 내용을 마치 가상의 슈퍼마켓 경영 시뮬레이션 이야기처럼 쉽게 설명해 드릴게요.

---

1. 배경: 왜 이 연구를 했을까?

지금까지 AI 는 "레시피대로 요리하기"나 "단순한 수학 문제 풀기" 같은 짧고 명확한 작업에서는 아주 잘했습니다. 하지만 현실 세계는 다릅니다.

• 비유: AI 가 "오늘 저녁 메뉴를 정해줘"라고 하면 잘 대답하지만, **"다음 달까지 매일 장을 보고, 재고를 관리하고, 손님이 오면 팔고, 돈도 잘 써서 가게를 1 년간 유지해줘"**라고 하면 어떻게 될까요?
• 문제점: AI 는 시간이 길어질수록 혼란에 빠지고, 엉뚱한 짓을 하거나 (할루시네이션), 결국 가게 문을 닫게 됩니다.

이 연구는 AI 가 오랜 시간 동안 (Long-Horizon) 현실적인 환경에서 어떻게 의사결정을 하는지 테스트하기 위해 **'리테일 벤치 (RetailBench)'**라는 새로운 시험지를 만들었습니다.

---

2. 시험지: '리테일 벤치'란 무엇인가요?

이것은 AI 가 가상의 슈퍼마켓 점장이 되어 1000 일 이상 가게를 운영해보는 게임입니다.

• 상황: 매일 손님이 오고, 물건을 팔고, 재고를 채워야 합니다.
• 난이도:
  • 쉬움: 뉴스도 없고, 공급업체 가격도 고정된 단순한 상황.
  • 보통: 상품 종류가 많아지고 복잡해짐.
  • 어려움: 매일 새로운 뉴스 (예: "유가 상승", "비염 유행") 가 뜨고, 공급업체 가격과 품질이 매일 변하는 정말 현실적인 상황.
• 패배 조건: 5 일 연속으로 월세를 못 내면 게임 오버 (가게 폐업).

---

3. 새로운 전략: '전략 수립'과 '실행'을 분리하다

연구팀은 기존 AI 들이 실패하는 이유를 분석하고, 새로운 방법을 제안했습니다.

• 기존 방식 (혼란): AI 가 매번 행동을 할 때마다 "아, 내가 실수했네, 다시 생각해보자"라고 하며 매 순간 전략을 바꿨습니다. 이러면 방향성이 흔들려서 결국 길을 잃습니다.
  • 비유: 운전하면서 매 10 초마다 "아, 내가 차를 잘못 몰고 있네. 방향을 바꿔야지!"라고 하며 핸들을 자꾸 꺾으면 차는 결국 도로에서 벗어납니다.
• 새로운 방식 (Evolving Strategy & Execution):
  1. 전략 수립 단계 (아침 회의): 아침에 일어나 과거 데이터를 보고 **"오늘의 큰 방향"**을 정합니다. (예: "오늘은 과자 종류를 많이 팔자", "유제품 재고는 꼭 채우자"). 이 전략은 하루 종일 고정됩니다.
  2. 실행 단계 (실제 업무): 정해진 전략에 따라 물건을 사고, 가격을 바꾸는 구체적인 행동만 합니다. 중간에 갑자기 "아, 생각해보니 과자 말고 소금 팔아야지"라고 전략을 바꾸지 않습니다.
  3. 다음 날: 하루가 끝나고 나서야 "어제 전략이 잘 먹혔나?"를 검토하고 내일 전략을 수정합니다.

이 방식은 **전략 (마음)**과 **실행 (손)**을 분리해서, AI 가 흔들리지 않고 꾸준히 가게를 운영하게 해줍니다.

---

4. 실험 결과: AI 는 얼마나 잘했을까?

최고급 AI 8 개를 이 게임에 투입해봤습니다. 결과는 희비교차였습니다.

• 성공: 연구팀이 제안한 '전략 - 실행 분리' 방식을 쓰면, 기존 방식보다 가게가 훨씬 오래 유지되었고, 매출도 더 잘 나왔습니다.
• 실패 (한계): 하지만 난이도가 높아질수록 (뉴스가 많고 상품이 복잡해지면) AI 의 실력은 급격히 떨어졌습니다.
  • 할루시네이션 (망상): 존재하지 않는 물건을 주문하거나, 날짜를 잘못 기억하는 일이 잦았습니다.
  • 비합리적 행동: 물건을 1 만 개나 주문하거나, 가격을 0 원으로 설정하는 등 현실적인 상식을 벗어난 행동을 했습니다.
  • 정보 무시: 중요한 고객 리뷰나 반품 데이터를 무시하고, 오직 가격만 보고 결정을 내렸습니다.

결론: AI 는 아직 복잡하고 긴 시간 동안 현실적인 비즈니스를 스스로 운영할 만큼 똑똑하지 않습니다. 작은 실수가 쌓이면 가게가 망하는 것을 막아내지 못합니다.

---

5. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 가 현실 세계의 일을 맡기려면, 단순히 똑똑한 것만으로는 부족하다"**고 말합니다.

• 핵심 교훈: AI 는 긴 호흡의 전략을 세우고, 오류가 쌓이지 않도록 실행 과정을 통제하는 시스템이 필요합니다.
• 미래: 아직은 AI 가 혼자서 슈퍼마켓을 운영하기엔 무리가 있지만, 이 '리테일 벤치'라는 시험지를 통해 AI 의 약점을 찾아내고 더 튼튼한 AI 를 만드는 데 큰 도움이 될 것입니다.

한 줄 요약:

"AI 가 슈퍼마켓 점장을 맡으려니, 전략은 잘 세우는데 실행하다가 망설이거나 엉뚱한 짓을 해서 가게가 망하는 경우가 많았어요. 그래서 '아침에 전략 세우고, 밤에 그걸 검토하는' 새로운 방식을 만들었는데, 그래도 아직은 인간 점장 (수동 정책) 에는 못 미쳤습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트는 코드 편집, 수학 문제 해결 등 구조화되고 단기간 (short-horizon) 에 이루어지는 작업에서 뛰어난 성과를 보였습니다. 그러나 실제적이고 동적인 환경에서 장기간 (long-horizon) 에 걸쳐 일관된 의사결정을 유지하고, 불확실한 수요와 외부 환경 변화에 적응하며 자율적으로 운영되는 능력은 여전히 해결되지 않은 과제로 남아 있습니다.

기존 에이전트 벤치마크들은 주로 웹 인터랙션이나 단순한 작업에 초점을 맞추어, 복잡한 상시 운영 환경에서의 지속적 상호작용과 전략적 안정성을 평가하기에는 한계가 있었습니다. 특히, 장기 작업에서는 오류 누적 (error accumulation) 과 비정상적인 환경 (non-stationary environments) 으로 인해 에이전트가 목표를 잃거나 전략이 급격히 변하는 (goal drift) 문제가 빈번하게 발생합니다.

2. 제안된 방법론 (Methodology)

2.1 RetailBench (새로운 벤치마크)

저자들은 현실적인 상업 데이터를 기반으로 한 고충실도 (high-fidelity) 벤치마크인 RetailBench를 소개했습니다.

• 환경 구성: 슈퍼마켓 운영을 마르코프 의사결정 과정 (MDP) 으로 모델링합니다. 에이전트는 유한한 기간 (수천 일) 동안 단일 매장을 운영하며, 매일 가격 조정, 재고 보충, 정보 수집, 메모 관리 등의 행동을 수행합니다.
• 상태 공간 (State Space): 제품 속성, 재고 상태, 공급망 정보 (가격/품질/리드타임), 수요 신호 (고객 트래픽/리뷰), 외부 이벤트 (뉴스), 재무 상태 (현금/순자산) 등 다차원적이고 부분적으로 확률적인 정보를 포함합니다.
• 동적 요소: 고객 트래픽 샘플링, 판매 실현, 리뷰/반품 생성, 재고 업데이트, 외부 뉴스 및 시장 신호의 변화 등을 시뮬레이션합니다.
• 종료 조건: 5 일 연속 임대료 납부 실패 시 에피소드가 종료됩니다.
• 난이도 설정:
  • Easy: 동적 뉴스 없음, 제한된 제품 카테고리 (5 개).
  • Middle: 제품 카테고리 확대 (20 개), 동적 뉴스 없음.
  • Hard: 동적 뉴스 생성 및 공급망 가격 - 품질 관계의 시간적 변화 포함 (가장 현실적이고 복잡함).

2.2 Evolving Strategy & Execution Framework (새로운 에이전트 프레임워크)

기존의 ReAct, Reflection, Plan-and-Act 등의 프레임워크가 장기 작업에서 전략의 일관성을 유지하지 못하거나 실행 중 전략이 과도하게 수정되는 문제를 해결하기 위해 제안된 2 단계 프레임워크입니다.

• 전략 진화 단계 (Evolving Strategy Stage): 에이전트는 환경 피드백과 과거 데이터를 분석하여 **고수준 전략 (Macro Strategy)**과 **실행 전략 (Execution Strategy)**을 수립하거나 수정합니다. 이 단계에서는 환경에 직접 영향을 미치는 행동을 수행할 수 없습니다.
• 실행 단계 (Execution Stage): 수립된 전략은 **불변 (immutable)**으로 간주됩니다. 에이전트는 이 전략에 따라 구체적인 행동 (주문, 가격 변경 등) 만 수행하며, 실행 중에는 전략을 수정할 수 없습니다.
• 핵심 아이디어: 고수준 전략의 수정 주기를 '일 (Day)' 단위로 제한하고, 저수준 행동 실행과는 분리함으로써 단기적인 변동성을 억제하고 장기적인 전략적 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. RetailBench 도입: 현실적인 소매 환경에서 장기간 자율 의사결정을 평가하기 위한 고충실도 벤치마크를 최초로 제시했습니다.
2. Evolving Strategy & Execution 프레임워크 제안: 전략 수립과 실행을 분리하여 운영 안정성과 효율성을 기존 베이스라인 (Reflection 기반) 보다 크게 향상시켰습니다.
3. LLM 에이전트의 한계 규명: 8 가지 최첨단 LLM 을 대상으로 한 실험을 통해, 장기적이고 다요인 의사결정 상황에서 발생하는 체계적인 실패 모드 (Hallucinations, 비합리적 행동, 정보 수집의 불완전성, 시간적 불안정성 등) 를 식별했습니다.

4. 실험 결과 (Results)

4.1 성능 비교

• 프레임워크 비교: 제안된 'Evolving Strategy & Execution' 프레임워크는 'Reflection (일/단계 단위)' 및 'Plan-and-Act' 프레임워크보다 평균 운영 일수, 일일 매출, 일일 수익에서 우위를 보였으며, 제품 만기율과 반품율을 크게 낮췄습니다.
• 모델별 성능: GPT-5.2 와 같은 대형 폐쇄형 모델이 상대적으로 더 안정적이었으나, 모든 모델이 손으로 만든 휴리스틱 정책 (Heuristic Policy, 상한선) 에는 미치지 못했습니다.
• 난이도 증가에 따른 성능 저하: 환경이 Hard 로 갈수록 모든 모델의 성능이 급격히 저하되었습니다. 특히 'Hard' 환경에서는 평균 운영 일수가 크게 줄어들고, 만기율과 반품률이 증가했습니다.

4.2 실패 모드 분석 (Analysis)

1. 확장 불가능한 의사결정 능력: 환경이 복잡해질수록 (제품 수 증가) 에이전트가 고려하는 SKU(재고 단위) 와 카테고리 수가 제한적으로 유지되어, 전체 의사결정 공간을 효과적으로 탐색하지 못했습니다.
2. 불완전한 정보 수집: 에이전트는 공급가, 재고, 역사적 판매 데이터 등 일부 정보에만 집중하고, 고객 리뷰나 반품률 같은 중요한 신호는 무시하는 경향이 있었습니다. 리뷰 조회 빈도와 매출 간에는 강한 양의 상관관계가 있었습니다.
3. 실행 수준의 시간적 불안정성: 고수준 전략은 비교적 안정적이었으나, 실행 전략 (구체적인 행동) 은 매일 크게 변동하여 일관된 운영을 방해했습니다.
4. 할루시네이션 및 비합리적 행동: 존재하지 않는 SKU 를 언급하거나, 음수 주문량, 비현실적인 가격 설정 (예: 0 원 또는 999 원) 등 환경 제약을 위반하는 행동을 빈번하게 수행했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 에이전트가 단순한 대화나 단발성 작업을 넘어, 실제 경제 시스템에 참여할 수 있는 수준의 장기 자율성을 갖추기 위해 해결해야 할 핵심 과제를 명확히 제시했습니다.

• 구조적 프레임워크의 중요성: 단순한 프롬프트 엔지니어링을 넘어, 전략 수립과 실행을 분리하는 구조적 프레임워크가 장기 작업의 안정성에 필수적임을 입증했습니다.
• 현재 LLM 의 한계: 현재 모델들은 복잡한 동적 환경에서 정보의 완전한 수집, 시간적 일관성 유지, 그리고 경제적 타당성 검증에 있어 근본적인 한계를 가지고 있음을 보여주었습니다.
• 미래 연구 방향: RetailBench 는 장기 의사결정 및 에이전트 추론 연구를 위한 표준적인 테스트베드로서, 강화학습, 하이브리드 신경 - 심볼릭 접근법, 제약 조건 인식 제어 등의 발전 방향을 제시합니다.

요약하자면, 이 연구는 LLM 에이전트가 현실 세계의 복잡한 비즈니스 환경에서 장기적으로 생존하고 성공하기 위해서는 단순한 지능의 향상을 넘어, 전략적 안정성을 보장하는 구조적 메커니즘과 환경에 대한 정확한 인식 능력이 동시에 필요함을 강조합니다.