StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

StarDojo 기술 요약: Stardew Valley를 활용한 생산-생활 시뮬레이션 내 에이전트형 멀티모달 LLM의 개방형 행동 벤치마킹

문제 정의
인간 사회를 탐색하려는 자율 에이전트는 생산적 활동(예: 농사, 제작, 자원 생성)과 생활 활동(예: 사회적 상호작용, 관계 구축)이 서로를 강화하면서도 시간 및 에너지와 같은 공유된 자원에 의해 제약받는 복잡한 "생산-생활 시스템(production-living systems)"을 숙달해야 합니다. 기존의 벤치마크들은 이러한 기술들을 동시에 평가하는 데 실패하고 있습니다. 전통적인 대화형 벤치마크들은 텍스트 역할이 최소화된 저수준 제어 및 전략적 게임 플레이에 집중하거나, 구조화된 생산 메커니즘이나 자원 제약이 결여된 사회적 상황 기반 상호작용에 치중하는 경향이 있습니다. 결과적으로, 실제 일상생활의 특성을 반영하는 결합되고 제약이 있는 구조 내에서 작동하는 에이전트를 위한 체계적인 평가 도구가 부족한 실정입니다.

방법론
이러한 격차를 해소하기 위해, 저자들은 오픈 엔드 시뮬레이션 게임인 Stardew Valley를 기반으로 한 새로운 환경이자 벤치마크인 StarDojo를 소개합니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 환경 아키텍처: 저자들은 Stardew Modding API(SMAPI)를 기반으로 한 C# 확장 프로그램인 StarDojoMod를 개발했습니다. 이 모드는 에이전트가 소켓을 통해 게임 엔진과 직접 상호작용할 수 있게 해주는 통합된 사용자 친화적 Python 인터페이스를 제공합니다. 이 아키텍처는 수동 화면 캡처나 키보드/마우스 에뮬레이션의 필요성을 제거하여, 내부 게임 상태(캐릭터 상태, 타일 정보, 글로벌 시간/날씨)를 추출하고 다양한 행동 스킬을 실행할 수 있게 합니다. 또한 이 시스템은 주요 운영 체제(Ubuntu, macOS, Windows)에서 여러 헤드리스(headless) 환경 인스턴스의 병렬 실행을 지원합니다.
2. 관측 및 행동 공간: 관측 공간은 시각적 양식(720p 게임플레이 스크린샷)과 캐릭터 상태(체력, 에너지, 인벤토리), 로컬 타일 정보(7×7 그리드), 글로벌 컨텍스트(시간, 날씨, 계절)를 포함한 구조화된 텍xtual 데이터를 통합합니다. 행동 공간은 게임의 핵심 메커니즘을 10가지 근본적인 스킬(예: move, use, interact, craft, choose_item)로 추상화하며, 에이전트가 현실적인 탐색 능력을 보여줄 수 있도록 navigate와 같은 고수준 단축키는 제외했습니다.
3. 태스크 스위트: 이 벤치마크는 농사(Farming), 제작(Crafting), 탐험(Exploration), 전투(Combat), 사회적 상호작용(Social Interactions)의 5개 도메인에 걸쳐 정교하게 큐레이션된 1,000개의 태스크로 구성됩니다. 각 태스크는 난이도(Easy, Medium, Hard)별로 분류되며, 자원 관리, 장기 계획, 그리고 역동적인 환경 요인(시간, 스태미나, 날씨)에 대한 적응을 요구합니다. 효율적인 평가를 위해 100개의 대표적인 태스크인 StarDojo-Lite가 제공됩니다. 자동화된 평가 시스템은 상태 변화를 모니터링하여 태스크 완료 여부를 판정합니다.

주요 기여

• StarDojo 벤치마크: 생산 활동과 사회적 상호작용을 역동적이고 제약이 있는 시뮬레이션 내에서 동시에 평가하는 최초의 벤치마크로서, 체화된 AI(Embodied AI)와 사회적 추론 사이의 간극을 메웁니다.
• 통합 인터페이스: 병렬화된 헤드리스 실행과 직접적인 내부 상태 접근을 지원하며, 화면 기반 또는 API 의존적 방식에 비해 평가 효율성을 크게 향상시킨 견고한 교차 플랫폼 환경을 제공합니다.
• 포괄적인 태스크 설계: 에이전트가 시간, 에너지, 자원의 균형을 맞추는 동시에 생산(수익/아이템 생성)과 사회적 진보(레시피 해금, 할인, 관계 구축) 사이의 양방향 피드백 루프에 참여하도록 설계된 다양한 1,000개의 태스크를 포함합니다.
• 오픈 소스 공개: 연구 촉진을 위해 환경, 설정 지침, 평가 스크립드 및 베이스라인 구현을 공개합니다.

실험 결과
저자들은 GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet 및 여러 오픈 소스 모델(Llama 4, Qwen2.5-VL, Gemma 3)을 포함한 7개의 최첨단 멀티모달 대규모 언어 모델(MLLM)을 StarDojo-Lite 스위트에서 평가했습니다.

• 성능: 가장 우수한 성능을 보인 모델인 GPT-4.1조차 Lite 태스크 세트에서 **12.7%**의 성공률만을 달성했습니다. 오픈 소스 모델들은 8% 미만의 성공률을 기록하며 훨씬 낮은 성능을 보였습니다.
• 난이도 스케일링: 모델들은 짧은 단계(<30단계)를 요구하는 쉬운 태스크에서는 어느 정도 숙련도를 보였으나, 연장된 액션 시퀀스와 전략적 계획을 요구하는 중간 및 어려운 태스크에서는 성공률이 거의 0에 수렴했습니다.
• 오류 분석: GPT-4.1의 실패에 대한 상세 분석 결과, 네 가지 주요 실패 모드가 확인되었습니다:
  1. 시각적 이해 (42%): 작은 물체(약 10x10 픽셀)를 인식하거나 에이전트와의 정확한 공간적 관계를 결정하는 데 어려움을 겪음.
  2. 멀티모달 추론 (21%): 가용한 텍스트 상태 정보가 있음에도 불구하고 시각적 입력에 과도하게 의존하여 환각(hallucination)이나 혼란을 일으킴.
  3. 장기 계획 (21%): 긴 호흡의 전략을 유지하지 못하고 종종 계획을 조기에 포기함.
  4. 저수준 제어 (16%): 잘못된 파라미터나 방향을 선택하는 등 미세한 동작 실행의 불안정성.
• 절제 연구(Ablation Studies): 텍스트 입력을 제거하거나(Image Only) 시각 입력을 제거한(Text Only) 실험을 통해 두 양식 모두 필수적임을 확인했습니다. 또한, 추론 중 게임을 일시 정지하지 않는 "실시간(Real-time)" 평가에서는 추론 지연 시간(latency)으로 인해 성능이 크게 저하되었으며, 이는 역동적인 환경에서 API 기반 에이전트의 병목 현상을 드러냈습니다.

의의
본 논문은 StarDojo가 복잡하고 현실과 유사한 환경에서 에이전틱 AI를 발전시키기 위한 중요한 테스트베드 역할을 한다고 주장합니다. 시각적 이해, 멀티모달 추론, 장기 계획, 실시간 추론 측면에서 현재 MLLM의 상당한 한계를 노출함으로써, StarDojo는 향후 연구가 필요한 구체적인 영역을 식별합니다. 저자들은 StarDojo를 즉각적인 배포를 위한 솔루션이 아니라, 생산-생활 시스템 내에서 평생 학습(lifelong learning)과 전략적 의사결정이 가능한 견고하고 개방적인 에이전트 개발을 촉진하기 위한 기초 도구로 정의합니다. 이 연구는 공간 및 물리적 추론이 언어 능력만큼이나 필수적인 상호작용 환경에서 에이전트를 평가하는 것의 필요성을 강조합니다.