🤖 AI

RoboBenchMart: Benchmarking Robots in Retail Environment

이 논문은 리테일 다크 스토어 환경을 위한 오픈 소스 시뮬레이션 벤치마크인 RoboBenchMart를 소개하며, 이를 통해 복잡한 조작 작업에 대한 최첨단 시각-언어-행동 모델들을 평가하고 가사 환경을 넘어 일반화하는 데 있어 이들의 현재 한계를 밝혀낸다.

원저자: Konstantin Soshin, Alexander Krapukhin, Andrei Spiridonov, Gregorii Bukhtuev, Andrey Kuznetsov, Vlad Shakhuro, Denis Shepelev

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Konstantin Soshin, Alexander Krapukhin, Andrei Spiridonov, Gregorii Bukhtuev, Andrey Kuznetsov, Vlad Shakhuro, Denis Shepelev

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇 셰프를 만들었다고 상상해 보세요. 당신은 이 로봇에게 깨끗하고 완벽한 주방에서 사과 하나를 집어 그릇에 담는 법을 훈련시켰습니다. 로봇은 그 특정 작업에 있어서는 귀재입니다. 하지만 이제, 당신은 이 로봇을 선반에 물건을 채워 넣기 위해 실제 식료품점으로 보내고 싶습니다.

실제 식료품점은 완전히 다른 세상입니다. 사람들은 북적이고, 통로는 좁으며, 선반에는 수천 가지의 서로 다른 품목들이 빽빽하게 들어차 있습니다. 게다가 조명도 이상합니다. 논문 **"RoboBenchMart"**는 우리 로봇이 "주방 테스트"를 잘 통과했다고 해서, 그것이 "식료품점 테스트"도 해낼 수 있다는 뜻은 아니라고 주장합니다.

연구진이 무엇을 했고 무엇을 발견했는지에 대한 간단한 요약입니다:

1. 문제점: "주방" vs "식료품점"

오늘날 대부분의 로봇 테스트는 작은 빈 방에서 비디오 게임을 하는 것과 같습니다. 로봇은 테이블 위의 블록을 집거나 컵을 옮기는 법을 배웁니다. 하지만 실제 식료품점은 혼란스러운 미로와 같습니다.

도전 과제: 식료품점에서는 물건들이 높게 쌓여 있고, 서로 밀착되어 있으며, 외형이 매우 비슷합니다(예: 50가지 종류의 서로 다른 시리얼 상자). 로봇은 물건을 쓰러뜨리지 않고 좁은 통로를 지나가야 합니다.
격차: 연구진은 알고 싶었습니다. 만약 로봇이 깨끗한 주방에서의 마스터 셰프라면, 갑자기 지저분한 슈퍼마켓의 마스터 스토커(물건 채우기 전문가)가 될 수 있을까?

2. 해결책: "디지털 슈퍼마켓" 구축

실제 매장을 사고 로봇을 고용하는 대신, 팀은 RoboBenchMart를 구축했습니다. 이것은 매우 사실적인 식료품점 전용 고성능 비디오 게임 시뮬레이터라고 생각하면 됩니다.

그들은 이 세계를 만들기 위해 세 가지 주요 도구를 만들었습니다:

스토어 아키텍트 (Store Architect): 다양한 매장 레이아웃을 자동으로 설계하는 프로그램입니다. 이는 로봇이 똑같은 매장을 두 번 다시 보지 못하도록 선반, 냉장고, 상자 등을 무작위로 배치하는 게임 엔진과 같습니다.
프로덕트 패커 (Product Packer): 수천 개의 가상 식료품 아이템을 선반에 배치하는 시스템입니다. 이 시스템은 선반이 가득 찼을 때, 반쯤 비었을 때, 혹은 물건이 쓰러졌을 때의 모습까지도 시뮬레이션합니다.
로봇 티처 (Robot Teacher): 로봇에게 탄산음료 캔을 집거나 냉장고 문을 여는 것과 같은 작업을 수행하는 법을 보여주기 위해 "완벽한" 로봇 움직임(궤적)을 생성하는 시스템입니다.

3. 테스트: "범용" 로봇들은 통과할 수 있을까?

연구진은 가장 진보된 네 가지 "범용" AI 로봇(무엇이든 잘할 수 있도록 설계된 모델들)을 가져와 이 디지털 슈퍼마켓에서 일하도록 가르치려 했습니다. 그들은 로봇들에게 적은 양의 훈련 데이터(약 2,900개의 예시)를 제공한 뒤 테스트를 진행했습니다.

결과는 겸허해지는 결과였습니다:

"주방" 로봇들의 고전: 엄청난 양의 데이터로 훈련받은 가장 똑똑한 로봇들조차 식료품점에서는 처참하게 실패했습니다.
단순 작업의 실패: 로봇들은 다른 물건을 쓰러뜨리지 않고 붐비는 선반에서 단 하나의 아이템을 안정적으로 집어 올리는 것조차 수행하지 못했습니다.
복합 작업의 불가능: "냉장고를 열고, 우유를 꺼내서, 문을 닫아라"와 같은 다단계 작업을 요청했을 때, 로봇들은 100% 확률로 실패했습니다.
새로운 환경에서의 완전한 실패: 연구진이 매장 레이아웃을 바꾸거나 선반의 아이템을 변경하자(로봇이 본 적 없는 환경), 로봇들은 완전히 혼란에 빠져 작동을 멈췄습니다.

4. 무엇이 잘못되었나?

연구진은 로봇이 왜 실패했는지 분석했습니다. 단순히 한 가지 이유 때문이 아니라, 오류의 연쇄 반응이었습니다:

길 찾기 문제: 로봇은 인간이 요청한 특정 아이템(예: 빨간색이 아닌 "파란색" 환타)을 식별하지 못했습니다.
"그립(Grasp)" 문제: 설령 로봇이 올바른 아이템을 찾았더라도, 잡는 위치를 놓치거나 즉시 떨어뜨리는 경우가 많았습니다.
"문" 문제: 슬라이딩 방식의 냉장고 문을 여는 데는 특정한 섬세한 동작이 필요하지만, 로봇들은 이를 숙달하지 못했습니다했습니다.

결론

이 논문은 로봇이 단순한 방 안의 단순한 작업에는 점점 더 능숙해지고 있지만, 아직 지저치고 복잡한 실제 식료품점의 현실에 대비할 준비가 되지 않았다고 결론짓습니다.

이렇게 생각해 보세요. 우리는 로봇에게 완벽한 판 위에서 체스를 두는 법을 가르쳤습니다. 하지만 실제 세상은 체스판이 흔들리고, 기물들의 모양이 제각각이며, 방을 옮길 때마다 규칙이 바뀌는 체스 게임과 같습니다. RoboBenchMart는 우리가 미래의 로봇을 위해 더 나은 환경을 구축하기 위해 아직 갈 길이 멀다는 것을 증명하는 새로운 "시험"입니다.

좋은 소식은, 연구진이 자신들의 모든 도구, 코드, 그리고 "디지털 스토어"를 공개했다는 점입니다. 따라서 다른 과학자들이 이 벤치마크를 사용하여 미래를 위한 더 나은 로봇을 만드는 데 활용할 수 있습니다.

기술 요약: RoboBenchMart: 리테일 환경에서의 로봇 벤치마킹

문제 정의

현재의 로봇 조작 벤치마크는 주로 테이블탑 또는 가사 환경(예: ALFRED, RLBench, RoboCasa)에 집중되어 있으며, 여기서의 작업은 대개 상대적으로 제약이 적은 공간에서의 pick-and-place 동작으로 귀결됩니다. 이러한 환경은 시각-언어-행동(VLA) 모델의 상당한 발전을 이끌어냈으나, 일반적인 정책(generalist policies)이 독특한 기하학적 구조, 의미론(semantics), 그리고 워크플로우를 가진 도메인에도 일반화될 수 있는지는 여전히 불분명합니다.

리테일 섹터, 특히 "다크 스토어"(온라인 주문을 처리하는 소규모 물류 센터)는 중요한 격차를 보여줍니다. 이러한 환경은 밀집된 물체 혼잡도, 다층 선반, 혼합된 고정 장치(선반 및 냉장고) 및 매우 다양한 시각적으로 유사한 제품들을 특징으로 합니다. 기존 벤치마크는 좁은 통로 탐색, 혼잡한 공간에서의 신뢰할 수 있는 충돌 회피 수행, 다양한 높이와 깊이의 아이템 조작과 같은 리테일 특유의 과제들을 포착하지 못합니다. 또한, 실제 리테일 환경에서 정책을 직접 테스트하는 것은 비용이 많이 들고 물류적으로 어렵기 때문에, 이러한 복잡성을 정확하게 반영하는 고충실도(high-fidelity) 시뮬레이션 벤치마크가 필요합니다.

방법론

1. RoboBenchMart 스위트

저자들은 ManiSkill3 프레임워크를 기반으로 구축되었으며, Fetch 모바일 매니퓰레이터(차동 구동 베이스, 7-DOF 암, 프리즘형 토르소)를 활용하는 오픈 소스 시뮬레이션 벤치마크 스위트인 RoboBenchMart를 소개합니다. 이 스위트는 세 가지 핵심 구성 요소로 이루어져 있습니다:

스토어 플랜 생성기 (Store Plan Generator): 다양하고 현실적인 스토어 레이아웃을 생성하기 위한 절차적 파이프라인입니다.
- 고정 장치 배치 (Fixture Arrangement): 절차적 거리 모델링에서 영감을 얻은 이 시스템은 텐서 필드(tensor field) 접근 방식을 사용합니다. 초기 무작위 고정 장치 배치(팔레트, 냉동고)를 기반으로 기초 텐서 필드를 계산하고, 이를 집계하여 충돌이 없고 통행 가능한 통로를 확보하면서 최적의 선반 방향(가로 또는 세로)을 결정합니다.
- 제품 배치 (Product Arrangement): scene synthesizer 패키지를 활용하여, 제품들을 정규 그리드 위에 배치하고 자연스러운 변동성을 시뮬레이션하기 위해 포즈 섭동(pose perturbations)을 가합니다. 시스템은 수직 적재를 지원하며, 쉘프 고갈(빈 공간)을 시뮬레이션하기 위해 포아송 프로세스(Poisson process)를 사용합니다 수백 개의 객체가 있는 장면에서도 렌더링 성능을 보장하기 위해, 저자들은 삼각형 개수를 줄이면서 기하학적 품질 손실을 최소화하는(Chamfer distance로 측정됨) 자동 메쉬 단순화 파이프라인(QuadriFlow, Marching Cubes 및 형상별 근사법 사용)을 개발했습니다.
스토어 궤적 샘플러 (Store Trajectories Sampler): 모션 플래닝을 사용하여 데모 궤적을 생성하는 파이프라인입니다.
- 시스템은 작업 단계에 대한 앵커 포즈(초기, 중간, 최종)의 시퀀스를 휴리스틱하게 정의합니다.
- 궤적은 비 이동 구간(non-mobile segments)에 대해 스크류 모션(screw motion)(충돌 체크 포함)을 사용하고, 장애물 회피를 위해 RRT-Connect를 사용하여 생성됩니다. 모바일 베이스 재배치는 작업별 휴리스틱 플래너를 사용합니다.
- 성공적인 전체 작업 궤적만을 유지합니다. 데이터셋에는 Fetch 로봇을 위한 2,976개의 데모(태스크/아이템/고정 장치 트리플릿당 248개)가 포함되어 있습니다.
스토어 로보틱스 벤치마크 (Store Robotics Benchmark): 표준화된 평가 프레임워크입니다.
- 태스크: 원자적 태스크(바구니로 집기, 바닥에서 집기, 보드에서 보드로 옮기기, 냉장고 열기/닫기)와 복합 태스크(N개 아이템 집기, 냉장고에서 집기)를 포함합니다.
- 평가 시나리오: 다음의 일반화 능력을 테스트합니다:
  1. 인도메인 (In-Domain): 로봇 위치만 무작위화함.
  2. 미보지 못한 장면 (Unseen Scenes): 위치, 텍스처 및 스토어 레이아웃을 무작위화함.
  3. 미보지 못한 장면 및 아이템 (Unseen Scenes & Items): 다른 태스크에서 가져온 OOD(Out-of-Distribution) 아이템과 결합된 미보지 못한 장면.
- 베이스라인: 네 가지 최첨단 일반ist VLA 모델인 Octo, SmolVLA, $\pi_0$ , $\pi_0.5$ 를 평가했습니다. 모든 모델은 생성된 궤적에 대한 모방 학습을 통해 파인튜닝되었습니다.

2. 실험 설정

훈련: 모델들은 오직 원자적 태스크에 대해서만 파인튜닝되었습니다. 복합 태스크는 이를 원자적 명령의 시퀀스로 분해하여 평가했습니다.
데이터 제약: 현실적인 적응을 모델링하기 위해, 훈련은 태스크당 2~3개의 객체로 제한되었으며, 특정 태스크에 대해 훈련 및 테스트 객체 세트 간의 엄격한 분리를 적용했습니다.
지표: 성공률은 태스크/아이템/고정 장치 트리플릿당 100회의 시행 횟수에 대해 측정되었습니다. 실패 모드는 파이프라인의 가장 이른 주요 실패(예: 태스크 그라운딩, 내비게이션, 그래스핑, 배치)를 기준으로 주석을 달았습니다.

주요 결과

일반 모델의 성능

평가 결과, 현재의 최첨단 일반ist VLA 모델들은 파인튜닝 후에도 리테일 도메인에서 심각하게 고전하는 것으로 나타났습니다:

SmolVLA: 모든 시나리오에서 저조한 성능을 보였으며, 가장 단순한 "냉장고 열기/닫기" 태스크에서만 비제로(non-zero) 성공률을 달ol했습니다.
Octo & $\pi_0$ : In-Domain 설정에서는 완만한 성공을 거두었으나, Unseen Scenes에서 크게 저하되었으며 Unseen Scenes & Items에서는 완전히 실패했습니다.
$\pi_0.5$ : 평가된 모델 중 가장 우수한 성능을 보였으며, Unseen Scenes & Items 시나리오에서 비제로 성공률을 보여주었으나 신뢰도는 여전히 낮았습니다.
복합 태스크: 모든 모델이 복합 태스크(예: 3개의 아이템 집기)에서 0%의 성공률을 기록했는데, 이는 다단계 명령을 실행하거나 태스크 단계 전반에 걸쳐 일반화하는 데 실패했음을 나타냅니다.

실패 분석

실패 주석(Table 3)은 두 가지 주요 병목 현상을 식별했습니다:

그래스핑 실패 (Grasping Failures): Octo, $\pi_0$ , $\pi_0.5$ 와 같은 모델들은 주로 그래스핑 단계에서 실패했으며, 정밀한 선반 레벨 상호작용에 어려움을 겪었습니다.
그라운딩 오류 (Grounding Errors): 실패의 상당 부분은 "타겟" 선택(올바른 제품 식별) 및 "프리그래스(pregrasp)" 포지셔닝 중에 발생했습니다. SmolVLA는 프리그래스 포지셔닝 단계에서 가장 자주 실패했습니다.
분포 변화 민감도 (Distribution Shift Sensitivity): 평가 분포가 훈련(예: In-Domain에서 Unseen Scenes & Items로)에서 변화함에 따라 실패율이 급격히 증가했으며, 대부분의 모델에서 90%를 초 exceed했습니다.

의의 및 주장

본 논문은 RoboBenchMart가 리테일 환경을 구체적으로 평가하기 위해 전용으로 설계된 최초의 오픈 벤치마크라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

도메인 격차 노출: 결과는 가사/테이블탑 벤치마크에서의 높은 성능이 리테일 환경으로의 전이성을 보장하지 않음을 입증합니다. 현재의 일반ist 모델들은 리테일 스토어의 기하학, 혼잡도 및 의미론적 복잡성에 필요한 강건성(robustness)이 부족합니다.
한계점 식별: 본 연구는 기존의 사전 훈련된 모델들이 리테일 특화 데이터에 대한 타겟팅된 사전 훈련 없이는 효과적인 적응에 불충분함을 강조합니다. 모델들은 미세한 장면 변화에 취약하며, 제한된 데모로부터 새로운 객체-태스크 조합으로의 일반화 능력이 떨어집니다.
미래 연구 촉진: 저자들은 절차적 스토어 레이아웃 생성기, 궤적 생성 파이프라인, 평가 도구 및 베이스라인 모델을 공개함으로써, 리테일 분야를 위한 더 강력하고 확장 가능하며 태스크 인지적인 로봇 시스템의 개발을 촉진하고자 합니다.

저자들은 현재 벤치마크가 평행 그리퍼(parallel-jaw grippers)와 강체 패키지만을 지원하며 흡착(suction)이나 데릭스러스 핸드(dexterous hands)를 제외하고 있다는 점을 인정하며 겸손한 어조를 유지합니다. 그들은 RoboBenchMart를 리테일 자동화의 미개척된 과제를 해결하기 위한 기초적인 단계로 포지셔닝합니다.